词典负责将解析器产出的记号进行语言学归一化处理。主要词典类型包括:
停用词词典(Stop Words):过滤极高频无意义虚词。
简单词典(Simple Dictionary):统一转小写。
同义词词典(Synonym Dictionary):将同义词替换映射为标准化目标词。
分类词典(Thesaurus Dictionary):支持词组多词映射替换。
Ispell 词典:基于词形变化规则库还原词根原型。
Snowball 词干分析器:基于 Snowball 算法快速截取屈折词干后缀。
停用词(Stopwords)字典用于识别并滤除出现频率极高但缺乏区分度的无意义高频词(如 the、is、a 等)。
将输入转换为小写并根据停用词列表过滤,不进行任何词干提取。
将特定词汇规范化替换为其标准的规范形式。
支持识别由多个单词组成的多词短语并将其映射为统一的规范词元。
词库字典通过加载外部短语对照配置文件生效。
例如将短语 “postgresql database” 映射为单一词元 pgsql。
基于 Ispell 形态学规则字典,支持基于词缀规则提取词干并校验拼写。
基于 Snowball 算法对多种西方自然语言执行轻量级快速词干提取。