全文搜索解析器负责将原始输入文本流切分为有类型的记号（Tokens）。系统内置了标准解析器，它能识别 23 种预设记号类型（包括单词、带连字符的复合词、科学记数法数值、邮箱地址、URL 网址、文件路径等）。
系统内置的默认分词解析器能够识别文本中的单词、数字、电子邮件、主机名及各种标点符号并打上标记。