ElasticSearch 中的中文分词器该怎么玩？

松哥原创的 Spring Boot 视频教程已经杀青，感兴趣的小伙伴戳这里-->Spring Boot+Vue+微人事视频教程

ElasticSearch 系列第四集，前三集传送门：

1. 打算出一个 ElasticSearch 教程，谁赞成，谁反对？
   
2. ElasticSearch 从安装开始
   
3. ElasticSearch 第三弹，核心概念介绍
   

本次主要和大家分享 es 中的分词器：

以下是视频笔记。

4.1 内置分词器

ElasticSearch 核心功能就是数据检索，首先通过索引将文档写入 es。查询分析则主要分为两个步骤：

1. 词条化：
   分词器将输入的文本转为一个一个的词条流。
   
2. 过滤：比如停用词过滤器会从词条中去除不相干的词条（的，嗯，啊，呢）；另外还有同义词过滤器、小写过滤器等。
   

ElasticSearch 中内置了多种分词器可以供使用。

内置分词器：

4.2 中文分词器

在 Es 中，使用较多的中文分词器是 elasticsearch-analysis-ik，这个是 es 的一个第三方插件，代码托管在 GitHub 上：

• https://github.com/medcl/elasticsearch-analysis-ik
  

4.2.1 安装

两种使用方式：

第一种：

1. 首先打开分词器官网：https://github.com/medcl/elasticsearch-analysis-ik。
   
2. 在 https://github.com/medcl/elasticsearch-analysis-ik/releases 页面找到最新的正式版，下载下来。我们这里的下载链接是 https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.9.3/elasticsearch-analysis-ik-7.9.3.zip。
   
3. 将下载文件解压。
   
4. 在 es/plugins 目录下，新建 ik 目录，并将解压后的所有文件拷贝到 ik 目录下。
   
5. 重启 es 服务。
   

第二种：

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.9.3/elasticsearch-analysis-ik-7.9.3.zip

4.2.2 测试

es 重启成功后，首先创建一个名为 test 的索引：

接下来，在该索引中进行分词测试：

4.2.3 自定义扩展词库

4.2.3.1 本地自定义

在 es/plugins/ik/config 目录下，新建 ext.dic 文件（文件名任意），在该文件中可以配置自定义的词库。

如果有多个词，换行写入新词即可。

然后在 es/plugins/ik/config/IKAnalyzer.cfg.xml 中配置扩展词典的位置：

4.2.3.2 远程词库

也可以配置远程词库，远程词库支持热更新（不用重启 es 就可以生效）。

热更新只需要提供一个接口，接口返回扩展词即可。

具体使用方式如下，新建一个 Spring Boot 项目，引入 Web 依赖即可。然后在 resources/stastic 目录下新建 ext.dic 文件，写入扩展词：

接下来，在 es/plugins/ik/config/IKAnalyzer.cfg.xml 文件中配置远程扩展词接口：

配置完成后，重启 es ，即可生效。

热更新，主要是响应头的 Last-Modified 或者 ETag 字段发生变化，ik 就会自动重新加载远程扩展