elasticsearch hanlp插件自定义分词配置(停用词)

@[Toc](elasticsearch hanlp插件自定义分词配置(停用词))
既然可以自定义关键词，那么自然也是可以自定义停用词的。
背景

由于在使用elasticsearch hanlp(以下简称es hanlp)的过程中，分词会出现一些无用的词，好比各种标点符号或者没故意义的单词，导致查询的结果不是很抱负，好比

这个时间就会想到是否可以增长停用词来清除这些无效的分词从而进步查询的准确率。
停用词

配置停用词之后，es hanlp在分词时可以清撤除一下无用或者无业务意义的词从而进步查询服从，停用词路径 ES_HOME/plugins/analysis-hanlp/data/dictionary

这里需要留意的是停用词没有主动加载功能，因此也需要提前预备好停用词内容按精确的格式写入stopwords.txt文件中，同时删除文件stopwords.txt.bin，然后启动es。
hanlp分词方式

es hanlp插件提供的分词方式有以下几种，但是需要留意的是不同版本的es hanlp插件对hanlp分词方式的适应性也不同，有的版本大概不是完全支持es hanlp插件下列的分词方式

1. hanlp: hanlp默认分词
4. hanlp_standard: 标准分词
7. hanlp_index: 索引分词
10. hanlp_nlp: NLP分词
13. hanlp_crf: CRF分词
16. hanlp_n_short: N-最短路分词
19. hanlp_dijkstra: 最短路分词
22. hanlp_speed: 极速词典分词

复制代码

自定义分词配置

这里为什么想到要自定义分词配置呢，文章开始已经说了，有些单词是没有业务意义，乃至是没有任何寄义的，完全没有存在的须要，因此需要使用停用词，但是停用词默认的hanlp分词方式并不支持，正如文章开始看到的结果一样，因此需要通过自定义分词配置的方式来开启停用词。
hanlp的分词配置重要有

需要留意的是，以上的自定义分词属性不是每个版本都支持的，在使用时建议测试一下你当前的 hanlp版本是否支持后再使用该属性。
假如要采用如上配置配置自定义分词，需要设置 enable_custom_config 为 true
自定义分词

下面我们来自定义一个分词，并且开启停用词

1. PUT test
3. {
5.   "settings": {
7.     "analysis": {
9.       "analyzer": {
11.         "hanlp_dongao": {
13.           "tokenizer": "hanlp_analyzer"
15.         }
17.       },
19.       "tokenizer": {
21.         "hanlp_analyzer": {
23.           "type": "hanlp",
25.           "enable_stop_dictionary": true,
27.           "enable_custom_config":true
29.         }
31.       }
33.     }
35.   }
37. }

复制代码

返回创建成功结果

1. {
3.   "acknowledged" : true,
5.   "shards_acknowledged" : true,
7.   "index" : "test"
9. }

复制代码

输入测试语句测试,首先看一下未使用自定义分词的结果

再看一下使用自定义分词之后的结果

可以看到双引号已经被停用了，不会再出现在分词结果里，自定义分词语句

1. PUT test
3. {
5.   "settings": {
7.     "analysis": {
9.       "analyzer": {
11.         "hanlp_dongao": {
13.           "tokenizer": "hanlp_analyzer"
15.         }
17.       },
19.       "tokenizer": {
21.         "hanlp_analyzer": {
23.           "type": "hanlp",
25.           "enable_stop_dictionary": true,
27.           "enable_custom_config":true
29.         }
31.       }
33.     }
35.   }
37. }

复制代码

测试语句

1. POST test/_analyze
3. {
5.   "text": "“全国会计资格评价网”",
7.   "analyzer": "hanlp_dongao"
9. }

复制代码

以上就完成了自定义分词的配置，这里需要留意的是在上一篇博文： https://blog.csdn.net/csdn565973850/article/details/139492520 中出现的自定义辞书1分钟后辞书主动加载仍然没有见效的情况，通过自定义分词的方式也可以得到办理，各人有兴趣的可以自行测试一下。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。