IKAnalyzer分词组件

IKAnalyzer是一个功能强盛、易于使用、性能优异的中文分词工具包，适用于各种需要进行中文分词的场景，如搜刮引擎、自然语言处置惩罚、文本挖掘等。
Springboot如何集成IKAnalyzer分词组件

引入IKAnalyzer分词组件包

1. <dependency>
2.     <groupId>org.apache.lucene</groupId>
3.     <artifactId>lucene-core</artifactId>
4.     <version>8.11.1</version>
5. </dependency>
7. <dependency>
8.     <groupId>org.apache.lucene</groupId>
9.     <artifactId>lucene-analyzers-common</artifactId>
10.     <version>8.11.1</version>
11. </dependency>
13. <dependency>
14.     <groupId>com.github.magese</groupId>
15.     <artifactId>ik-analyzer</artifactId>
16.     <version>8.5.0</version>
17. </dependency>

复制代码

IkAnalyzer配置

1. package com.example.demo.config;
3. import org.apache.lucene.analysis.Analyzer;
4. import org.springframework.context.annotation.Bean;
5. import org.springframework.context.annotation.Configuration;
6. import org.wltea.analyzer.lucene.IKAnalyzer;
8. @Configuration
9. public class IkAnalyzerConfig {
11.     @Bean
12.     public Analyzer ikAnalyzer() {
13.         return new IKAnalyzer(true);
14.     }
16. }

复制代码

自定义IkAnalyzerService

1. package com.example.demo.service;
3. import lombok.extern.slf4j.Slf4j;
4. import org.apache.lucene.analysis.Analyzer;
5. import org.apache.lucene.analysis.TokenStream;
6. import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
7. import org.springframework.stereotype.Service;
8. import javax.annotation.Resource;
9. import java.io.IOException;
10. import java.io.StringReader;
11. import java.util.ArrayList;
12. import java.util.List;
14. @Slf4j
15. @Service
16. public class IkAnalyzerService {
18.     @Resource
19.     private Analyzer analyzer;
21.     public List<String> textHandler(String text) {
23.         List<String> result = new ArrayList<>();
25.         // 将文本转换为Reader对象
26.         StringReader reader = new StringReader(text);
28.         try {
30.             // 获取TokenStream对象
31.             TokenStream tokenStream = analyzer.tokenStream("content", reader);
33.             // 获取CharTermAttribute对象，用于获取分词结果
34.             CharTermAttribute charTermAttr = tokenStream.addAttribute(CharTermAttribute.class);
36.             // 重置TokenStream，准备读取分词结果
37.             tokenStream.reset();
39.             // 循环读取分词结果
40.             while (tokenStream.incrementToken()) {
41.                 result.add(charTermAttr.toString());
42.             }
44.             tokenStream.close();
45.         } catch (IOException e) {
46.             log.error("IkAnalyzerService.textHandler() IOException:{}", e.getMessage(), e);
47.         }
49.         return result;
50.     }
51. }

复制代码

验证

测试代码

1. package com.example.demo;
3. import com.alibaba.fastjson.JSON;
4. import com.example.demo.service.IkAnalyzerService;
5. import lombok.extern.slf4j.Slf4j;
6. import org.junit.jupiter.api.Test;
7. import org.springframework.boot.test.context.SpringBootTest;
8. import javax.annotation.Resource;
9. import java.util.List;
11. @Slf4j
12. @SpringBootTest
13. public class ApplicationTests {
15.     @Resource
16.     private IkAnalyzerService ikAnalyzerService;
18.     @Test
19.     public void contextLoads() {
20.         List<String> result = ikAnalyzerService.textHandler("这个电影很精彩，推荐！！！");
21.         log.info("{}", JSON.toJSONString(result));
22.         result = ikAnalyzerService.textHandler("他在家正发呆呢");
23.         log.info("{}", JSON.toJSONString(result));
24.         result = ikAnalyzerService.textHandler("人家都说他是个好领导，我们可以相信他吗");
25.         log.info("{}", JSON.toJSONString(result));
26.     }
27. }

复制代码

运行结果

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。