Java实现简单的搜索引擎

一、准备工作

在开始实现搜索引擎之前，必要准备以下工作：

• 编译环境：必要在本地安装JDK环境，并配置好对应的环境变量。
  
• Maven管理工具：Maven是一个Java项目管理工具，能够主动下载所需的依赖库，并管理项目的编译、测试、打包等过程。
  
• Lucene搜索引擎库：Lucene是一种高效的文本搜索引擎库，它提供了全文检索、含糊搜索、分词等功能，是实现搜索引擎的核心组件。
  

二、创建项目

1. 引入Lucene库

<dependency> <groupId>org.apache.lucene</groupId> <artifactId>lucene-core</artifactId> <version>8.8.2</version> </dependency> 复制代码

2. 添加引用

import java.io.File; import java.io.IOException; import java.nio.file.Paths; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.document.StringField; import org.apache.lucene.document.TextField; import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.index.IndexReader; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.IndexWriterConfig; import org.apache.lucene.queryparser.classic.MultiFieldQueryParser; import org.apache.lucene.queryparser.classic.ParseException; import org.apache.lucene.queryparser.classic.QueryParser; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.ScoreDoc; import org.apache.lucene.search.TopDocs; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory; 复制代码

三、实现功能

1. 创建索引

将指定目录下的所有文件创建索引，其中文件名和内容会被添加到索引中。

public static void createIndex(String indexDir, String dataDir) throws IOException {     Analyzer analyzer = new StandardAnalyzer(); // 创建分词器     Directory dir = FSDirectory.open(Paths.get(indexDir)); // 创建索引目录     IndexWriterConfig config = new IndexWriterConfig(analyzer); // 创建索引配置     IndexWriter writer = new IndexWriter(dir, config); // 创建索引写入器     File[] files = new File(dataDir).listFiles(); // 获取数据文件列表     for (File file : files) {         if (!file.isDirectory() && !file.isHidden() && file.exists() && file.canRead()) {             Document doc = new Document(); // 创建文档             doc.add(new StringField("filename", file.getName(), Field.Store.YES)); // 添加文件名字段             doc.add(new TextField("content", new String(Files.readAllBytes(file.toPath())), Field.Store.NO)); // 添加文件内容字段             writer.addDocument(doc); // 写入索引         }     }     writer.commit(); // 提交写入     writer.close(); // 关闭写入器 } 复制代码

2. 搜索文件

该方法会执行搜索，并输出匹配的文件名。

public static void search(String indexDir, String queryStr, int maxHits) throws IOException, ParseException {     Analyzer analyzer = new StandardAnalyzer(); // 创建分词器     Directory dir = FSDirectory.open(Paths.get(indexDir)); // 创建索引目录     IndexReader reader = DirectoryReader.open(dir); // 创建索引读取器     IndexSearcher searcher = new IndexSearcher(reader); // 创建索引搜索器     String[] fields = {"filename", "content"}; // 指定搜索字段     QueryParser parser = new MultiFieldQueryParser(fields, analyzer); // 创建多字段查询解析器     parser.setDefaultOperator(QueryParser.Operator.OR); // 指定搜索模式     TopDocs hits = searcher.search(parser.parse(queryStr), maxHits); // 执行搜索     System.out.println("Total hits: " + hits.totalHits.value); // 输出结果总数     for (ScoreDoc scoreDoc : hits.scoreDocs) {         Document doc = searcher.doc(scoreDoc.doc); // 获取匹配的文档         System.out.println("File name: " + doc.get("filename")); // 输出匹配的文件名     } } 复制代码

3. 示例阐明

以下是两条实现搜索引擎的示例阐明。
1. 搜索本地文件

假设我们必要搜索本地C盘下的所有txt文件，我们可以利用以下代码：

String indexDir = "C:/luceneIndex"; // 索引目录 String dataDir = "C:/data"; // 数据目录 String queryStr = "lucene"; // 查询字符串 int maxHits = 10; // 最大结果数量 createIndex(indexDir, dataDir); // 创建索引 search(indexDir, queryStr, maxHits); // 执行搜索 复制代码

2. 搜索网络数据

假设我们必要从某个网站中搜索所有包含关键字的链接，我们可以利用以下代码：

String indexDir = "C:/luceneIndex"; // 索引目录 String url = "http://example.com/search?q=lucene"; // 查询链接 String queryStr = "example"; // 查询字符串 int maxHits = 10; // 最大结果数量 DocumentFetcher documentFetcher = new DocumentFetcher(url); String data = documentFetcher.getContent(); createIndex(indexDir, data); // 创建索引 search(indexDir, queryStr, maxHits); // 执行搜索 复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。