ToB企服应用市场:ToB评测及商务社交产业平台

标题: elasticsearch安装与使用(2)-基于term匹配的简单搜索引擎搭建 [打印本页]
作者: 梦应逍遥    时间: 2024-6-14 21:44
标题: elasticsearch安装与使用(2)-基于term匹配的简单搜索引擎搭建
把一篇pdf论文解析后，放入es数据库中，建立倒排索引表，并实现简单搜索。
1、pdf论文解析(英文)

安装pdf解析包
  1. pip install pdfminer.six
复制代码
  1. def extract_text_from_pdf(filename, page_numbers=None, min_line_length=1):
  2.     '''
  3.     从pdf文件中提取文字
  4.     :param filename: pdf文件
  5.     :param page_numbers: 指定页码，list
  6.     :param min_line_length: 文本最小分隔长度
  7.     :return:
  8.     '''
  9.     paragraphs = []
  10.     buffer = ''
  11.     full_text = ''
  12.     # 提取全部文本
  13.     for i, page_layout in enumerate(extract_pages(filename)):
  14.         if page_numbers is not None and i not in page_numbers:
  15.             continue
  16.         for element in page_layout:
  17.             if isinstance(element, LTTextContainer):
  18.                 full_text += element.get_text() + '\n'
  19.         # 按空行分隔，将文本重新组织成段落
  20.         lines = full_text.split('\n')
  21.         for text in lines:
  22.             if len(text) >= min_line_length:
  23.                 buffer += (' ' + text) if not text.endswith('-') else text.strip('-')
  24.             elif buffer:
  25.                 paragraphs.append(buffer)
  26.                 buffer = ''
  27.         if buffer:
  28.             paragraphs.append(buffer)
  30.     return paragraphs
复制代码
2、关键字提取

nltk安装见nltk安装与使用
  1. import re
  2. from nltk.stem import PorterStemmer
  3. from nltk.tokenize import word_tokenize
  4. from nltk.corpus import stopwords
  7. def keywords(text):
  8.     '''
  9.     提取文本关键字(简化版)
  10.     :param text: 一段字符串
  11.     :return:
  12.     '''
  13.     # 提取所有字母数字，并替换所有非字母数字的字符为空格
  14.     no_symbols = re.sub(r'[^a-zA-Z0-9\s]', ' ', text)
  16.     # 分词
  17.     word_tokens = word_tokenize(no_symbols)
  19.     # 去停用词
  20.     stop_words = set(stopwords.words('english'))
  21.     filtered_words = [w for w in word_tokens if not w.lower() in stop_words]
  23.     # 取词根
  24.     ps = PorterStemmer()
  25.     key_words = [ps.stem(w) for w in filtered_words]
  27.     return ' '.join(key_words)
复制代码
3、创建Elasticsearch毗连，注意添加证书

Elasticsearch安装见elasticsearch安装与使用(1)-使用docker安装Elasticsearch
  1. from elasticsearch import Elasticsearch, helpers
  2. # 创建Elasticsearch连接
  3. es = Elasticsearch(
  4.     hosts=['https://localhost:9200'],  # 服务地址与端口
  5.     basic_auth=("elastic", "N-sf6R*O0Ur344otTfzc"),  # 用户名，密码
  6.     ca_certs="/Users/sunwenjun/data/elastic8/http_ca.crt"  # 证书
  7. )
复制代码
4、建立倒排索引库

  1. def add_data_to_es(index_name="test_index", text_list=["text1","text2"]):
  2.     '''
  3.     建立索引，并往索引里添加数据
  4.     :param index_name: 定义索引名称
  5.     param paragraphs: 需要检索的文本列表  
  6.     :return:
  7.     '''
  9.     # 如果索引已存在，删除它
  10.     if es.indices.exists(index=index_name):
  11.         es.indices.delete(index=index_name)
  13.     # 创建索引
  14.     es.indices.create(index=index_name)
  16.     # 灌库指令
  17.     actions = []
  18.     for text in text_list:
  19.         action = {
  20.             "_index": index_name,
  21.             "_source": {
  22.                 "keywords": keywords(text),
  23.                 "text": text
  24.             }
  25.         }
  26.         actions.append(action)
  28.     # 文本灌库
  29.     res = helpers.bulk(es, actions)
  30.     return res
  32. # 往es里添加数据
  33. index_name = "index_test"
  34. add_data_to_es(index_name, paragraphs)
复制代码
索引库可视化见elasticsearch安装与使用(3)-索引库可视化
5、实现搜索

  1. def search(index_name, query, top_n=3):
  2.     '''
  3.     查询
  4.     :param index_name:
  5.     :param query:
  6.     :param top_n:
  7.     :return:
  8.     '''
  9.     search_query = {
  10.         "match":
  11.             {"keywords": keywords(query)}
  12.     }
  13.     search_res = es.search(index=index_name, query=search_query, size=top_n)
  15.     results = [hit["_source"]["text"] for hit in search_res["hits"]["hits"]]
  16.     return results
  18. query = "retrieval "
  19. results = search(index_name, query, 5)
  20. for res in results:
  21.            print(res)
复制代码
5、完备代码

esdemo-01
参考

无需重新学习，使用 Kibana 查询/可视化 SLS 数据

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4