ToB企服应用市场:ToB评测及商务社交产业平台

标题: ElasticSearch第1讲（4万字详解 Linux下安装、原生调用、API调用超全总结、 [打印本页]
作者: 来自云龙湖轮廓分明的月亮    时间: 2024-7-26 00:00
标题: ElasticSearch第1讲（4万字详解 Linux下安装、原生调用、API调用超全总结、
ElasticSearch

正排索引和倒排索引

ES用的倒排索引算法。正倒两种索引都是用于快速检索数据的实现方案，我没有太官方的解释，以是举例说明：
分词

分词就是把字符串拆分成有效的关键词，用于提供高质量搜索的数据源。
安装ES 8.14.1

  1. Java写的组件吃内存，建议VM虚拟机内存设置大一点，系统设置为1G内存。
  3. 开两个端口，并重启防火墙
  4. firewall-cmd --add-port=9200/tcp --zone=public --permanent
  5. firewall-cmd --add-port=9300/tcp --zone=public --permanent
  6. systemctl restart firewalld
  8. 新建一个es用户，以非root形式运行，否则运行es会报错，java.lang.RuntimeException: can not run elasticsearch as root
  9. useradd -M es
  10. passwd es 密码为123456
  12. vim  /etc/security/limits.conf
  13. 文末添加两行配置，优化文件描述符软硬限制，对提高性能非常重要，文件描述符用于标识和管理每个进程都可以打开文件的数量
  14. es soft nofile 65536
  15. es hard nofile 65536
  17. vim /etc/security/limits.d/20-nproc.conf
  18. 文末添加两行配置，优化文件描述符软硬限制，对提高性能非常重要，文件描述符用于标识和管理每个进程都可以打开文件的数量
  19. es soft nofile 65536
  20. es hard nofile 65536
  22. vim /etc/sysctl.conf
  23. 定义系统中可以同时打开的最大文件描述符数量。
  24. fs.file-max=655350
  25. 定义Linux内核中进程可以拥有的最大内存映射区域数量
  26. vm.max_map_count=262144
  28. 重启
  29. sysctl -p
复制代码
  1. 下载tar包并解压，这个包地址来源于官网，并非java源码包
  2. wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.14.1-linux-x86_64.tar.gz
  3. tar zxf elasticsearch-8.14.1-linux-x86_64.tar.gz
  6. 更改所属的用户和用户组
  7. chown -R es:es elasticsearch-8.14.1
  10. 切换用户
  11. su es
  14. 启动ES，如果发现报错，请清空bin目录同级的data目录
  15. ./bin/elasticsearch
  18. 启动后，直到看到如下字样，说明能成功启动，但是输入它生成的用户名密码，登不进去
  19. 然后Ctrl + C强制停止，因为启动一次之后，config/elasticsearch.yml配置文件，会发生变化，这一步不可少
  20. Elasticsearch security features have been automatically configured!
  23. 登不进去，那就改配置
  24. vim config/elasticsearch.yml
  26. 把91~103行的true全部改为false，如下，注意配置格式，key: value之间要留出空格，否则ES不识别对应的值。
  27. # Enable security features
  28. xpack.security.enabled: false
  30. xpack.security.enrollment.enabled: false
  32. # Enable encryption for HTTP API client connections, such as Kibana, Logstash, and Agents
  33. xpack.security.http.ssl:
  34.   enabled: false
  35.   keystore.path: certs/http.p12
  37. # Enable encryption and mutual authentication between cluster nodes
  38. xpack.security.transport.ssl:
  39.   enabled: false
  42. 保存退出后，清除初始化的data数据
  43. rm -rf elasticsearch-8.14.1/data/*
  46. 再次执行，并使其后台运行
  47. ./bin/elasticsearch -d
  50. 查看进程，确定ES是否成功执行
  51. ps aux | grep elastic
  52. es        49044 30.2 64.3 8291804 640416 pts/0  Sl   05:08   0:26 /test/elasticsearch-8.14.1/jdk/bin/java -Des.networkaddress.cache.ttl=60 -Des.networkaddress.cache.negative.ttl=10 -Djava.security.manager=allow -XX:+AlwaysPreTouch -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Dlog4j2.formatMsgNoLookups=true -Djava.locale.providers=SPI,COMPAT --add-opens=java.base/java.io=org.elasticsearch.preallocate --add-opens=org.apache.lucene.core/org.apache.lucene.store=org.elasticsearch.vec --enable-native-access=org.elasticsearch.nativeaccess -XX:ReplayDataFile=logs/replay_pid%p.log -Djava.library.path=/test/elasticsearch-8.14.1/lib/platform/linux-x64:/usr/java/packages/lib:/usr/lib64:/lib64:/lib:/usr/lib -Djna.library.path=/test/elasticsearch-8.14.1/lib/platform/linux-x64:/usr/java/packages/lib:/usr/lib64:/lib64:/lib:/usr/lib -Des.distribution.type=tar -XX:+UnlockDiagnosticVMOptions -XX:G1NumCollectionsKeepPinned=10000000 -XX:+UseG1GC -Djava.io.tmpdir=/tmp/elasticsearch-13971958964404181235 --add-modules=jdk.incubator.vector -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError -XX:HeapDumpPath=data -XX:ErrorFile=logs/hs_err_pid%p.log -Xlog:gc*,gc+age=trace,safepoint:file=logs/gc.log:utctime,level,pid,tags:filecount=32,filesize=64m -Xms389m -Xmx389m -XX:MaxDirectMemorySize=204472320 -XX:G1HeapRegionSize=4m -XX:InitiatingHeapOccupancyPercent=30 -XX:G1ReservePercent=15 --module-path /test/elasticsearch-8.14.1/lib --add-modules=jdk.net --add-modules=ALL-MODULE-PATH -m org.elasticsearch.server/org.elasticsearch.bootstrap.Elasticsearch
  53. es        49075  0.0  0.0  55180   880 pts/0    Sl   05:09   0:00 /test/elasticsearch-8.14.1/modules/x-pack-ml/platform/linux-x86_64/bin/controller
  54. es        49230  0.0  0.0 112828   968 pts/0    R+   05:10   0:00 grep elastic
  57. 访问：
  58. http://IP:9200/
复制代码
设置密码（保举添加）

上文设置的是没有密码的方案，倘若服务器IP和端口对外暴露，这不是一种安全的行为。
注意，要部署集群，各个节点密码应当一致。
  1. 注意配置格式，key: value之间要留出空格，否则ES不识别对应的值。
  2. vim es根目录/config/elasticsearch.yml
  3. 修改以下配置
  4. xpack.security.enabled: true
  6. 非root用户下启动es
  7. ./bin/elasticsearch -d
  8. 启动一个交互式命令行界面，从而设置密码，期间的几个交互，全部设置为123456
  9. ./bin/elasticsearch-setup-passwords interactive
  11. 默认用户名:elastic
  12. 密码:123456
复制代码
概念辅助类比

ES中有些新的概念，可通过MySQL的概念去辅助记忆。
ESMySQL备注Index（索引）库表/Type（类型）表7及以上的版本被移除，原先是对标MySQL表的理念，厥后发现这对于ES并非必须，就移除了Documents（文档）行数据/Fields（字段）字段/Mapping（映射）表结构/Shards（分片）分表顾名思义，当数据量太大单个节点都装不下的时候，就拆分到别的节点上默认页说明

  1. {
  2.     "name": "lnmp",
  3.     "cluster_name": "elasticsearch",
  4.     "cluster_uuid": "k61PBMDqTKO31rZeV-ENGA",
  5.     "version": {
  6.         "number": "8.14.1",
  7.         "build_flavor": "default",
  8.         "build_type": "tar",
  9.         "build_hash": "93a57a1a76f556d8aee6a90d1a95b06187501310",
  10.         "build_date": "2024-06-10T23:35:17.114581191Z",
  11.         "build_snapshot": false,
  12.         "lucene_version": "9.10.0",
  13.         "minimum_wire_compatibility_version": "7.17.0",
  14.         "minimum_index_compatibility_version": "7.0.0"
  15.     },
  16.     "tagline": "You Know, for Search"
  17. }
  19. "name": "lnmp"：系统标识
  20. "cluster_name": "elasticsearch"：Elasticsearch 集群的名称为 “elasticsearch”。
  21. "cluster_uuid": "k61PBMDqTKO31rZeV-ENGA"：Elasticsearch集群的唯一标识符。
  22. "version"：版本信息：
  23. "number": 版本号
  24. "build_flavor": "default"：构建的类型，这里是默认的。
  25. "build_type": "tar"：构建类型为 tar 包。
  26. "build_hash": "93a57a1a76f556d8aee6a90d1a95b06187501310"：构建的哈希值，用于唯一标识这个特定的构建。
  27. "build_date": "2024-06-10T23:35:17.114581191Z"：构建的日期和时间。
  28. "build_snapshot": false：表示这个构建不是一个快照版本。
  29. "lucene_version": "9.10.0"：基于Lucene 9.10.0的版本。
  30. "minimum_wire_compatibility_version": "7.17.0"：最低兼容的网络传输版本。
  31. "minimum_index_compatibility_version": "7.0.0"：最低兼容的索引版本。
  32. "tagline": "You Know, for Search"：Elasticsearch 的标语，说明其用途是进行搜索。
复制代码
索引增删查操作

  1. {
  2.         "acknowledged": true,
  3.         "shards_acknowledged": true,
  4.         "index": "zs_index"
  5. }
  7. "acknowledged": true：指示请求是否被成功接受和处理。
  8. "shards_acknowledged": true：指示所有分片是否已经确认请求。
  9. "index": "zs_index"：这表示操作涉及的索引名称为 “zs_index”。
复制代码
  1. {
  2.         "error": {
  3.                 "root_cause": [
  4.                         {
  5.                                 "type": "resource_already_exists_exception",
  6.                                 "reason": "index [zs_index/dCMAgdlqTeaihB4JSH1gNw] already exists",
  7.                                 "index_uuid": "dCMAgdlqTeaihB4JSH1gNw",
  8.                                 "index": "zs_index"
  9.                         }
  10.                 ],
  11.                 "type": "resource_already_exists_exception",
  12.                 "reason": "index [zs_index/dCMAgdlqTeaihB4JSH1gNw] already exists",
  13.                 "index_uuid": "dCMAgdlqTeaihB4JSH1gNw",
  14.                 "index": "zs_index"
  15.         },
  16.         "status": 400
  17. }
  19. "error"：这个对象包含了发生的错误信息。
  20. "root_cause"：根本原因的数组，指示导致问题的具体原因。
  21. "type": "resource_already_exists_exception"：错误的类型，表示尝试创建的索引已经存在。
  22. "reason": "index [zs_index/dCMAgdlqTeaihB4JSH1gNw] already exists"：错误的详细原因，指明索引 “zs_index” 和其唯一标识符 “dCMAgdlqTeaihB4JSH1gNw” 已经存在。
  23. "index_uuid": "dCMAgdlqTeaihB4JSH1gNw"：已存在索引的 UUID。
  24. "index": "zs_index"：已存在索引的名称。
  25. "type": "resource_already_exists_exception"：总体错误类型，与根本原因相同。
  26. "reason": "index [zs_index/dCMAgdlqTeaihB4JSH1gNw] already exists"：再次指明索引已经存在的原因。
  27. "index_uuid": "dCMAgdlqTeaihB4JSH1gNw"：重复指定已存在索引的 UUID。
  28. "index": "zs_index"：重复指定已存在索引的名称。
  29. "status": 400：HTTP 状态码，表示客户端请求错误
复制代码
  1. {
  2.         "zs_index": {
  3.                 "aliases": {},
  4.                 "mappings": {},
  5.                 "settings": {
  6.                         "index": {
  7.                                 "routing": {
  8.                                         "allocation": {
  9.                                                 "include": {
  10.                                                         "_tier_preference": "data_content"
  11.                                                 }
  12.                                         }
  13.                                 },
  14.                                 "number_of_shards": "1",
  15.                                 "provided_name": "zs_index",
  16.                                 "creation_date": "1719699272706",
  17.                                 "number_of_replicas": "1",
  18.                                 "uuid": "dCMAgdlqTeaihB4JSH1gNw",
  19.                                 "version": {
  20.                                         "created": "8505000"
  21.                                 }
  22.                         }
  23.                 }
  24.         }
  25. }
  27. "aliases": {}：索引的别名列表为空，表示该索引当前没有别名。
  28. "mappings": {}：索引的映射为空对象，即没有定义特定的字段映射。
  29. "settings"：索引的设置信息：
  30. "index"：
  31. "routing"：
  32. "allocation"：
  33. "include"：
  34. "_tier_preference": "data_content"：指定索引分配时偏好的数据内容层级。
  35. "number_of_shards": "1"：该索引被分成了一个分片。
  36. "provided_name": "zs_index"：索引的提供的名称为 “zs_index”。
  37. "creation_date": "1719699272706"：索引的创建日期的时间戳形式。
  38. "number_of_replicas": "1"：该索引有一个副本。
  39. "uuid": "dCMAgdlqTeaihB4JSH1gNw"：索引的唯一标识符 UUID。
  40. "version"：
  41. "created": "8505000"：索引的版本信息，表示索引在 Elasticsearch 版本 “8505000” 中创建。
复制代码
  1. health status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.size dataset.size
  2. yellow open   zs_index dCMAgdlqTeaihB4JSH1gNw   1   1          0            0       249b           249b         249b
  4. health: 索引的健康状态，此处为 “yellow”，表示所有预期的分片都可用，但副本尚未分配。
  5. status: Elasticsearch 的状态指示符，这里是 “open”，表示索引是打开状态，可以接收读写操作。
  6. index: 索引名。
  7. uuid: 索引的唯一标识符。
  8. pri: 主分片数为 1，即索引被分成了一个主分片。
  9. rep: 副本数为 1，表示每个主分片有一个副本。
  10. docs.count: 文档数量为 0，当前索引中的文档总数。
  11. docs.deleted: 已删除的文档数量为 0。
  12. store.size: 存储大小为 249b，索引占用的物理存储空间。
  13. pri.store.size: 主分片的存储大小，也是 249b。
  14. dataset.size: 数据集大小为 249b，即索引的数据集大小。
复制代码
  1. {
  2.         "acknowledged": true
  3. }
  5. 返回true表示成功执行。
复制代码
文档增编削查操作

  1. 这是存入的数据
  2. {
  3.     "id":1,
  4.     "content":"C是世界上最好的编程语言"
  5. }
  7. 这是返回的数据，若用户指定id，则id处显示的是用户指定的id
  8. {
  9.         "_index": "zs_index",
  10.         "_id": "0mMsZpABZdTHCHXLZQhu",
  11.         "_version": 1,
  12.         "result": "created",
  13.         "_shards": {
  14.                 "total": 2,
  15.                 "successful": 1,
  16.                 "failed": 0
  17.         },
  18.         "_seq_no": 0,
  19.         "_primary_term": 1
  20. }
  21. "_index": "zs_index": 表示文档被添加到了名为zs_index的索引中。
  22. "_id": "0mMsZpABZdTHCHXLZQhu": 是新添加的文档的ID。在Elasticsearch中，每个文档都有一个唯一的ID，用于唯一标识和检索该文档。
  23. "_version": 1: 表示该文档的版本号是1。每当文档被更新时，版本号会增加，这有助于跟踪文档的更改历史。
  24. "result": "created": 表示操作的结果是创建了一个新的文档。
  25. "_shards": 这个字段提供了关于索引操作的分片信息。
  26. "total": 2: 表示总共有2个分片参与了这次索引操作（通常是一个主分片和其副本）。
  27. "successful": 1: 表示有1个分片成功完成了索引操作。在yellow健康状态的索引中，这通常意味着主分片成功了，但副本分片可能还没有数据（因为它是yellow状态，副本可能还没有分配或同步）。
  28. "failed": 0: 表示没有分片失败。
  29. "_seq_no": 0: 是文档在Lucene段中的序列号，用于在内部跟踪文档的版本和顺序。
  30. "_primary_term": 1: 主要术语（primary term）是与_seq_no一起使用的，用于确保文档版本的一致性，特别是在主节点更换时。
复制代码
  1. 方式1，若有id号，再次执行增文档操作，可自动将create操作编程update操作。
  2. 更新数据
  3. {
  4.     "id":1,
  5.     "content":"C是世界上最好的编程语言"
  6. }
  7. 方式2，请求内容同方式1
  9. 方式3，因为要修改局部数据，所以必须告知ES修改那块的局部数据，以下：第一层花括号和doc是固定格式。
  10. {
  11.     "doc" : {
  12.         "content": "C是最好的编程语言"
  13.     }
  14. }
  18. 3种方式的响应格式一致：
  19. {
  20.         "_index": "zs_index",
  21.         "_id": "1",
  22.         "_version": 17,
  23.         "result": "updated",
  24.         "_shards": {
  25.                 "total": 2,
  26.                 "successful": 1,
  27.                 "failed": 0
  28.         },
  29.         "_seq_no": 24,
  30.         "_primary_term": 1
  31. }
  33. "_index": "zs_index": 表示被更新的文档位于名为zs_index的索引中。
  34. "_id": "1": 是被更新的文档的唯一ID。
  35. "_version": 17: 表示该文档的版本号已更新为17。版本号在每次更新时增加，用于跟踪文档的变化历史。
  36. "result": "updated": 表示更新操作已成功执行，文档被更新了。
  37. "_shards": 提供了关于更新操作涉及的分片信息。
  39. "total": 2: 表示总共有2个分片参与了更新操作（通常是一个主分片和其副本）。
  40. "successful": 1: 表示有1个分片成功完成了更新操作。在yellow健康状态的索引中，这意味着主分片成功了，但副本分片可能尚未同步数据。
  41. "failed": 0: 表示没有分片失败。
  42. "_seq_no": 24: 是文档在Lucene段中的序列号，用于内部跟踪文档版本和顺序。
  44. "_primary_term": 1: 主要术语（primary term）与_seq_no一起使用，确保文档版本的一致性，特别是在主节点更换时。
复制代码
  1. {
  2.         "_index": "zs_index",
  3.         "_id": "1",
  4.         "_version": 8,
  5.         "_seq_no": 14,
  6.         "_primary_term": 1,
  7.         "found": true,
  8.         "_source": {
  9.                 "id": 1,
  10.                 "content": "C是世界上最好的编程语言"
  11.         }
  12. }
  15. "_seq_no": 14: 是文档在Lucene段中的序列号，用于内部跟踪文档版本和顺序。
  16. "_primary_term": 1: 主要术语（primary term）与_seq_no一起使用，确保文档版本的一致性，尤其是在主节点更换时。
  17. "found": true: 表示Elasticsearch成功找到了指定ID的文档，若为false，表示未找到。
  18. "_source": 包含了文档的实际内容。
复制代码
  1. {
  2.         "took": 137,
  3.         "timed_out": false,
  4.         "_shards": {
  5.                 "total": 1,
  6.                 "successful": 1,
  7.                 "skipped": 0,
  8.                 "failed": 0
  9.         },
  10.         "hits": {
  11.                 "total": {
  12.                         "value": 8,
  13.                         "relation": "eq"
  14.                 },
  15.                 "max_score": 1,
  16.                 "hits": [
  17.                         {
  18.                                 "_index": "zs_index",
  19.                                 "_id": "1",
  20.                                 "_score": 1,
  21.                                 "_source": {
  22.                                         "id": 1,
  23.                                         "content": "C是世界上最好的编程语言"
  24.                                 }
  25.                         },
  26.                         {
  27.                                 "_index": "zs_index",
  28.                                 "_id": "02M0ZpABZdTHCHXLjAgN",
  29.                                 "_score": 1,
  30.                                 "_source": {
  31.                                         "id": 1,
  32.                                         "content": "C是世界上最好的编程语言"
  33.                                 }
  34.                         }
  35.                 ]
  36.         }
  37. }
  39. "took": 137: 表示搜索操作耗费了137毫秒。
  40. "timed_out": false: 表示搜索操作未超时。
  41. "_shards": 提供了关于搜索操作涉及的分片信息。
  43. "total": 1: 表示总共有1个分片参与了搜索操作。
  44. "successful": 1: 表示所有参与的分片都成功完成了搜索。
  45. "skipped": 0: 表示没有分片被跳过。
  46. "failed": 0: 表示没有分片失败。
  47. "hits": 包含了搜索结果的详细信息。
  49. "total": {"value": 8, "relation": "eq"}: 表示符合搜索条件的文档总数为8个。
  50. "value": 8: 具体的文档数。
  51. "relation": "eq": 表示与总数值相等，即已经获取了所有匹配的文档。
  52. "hits"数组: 包含了每个匹配文档的详细信息。
  54. 每个文档对象包括了：
  55. "_index": "zs_index": 文档所属的索引名称。
  56. "_id": 文档的唯一ID。
  57. "_score": 1: 文档的匹配分数，此处为1（最高分）。
  58. "_source": 包含了文档的实际内容。
复制代码
  1. {
  2.         "_index": "zs_index",
  3.         "_id": "1",
  4.         "_version": 24,
  5.         "result": "not_found",
  6.         "_shards": {
  7.                 "total": 2,
  8.                 "successful": 1,
  9.                 "failed": 0
  10.         },
  11.         "_seq_no": 31,
  12.         "_primary_term": 1
  13. }
  14. "result": "not_found": 表示更新操作未找到指定的文档，若是deleted，表示成功删除。
  15. _shards": 提供了关于更新操作涉及的分片信息。
  17. "total": 2: 表示总共有 2 个分片参与了更新操作（通常是一个主分片和其副本）。
  18. "successful": 1: 表示有 1 个分片成功完成了更新操作。在索引状态为 yellow 时，这可能意味着主分片成功了，但副本分片可能尚未同步数据。
  19. "failed": 0: 表示没有分片失败。
  20. "_seq_no": 31: 是文档在 Lucene 段中的序列号，用于内部跟踪文档版本和顺序。
  22. "_primary_term": 1: 主要术语（primary term）与 _seq_no 一起使用，确保文档版本的一致性，特别是在主节点更换时。
复制代码
文档复杂查询操作

  1. {
  2.         "took": 8,
  3.         "timed_out": false,
  4.         "_shards": {
  5.                 "total": 1,
  6.                 "successful": 1,
  7.                 "skipped": 0,
  8.                 "failed": 0
  9.         },
  10.         "hits": {
  11.                 "total": {
  12.                         "value": 6,
  13.                         "relation": "eq"
  14.                 },
  15.                 "max_score": 0.074107975,
  16.                 "hits": [
  17.                         {
  18.                                 "_index": "zs_index",
  19.                                 "_id": "0mMsZpABZdTHCHXLZQhu",
  20.                                 "_score": 0.074107975,
  21.                                 "_source": {
  22.                                         "id": 1,
  23.                                         "content": "C是世界上最好的编程语言"
  24.                                 }
  25.                         }
  26.                 ]
  27.         }
  28. }
  30. took: 查询花费的时间，单位为毫秒。在这个例子中，值为8，表示查询执行花费了8毫秒时间。
  32. timed_out: 表示查询是否超时。在这个例子中，值为false，表示查询未超时。
  34. _shards: 分片相关信息，包括：
  36. total: 总分片数，这里是1个分片。
  37. successful: 成功的分片数，这里是1个分片。
  38. skipped: 被跳过的分片数，这里是0个分片。
  39. failed: 失败的分片数，这里是0个分片。
  40. hits: 查询命中的结果集信息，包含：
  42. total: 总命中数，这里是6。
  43. max_score: 结果集中最高得分，这里是0.074107975。
  44. hits: 包含具体的命中文档数组。
  45. 每个文档包含以下信息：
  46. _index: 文档所在的索引。
  47. _id: 文档的唯一标识符。
  48. _score: 文档的得分。
  49. _source: 存储实际数据的字段。
复制代码
  1. {
  2.         "query": {
  3.                 "bool": {
  4.                         "must": [
  5.                                 {
  6.                                         "match": {
  7.                                                 "content": "C语言"
  8.                                         }
  9.                                 },
  10.                                 {
  11.                                         "match": {
  12.                                                 "content": "C++语言"
  13.                                         }
  14.                                 }
  15.                         ],
  16.                         "filter": {
  17.                                 "range": {
  18.                                         "content": {
  19.                                                 "gt": 1
  20.                                         }
  21.                                 }
  22.                         }
  23.                 }
  24.         }
  25. }
复制代码
响应结果同上。
聚合查询

  1. {
  2.         "took": 35,
  3.         "timed_out": false,
  4.         "_shards": {
  5.                 "total": 1,
  6.                 "successful": 1,
  7.                 "skipped": 0,
  8.                 "failed": 0
  9.         },
  10.         "hits": {
  11.                 "total": {
  12.                         "value": 6,
  13.                         "relation": "eq"
  14.                 },
  15.                 "max_score": null,
  16.                 "hits": []
  17.         },
  18.         "aggregations": {
  19.                 "id_group_avg": {
  20.                         "value": 1
  21.                 }
  22.         }
  23. }
  25. took: 查询花费的时间，单位是毫秒。这里是 35 毫秒。
  27. timed_out: 查询是否超时。这里显示为 false，表示查询在规定时间内完成。
  29. _shards: 这个对象提供关于查询在分片上的执行情况的详细信息：
  31. total: 总分片数。
  32. successful: 成功完成查询的分片数。
  33. skipped: 跳过的分片数。
  34. failed: 查询失败的分片数。
  35. 在这个例子中，总分片数为 1，且成功完成了查询。
  37. hits: 包含有关查询匹配的文档信息：
  39. total: 文档匹配的总数。
  40. value: 匹配的文档数，这里是 6。
  41. relation: 匹配关系，这里是 “eq” 表示精确匹配。
  42. max_score: 最高得分，如果不需要计算得分则为 null。
  43. hits: 实际匹配的文档数组。在这个例子中是空的，因为没有具体的文档数据。
  44. aggregations: 聚合结果信息：
  46. id_group_avg: 聚合名称，这里的值为 1。具体的聚合结果会根据你的查询和聚合定义而有所不同。
复制代码
分词与不分词的控制

这块由于涉及到字段的改动，以是必要重新建立索引，并且添加了映射（mapping）的概念
  1. 重新建立一个people索引
  2. PUT请求 IP:9200/people
  3. 再次请求，添加映射
  4. IP:9200/people/_mapping
  6. {
  7.     "properties" :{
  8.         "name" : {
  9.             "type":"text",
  10.             "index":true
  11.         },
  12.         "sex" : {
  13.             "type":"keyword",
  14.             "index":true
  15.         },
  16.         "tel" : {
  17.             "type":"keyword",
  18.             "index":false
  19.         }
  20.     }
  21. }
  22. 上方的index指的是是否为这条数据添加索引。
  23. type是索引类型，text代表支持分词查询（MySQL like '%kw%'），keyword代表不可分词查询 (MySQL = 'kw')。
  25. 然后添加三条数据
  26. PUT IP:9200/people/_create/1
  27. {
  28.     "name":"张三",
  29.     "sex":"男性",
  30.     "tel":"18888888888"
  31. }
  32. PUT IP:9200/people/_create/2
  33. {
  34.     "name":"李四",
  35.     "sex":"女性",
  36.     "tel":"16666666666"
  37. }
  38. PUT IP:9200/people/_create/3
  39. {
  40.     "name":"王五",
  41.     "sex":"男性",
  42.     "tel":"18866668888"
  43. }
  45. 搜索
  46. GET IP:9200/people/_search
  47. {
  48.     "query" :{
  49.         "match" :{
  50.             "sex" : "男" 把性去掉，搜索不到数据
  51.         }
  52.     }
  53. }
  54. GET IP:9200/people/_search
  55. {
  56.     "query" :{
  57.         "match" :{
  58.             "name" : "张" 把三去掉，可以搜索到数据
  59.         }
  60.     }
  61. }
  62. GET IP:9200/people/_search
  63. {
  64.     "query" :{
  65.         "match" :{
  66.             "tel" : "188" 若输入手机号前3位，则搜不到数据，输入完整的手机号，则可以搜索到数据
  67.         }
  68.     }
  69. }
复制代码
PHP Api调用

官方文档：https://www.elastic.co/guide/en/elasticsearch/client/php-api/current/getting-started-php.html#_installation
某些ES Api（例如创建索引）不能重复执行，重复执行会报错，以是在执行写操作的上游做判断，大概使用try catch。
  1. composer require elasticsearch/elasticsearch
  2. 推荐安装symfony/var-dumper，用于dd()或dump()执行，美化输出。
  5. 新建PHP文件，以下代码数据为公共部分。
  6. include './vendor/autoload.php';
  7. use Elastic\Elasticsearch\ClientBuilder;
  8. //连接ES
  9. $client = ClientBuilder::create()->setHosts(['192.168.0.183:9200'])->build();
  10. //若es有密码，则需要添加一个setBasicAuthentication()方法。
  11. $client = ClientBuilder::create()->setHosts(['192.168.0.183:9200'])->setBasicAuthentication('elastic', '123456')->build();
复制代码
PHP ES Api针对Index增编削查

  1. 返回bool
  2. $response = $client->indices()->create([
  3.     'index' => 'php_index'
  4. ]);
  5. $response->asBool();
复制代码
  1. 返回bool
  2. $response = $client->indices()->exists(['index' => 'php_index']);
  3. dd($response->asBool());
复制代码
  1. 返回array
  2. $response = $client->indices()->get(['index' => 'php_index']);
  3. dd($response->asArray());
复制代码
  1. 返回bool
  2. $response = $client->indices()->delete(['index' => 'php_index']);
  3. dd($response->asBool());
复制代码
PHP ES  Api针对Mapping增编削查

  1. 返回bool
  2. $params = [
  3.     'index' => 'php_index',
  4.     'body' => [
  5.         'properties' => [
  6.             'name' => [
  7.                 'type' => 'text',
  8.             ],
  9.         ]
  10.     ]
  11. ];
  12. $response = $client->indices()->putMapping($params);
  14. dd($response->asBool());
复制代码
  1. 返回bool
  2. $params = [
  3.     'index' => 'php_index',
  4.     'body' => [
  5.         'mappings' => [
  6.             'properties' => [
  7.                 'title' => [
  8.                     'type' => 'text',
  9.                 ],
  10.                 'content' => [
  11.                     'type' => 'text',
  12.                 ],
  13.             ]
  14.         ]
  15.     ]
  16. ];
  17. $response = $client->indices()->create($params);
  18. dd($response->asBool());
复制代码
  1. 返回数组
  2. $response = $client->indices()->getMapping();
  3. dd($response->asArray());
复制代码
  1. 返回数组
  2. $response = $client->indices()->getMapping(['index' => 'php_index']);
  3. dd($response->asArray());
复制代码
PHP ES  Api针对Doc增编削

  1. 准备四个直辖市的名称，简介，人口和面积大小。
  2. $params = [
  3.     'index' => 'php_index',
  4.     'body' => [
  5.         'mappings' => [
  6.             'properties' => [
  7.                 'city' => [
  8.                     'type' => 'keyword',
  9.                 ],
  11.                 'description' => [
  12.                     'type' => 'text',
  13.                 ],
  15.                 'population' => [
  16.                     'type' => 'integer'
  17.                 ],
  19.                 'area' => [
  20.                     'type' => 'integer'
  21.                 ],
  22.             ]
  23.         ]
  24.     ]
  25. ];
  27. $response = $client->indices()->create($params);
  28. dd($response->asArray());
复制代码
  1. 返回bool
  2. $params = [
  3.     'index' => 'php_index',
  4.     'id'   => 1,
  5.     'body' => [
  6.         'id'          => 1,
  7.         'city'        => '北京市',
  8.         'description' => '北京市（Beijing），简称“京”，古称燕京、北平，是中华人民共和国首都、直辖市、国家中心城市、超大城市， 国务院批复确定的中国政治中心、文化中心、国际交往中心、科技创新中心， 中国历史文化名城和古都之一，世界一线城市',
  9.         'population'  => '2186',
  10.         'area'        => '16411',
  11.     ]
  12. ];
  13. $response = $client->index($params);
  14. dd($response->asBool());
  16. 再增加3条数据
  17. $params = [
  18.     'index' => 'php_index',
  19.     'id'   => 2,
  20.     'body' => [
  21.         'id'          => 2,
  22.         'city'        => '上海市',
  23.         'description' => '上海市（Shanghai City），简称“沪” ，别称“申”，中华人民共和国直辖市、国家中心城市、超大城市、上海大都市圈核心城市、国家历史文化名城 [206]，是中国gcd的诞生地。上海市入围世界Alpha+城市， 基本建成国际经济、金融、贸易、航运中心，形成具有全球影响力的科技创新中心基本框架。截至2022年12月底，上海市辖16个区，107个街道、106个镇、2个乡。',
  24.         'population'  => '2487',
  25.         'area'        => '6341',
  26.     ]
  27. ];
  28. $params = [
  29.     'index' => 'php_index',
  30.     'id'   => 3,
  31.     'body' => [
  32.         'id'          => 3,
  33.         'city'        => '天津市',
  34.         'description' => '天津市（Tianjin City），简称“津”，别称津沽、津门，是中华人民共和国省级行政区、直辖市、国家中心城市、超大城市 [222]，地处中华人民共和国华北地区，海河流域下游，东临渤海，北依燕山，西靠首都北京市，其余均与河北省相邻。截至2023年10月，天津市共辖16个区。',
  35.         'population'  => '1364',
  36.         'area'        => '11966',
  37.     ]
  38. ];
  39. $params = [
  40.     'index' => 'php_index',
  41.     'id'   => 4,
  42.     'body' => [
  43.         'id'          => 4,
  44.         'city'        => '重庆市',
  45.         'description' => '重庆市，简称“渝”， 别称山城、江城，是中华人民共和国直辖市、国家中心城市、超大城市，国务院批复的国家重要中心城市之一、长江上游地区经济中心， 国际消费中心城市，全国先进制造业基地、西部金融中心、西部科技创新中心、 国际性综合交通枢纽城市和对外开放门户，辖38个区县',
  46.         'population'  => '3191',
  47.         'area'        => '82400',
  48.     ]
  49. ];
复制代码
  1. 返回数组
  2. //假设MySQL查询出来的数据如下
  3. $mysql_data = [
  4.     [
  5.         'id'          => 1024,
  6.         'city'        => 'xx市',
  7.         'description' => 'xxxx',
  8.         'population'  => '6666',
  9.         'area'        => '6666',
  10.     ],
  11.     [
  12.         'id'          => 1025,
  13.         'city'        => 'yy市',
  14.         'description' => 'yyyy',
  15.         'population'  => '8888',
  16.         'area'        => '8888',
  17.     ]
  18. ];
  20. //由于ES插入的要求，需要将插入数据的格式转化，为此可以封装一个方法
  21. function esBatchInsert($index_name, $mysql_data) {
  22.     $params = [];
  23.     foreach($mysql_data as $v) {
  24.         $params['body'][] = ['index' => ['_index' => $index_name, '_id' => $v['id']],];
  25.         $params['body'][] = $v;
  26.     }
  27.     return $params;
  28. }
  30. $response = $client->bulk(esBatchInsert('php_index', $mysql_data));
  31. dd($response->asArray());
  32. 可根据返回的数据再次循环，排查失败掉的漏网之鱼
复制代码
  1. 返回bool
  2. $params = [
  3.     'index' => 'php_index',
  4.     'id'    => '1025'
  5. ];
  6. $response = $client->delete($params);
  7. dd($response->asBool());
复制代码
  1. 方式1：
  2. 返回mixed
  3. for($i = 1000; $i < 1050; $i++) { //模拟要删除这些数据
  4.     $params = [
  5.         'index' => 'php_index',
  6.         'id'    => $i
  7.     ];
  9.     if(! $client->exists($params)->asBool()) {
  10.         continue;
  11.     }
  13.     $response = $client->delete($params)->asBool();
  14.     if(! $response) {
  15.         //若删除失败，请添加其它操作，记录日志或存入队列，进行重试或者人工介入
  16.     }
  17. }
  19. 方式2：
  20. 返回mixed
  21. for($i = 1000; $i < 1050; $i++) { //模拟要删除这些数据
  22.     $params['body'][] = [
  23.         'delete' => [
  24.             '_index' => 'php_index',
  25.             '_id' => $i,
  26.         ]
  27.     ];
  28. }
  30. $response = $client->bulk($params)->asArray();
  32. if ($response['errors']) {
  33.     foreach ($response['items'] as $item) {
  34.         if (isset($item['delete']['status']) && ($item['delete']['status'] != 200)) {
  35.             //若删除失败，请添加其它操作，记录日志或存入队列，进行重试或者人工介入
  36.         }
  37.     }
  38. } else {
  39.     echo "批量删除成功！";
  40. }
复制代码
  1. 返回bool
  2. $params = [
  3.     'index' => 'php_index',
  4.     'id' => 1,
  5.     'body' => [
  6.         'script' => [
  7.             'source' => 'ctx._source.remove(params.field)',
  8.             'params' => [
  9.                 'field' => '要删除的字段名'
  10.             ]
  11.         ]
  12.     ]
  13. ];
  15. $response = $client->update($params);
  16. dd($response->asBool());
复制代码
  1. 返回bool
  2. $params = [
  3.     'index' => 'php_index',
  4.     'id'    => 1,
  5.     'body'  => [
  6.         'doc' => [
  7.             'city' => '北京' //这里是要修改的字段，把北京市改为北京
  8.         ]
  9.     ]
  10. ];
  12. $response = $client->update($params);
  13. dd($response->asBool());
复制代码
  1. 返回bool
  2. 官方文档演示有误，请按照以下正确写法。
  3. $params = [
  4.     'index' => 'php_index',
  5.     'id'    => 1,
  6.     'body'  => [
  7.         'script' => [
  8.                 //表达式
  9.             'source' => 'ctx._source.population += params.population', //给北京人口加4万，population为自定义文档字段，其余字符固定写法。
  10.             //表达式所使用的变量
  11.             'params' => [
  12.                 'population' => 4
  13.             ],
  14.         ],
  15.     ]
  16. ];
  17. $response = $client->update($params);
  18. dd($response->asBool());
复制代码
  1. $params = [
  2.     'index' => 'php_index',
  3.     'id'    => 60, //若id对应的文档不存在，则利用upsert段的数据，重新生成一个id为60的文档。
  4.     'body'  => [
  5.         'doc' => [
  6.             'city' => '台北市'
  7.         ],
  8.         'upsert' => [
  9.             'append_field' => 1
  10.         ],
  11.     ]
  12. ];
  14. $response = $client->update($params);
  15. dd($response->asBool());
复制代码
  1. //假设以下数据时数据表中查询出来的字段，要修改以下内容
  2. $mysql_data = [
  3.     ['id' => 1, 'city' => '北京'],
  4.     ['id' => 2, 'city' => '上海'],
  5. ];
  7. //可以封装一个方法，格式化数据
  8. function esBatchUpdate($index_name, $update_data) {
  9.     if(! $update_data) {
  10.         return [];
  11.     }
  13.     $arr = [];
  14.     foreach($update_data as $v) {
  15.         $arr[] = ['update' => ['_index' => $index_name, '_id' => $v['id']]];
  16.         unset($v['id']);
  17.         $arr[] = ['doc' => $v];
  18.     }
  19.     return ['body' => $arr];
  20. }
  23. $response = $client->bulk(esBatchUpdate('php_index', $mysql_data));
  24. $response = $response->asArray();
  26. //处理
  27. if ($response['errors']) {
  28.     foreach ($response['items'] as $item) {
  29.         if (isset($item['update']['status']) && ($item['update']['status'] != 200)) {
  30.             //若删除失败，请添加其它操作，记录日志或存入队列，进行重试或者人工介入
  31.         }
  32.     }
  33. } else {
  34.     echo "批量删除成功！";
  35. }
复制代码
  1. $params = [
  2.     'index' => 'php_index',
  3.     'id' => '1',
  4.     'body' => [
  5.         'doc' => [
  6.             'new_field' => 'new_value'
  7.         ],
  8.     ]
  9. ];
  11. $response = $client->update($params);
复制代码
  1. 返回bool
  2. $params = [
  3.     'index' => 'php_index',
  4.     'id' => 1,
  5.     'body' => [
  6.         'script' => [
  7.             'source' => 'ctx._source.remove(params.field)',
  8.             'params' => [
  9.                 'field' => '要删除的字段名'
  10.             ]
  11.         ]
  12.     ]
  13. ];
  15. $response = $client->update($params);
  16. dd($response->asBool());
复制代码
PHP ES  Api针对Doc高级查询

查询关键词官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/term-level-queries.html
  1. 返回string
  2. $params = [
  3.     'index' => 'php_index',
  4.     'id'    => 1,
  5. ];
  7. $response =  $client->get($params);
  8. echo $response->asString();
  9. 得到以下结果
  10. {
  11.     "_index": "php_index",
  12.     "_id": "1",
  13.     "_version": 1,
  14.     "_seq_no": 0,
  15.     "_primary_term": 1,
  16.     "found": true,
  17.     "_source": {
  18.         "id": 1,
  19.         "city": "北京市",
  20.         "description": "北京市（Beijing），简称“京”，古称燕京、北平，是中华人民共和国首都、直辖市、国家中心城市、超大城市， 国务院批复确定的中国政治中心、文化中心、国际交往中心、科技创新中心， 中国历史文化名城和古都之一，世界一线城市",
  21.         "population": "2186",
  22.         "area": "16411"
  23.     }
  24. }
复制代码
  1. 返回array
  2. $response['hits']['total']['value']可获取条数
  3. $params = [
  4.     'index' => 'php_index',
  5.     'body'  => [
  6.         'query' => [
  7.             'match_all' => new StdClass
  8.         ]
  9.     ]
  10. ];
  12. $response = $client->search($params);
  14. dd($response->asArray());
复制代码
  1. 返回数组
  2. $response['hits']['total']['value']可获取条数
  3. $params = [
  4.     'index' => 'php_index',
  5.     'body' => [
  6.         'query' => [
  7.             'ids' => [
  8.                 'values' => [1, 2]
  9.             ]
  10.         ]
  11.     ]
  12. ];
  14. $response = $client->search($params);
  15. dd($response->asArray());
复制代码
  1. 返回数组
  2. //传输的页码
  3. $page = 2;
  4. $size = 2;
  6. //偏移量算法
  7. $offset = ($page -1 ) * $size;
  9. $params = [
  10.     'index' => 'php_index',
  11.     'body' => [
  12.         'from' => $offset,
  13.         'size' => $size,
  14.         // 可以添加其他查询条件
  15.         'query' => [
  16.             'match_all' => new \stdClass()
  17.         ]
  18.     ]
  19. ];
  21. $response = $client->search($params);
  22. dd($response->asArray());
复制代码
  1. 返回数组
  2. $params = [
  3.     'index' => 'php_index',
  4.     'body' => [
  5.         '_source' => ['description'], //自定义字段
  6.         'query' => [
  7.             'match_all' => new \stdClass()
  8.         ]
  9.     ]
  10. ];
  12. $response = $client->search($params);
  13. dd($response->asArray());
复制代码
  1. 返回bool
  2. $params = [
  3.     'index' => 'php_index',
  4.     'id'    => 10
  5. ];
  6. $response = $client->exists($params);
复制代码
  1. 返回int
  2. $params = [
  3.     'index' => 'php_index',
  4.     'body' => [
  5.         'query' => [
  6.             'match_all' => new StdClass
  7.         ]
  8.     ]
  9. ];
  11. $response = $client->count($params);
  12. dd($response->asArray()['count'] ?? 0);
复制代码
  1. 返回string
  2. echo "";
  3. $params = [
  4.     'index' => 'php_index',
  5.     'body'  => [
  6.         'query' => [
  7.             'match' => [
  8.                 'description' => '北京' //返回该字段含有北京或北或京的文字。
  9.             ]
  10.         ],
  11.         'highlight' => [
  12.             'fields' => [
  13.                 'city' => ['pre_tags' => ['<em>'], 'post_tags' => ['</em>'],], //配置要高亮的字段
  14.                 'description' => ['pre_tags' => ['<em>'], 'post_tags' => ['</em>'],] //配置要高亮的字段
  15.             ]
  16.         ]
  17.     ]
  18. ];
  20. $response = $client->search($params);
  21. print_r($response->asString());
  22. 返回格式如下，具体要用那个字段，看具体需求
  24. {
  25.   "took":13,
  26.   "timed_out":false,
  27.   "_shards":{
  28.     "total":1,
  29.     "successful":1,
  30.     "skipped":0,
  31.     "failed":0
  32.   },
  33.   "hits":{
  34.     "total":{
  35.       "value":2,
  36.       "relation":"eq"
  37.     },
  38.     "max_score":2.9070516,
  39.     "hits":[
  40.       {
  41.         "_index":"php_index",
  42.         "_id":"1",
  43.         "_score":2.9070516,
  44.         "_source":{
  45.           "id":1,
  46.           "city":"北京",
  47.           "description":"北京市（Beijing），简称“京”，古称燕京、北平，是中华人民共和国首都、直辖市、国家中心城市、超大城市， 国务院批复确定的中国政治中心、文化中心、国际交往中心、科技创新中心， 中国历史文化名城和古都之一，世界一线城市",
  48.           "population":2198,
  49.           "area":"16411",
  50.           "new_field":"new_value"
  51.         },
  52.         "highlight":{
  53.           "description":["<em>北</em><em>京</em>市（Beijing），简称“<em>京</em>”，古称燕<em>京</em>、<em>北</em>平，是中华人民共和国首都、直辖市、国家中心城市、超大城市， 国务院批复确定的中国政治中心、文化中心、国际交往中心、科技创新中心， 中国历史文化名城和古都之一"]
  54.         }
  55.       },
  56.       {
  57.         "_index":"php_index",
  58.         "_id":"3",
  59.         "_score":2.5460577,
  60.         "_source":{
  61.           "id":3,
  62.           "city":"天津市",
  63.           "description":"天津市（Tianjin City），简称“津”，别称津沽、津门，是中华人民共和国省级行政区、直辖市、国家中心城市、超大城市 [222]，地处中华人民共和国华北地区，海河流域下游，东临渤海，北依燕山，西靠首都北京市，其余均与河北省相邻。截至2023年10月，天津市共辖16个区。",
  64.           "population":"1364",
  65.           "area":"11966"
  66.         },
  67.         "highlight":{
  68.           "description":["天津市（Tianjin City），简称“津”，别称津沽、津门，是中华人民共和国省级行政区、直辖市、国家中心城市、超大城市 [222]，地处中华人民共和国华<em>北</em>地区，海河流域下游，东临渤海，<em>北</em>依燕山，西靠首都<em>北</em><em>京</em>市","，其余均与河<em>北</em>省相邻。"]
  69.         }
  70.       }
  71.     ]
  72.   }
  73. }
复制代码
  1. 返回array
  2. $params = [
  3.     'index' => 'php_index',
  4.     'body'  => [
  5.         'query' => [
  6.             'match_all' => new stdClass
  7.         ],
  8.         'from'  => 0,
  9.         'size'  => 1,
  10.     ]
  11. ];
  13. $response = $client->search($params);
  14. dd($response->asArray());
复制代码
  1. 方式1 针对integer字段的精准匹配
  2. $params = [
  3.     'index' => 'php_index',
  4.     'body'  => [
  5.         'query' => [
  6.             'term' => [
  7.                 'city' => '北京市' //北京或北或京无法查询出指定数据
  8.             ]
  9.         ]
  10.     ]
  11. ];
  13. $response = $client->search($params);
  14. dd($response->asArray());
复制代码
  1. 方式1
  2. 返回array
  3. 这种方式仅支持text类型
  4. $params = [
  5.     'index' => 'php_index',
  6.     'body'  => [
  7.         'query' => [
  8.             'match' => [
  9.                 'description' => '北京'
  10.             ]
  11.         ]
  12.     ]
  13. ];
  15. $response = $client->search($params);
  16. dd($response->asArray());
  18. 方式2
  19. 返回array
  20. 非text类型，可手动分词
  21. $params = [
  22.     'index' => 'php_index',
  23.     'body'  => [
  24.         'query' => [
  25.             'bool' => [
  26.                 'should' => [ //or
  27.                     [
  28.                         'match' => ['city' => '北京']
  29.                     ],
  30.                     [
  31.                         'match' => ['city' => '北京市']
  32.                     ]
  33.                 ],
  34.                 'minimum_should_match' => 1
  35.                 //minimum_should_match 设置为 1，表示至少需要匹配一个 should 子句中的条件
  36.             ]
  37.         ]
  38.     ]
  39. ];
  40. $response = $client->search($params);
  41. dd($response->asArray());
复制代码
  1. 方式1，针对keyword mapping
  2. 返回array
  3. $params = [
  4.     'index' => 'php_index',
  5.     'body'  => [
  6.         'query' => [
  7.             'wildcard' => [
  8.                 'city' => '*北京*' //*表示任意字符，?表示任意一个字符
  9.             ]
  10.         ]
  11.     ]
  12. ];
  14. $response = $client->search($params);
  15. dd($response->asArray());
  17. 方式2，针对text mapping，并非严格意义上的MySQL where filed like  '%kw%'，而是 where filed like '%kw%' or filed like '%k%' or filed like '%w%'
  18. 返回array
  19. $params = [
  20.     'index' => 'php_index',
  21.     'body'  => [
  22.         'query' => [
  23.             'match' => [
  24.                 'description' => '北京'
  25.             ]
  26.         ]
  27.     ]
  28. ];
  30. $response = $client->search($params);
  31. dd($response->asArray());
复制代码
  1. 返回array
  2. $params = [
  3.     'index' => 'php_index',
  4.     'body'  => [
  5.         'query' => [
  6.             'prefix' => [
  7.                 'city' => '北'
  8.             ]
  9.         ]
  10.     ]
  11. ];
  13. $response = $client->search($params);
复制代码
  1. $params = [
  2.     'index' => 'php_index',
  3.     'body'  => [
  4.         'query' => [
  5.             'wildcard' => [
  6.                 'city' => '*京市'
  7.             ]
  8.         ]
  9.     ]
  10. ];
  12. $response = $client->search($params);
复制代码
  1. 返回array
  2. <是lt、<=是lte、>是gt、>=是gte
  3. $params = [
  4.     'index' => 'php_index',
  5.     'body'  => [
  6.         'query' => [
  7.             'range' => [
  8.                 'area' => [ //面积大于1000平方千米的城市
  9.                     'gt' => 1000
  10.                 ]
  11.             ]
  12.         ]
  13.     ]
  14. ];
  15. $response = $client->search($params);
  16. dd($response->asArray());
  18. 返回array
  19. between
  20. $params = [
  21.     'index' => 'php_index',
  22.     'body'  => [
  23.         'query' => [
  24.             'range' => [
  25.                 'area' => [ //获取面积大于1000平方千米，但在10000平方千米以内的城市数据
  26.                     'gt' => 1000,
  27.                     'lt' => 10000,
  28.                 ]
  29.             ]
  30.         ]
  31.     ]
  32. ];
  34. $response = $client->search($params);
  35. dd($response->asArray());
复制代码
  1. $params = [
  2.     'index' => 'php_index',
  3.     'body'  => [
  4.         'query' => [
  5.             'regexp' => [
  6.                 'city' => '.*北京.*' //搜索包含北京关键字的字段
  7.             ]
  8.         ]
  9.     ]
  10. ];
  11. $response = $client->search($params);
  12. dd($response->asArray());
  14. .*: 匹配任意数量的任意字符
  15. .: 匹配任意单个字符。
  16. *: 匹配前面的元素零次或多次。
  17. +: 匹配前面的元素一次或多次。
  18. ?: 匹配前面的元素零次或一次。
  19. ^: 匹配字符串的开头。
  20. $: 匹配字符串的结尾。
  21. [...]: 匹配方括号中的任意字符。
  22. {n}: 匹配前面的元素恰好 n 次。
  23. {n,}: 匹配前面的元素至少 n 次。
  24. {n,m}: 匹配前面的元素至少 n 次，但不超过 m 次。
复制代码
  1. 返回bool
  2. $params = [
  3.     'index' => 'php_index',
  4.     'body'  => [
  5.         'query' => [
  6.             'bool' => [
  7.                 'must_not' => [
  8.                     'term' => [
  9.                         'city' => '北京市' //返回不是北京市的数据
  10.                     ]
  11.                 ]
  12.             ]
  13.         ]
  14.     ]
  15. ];
  17. $response = $client->search($params);
  18. dd($response->asArray());
  20. $params = [
  21.     'index' => 'php_index',
  22.     'body'  => [
  23.         'query' => [
  24.             'bool' => [
  25.                 'must_not' => [
  26.                     'range' => [
  27.                         'area' => [ //面积不小于1000平方千米的城市
  28.                             'lt' => 1000
  29.                         ]
  30.                     ]
  31.                 ]
  32.             ]
  33.         ]
  34.     ]
  35. ];
  37. $response = $client->search($params);
  38. dd($response->asArray());
复制代码
  1. 返回array
  2. $params = [
  3.     'index' => 'php_index',
  4.     'body' => [
  5.         'query' => [
  6.             'bool' => [
  7.                 'must' => [ //返回city字段是北京市，并且描述带有首都的数据
  8.                     ['term' => ['city' => '北京市']],
  9.                     ['match' => ['description' => '首都']],
  10.                 ]
  11.             ]
  12.         ]
  13.     ]
  14. ];
  15. $response = $client->search($params);
  16. dd($response->asArray());
复制代码
  1. 返回array
  2. $params = [
  3.     'index' => 'php_index',
  4.     'body' => [
  5.         'query' => [
  6.             'bool' => [
  7.                 'should' => [ //查询城市名北京市，或者描述含有沪的描述内容
  8.                     ['term' => ['city' => '北京市']],
  9.                     ['match' => ['description' => '沪']],
  10.                 ]
  11.             ]
  12.         ]
  13.     ]
  14. ];
  15. $response = $client->search($params);
  16. dd($response->asArray());
复制代码
  1. $params = [
  2.     'index' => 'php_index',
  3.     'body'  => [
  4.         'query' => [
  5.             'bool' => [ //查询城市名为北京市或上海市，并且描述带有京字的数据
  6.                 'must' => [
  7.                     [
  8.                         'bool' => [
  9.                             'should' => [
  10.                                 ['term' => ['city' => '北京市']],
  11.                                 ['term' => ['city' => '上海市']]
  12.                             ]
  13.                         ]
  14.                     ],
  15.                     ['match' => ['description' => '京']]
  16.                 ]
  17.             ]
  18.         ]
  19.     ]
  20. ];
  21. $response = $client->search($params);
  22. dd($response->asArray());
复制代码
  1. 单字段排序
  2. $params = [
  3.     'index' => 'php_index',
  4.     'body'  => [
  5.         'query' => [
  6.             'match_all' => new StdClass,
  7.         ],
  8.         'sort' => [ //四个直辖市数据按照区域大小排名
  9.             ['area' => ['order' => 'asc']] //asc或desc
  10.         ]
  11.     ]
  12. ];
  14. $response = $client->search($params);
  15. dd($response->asArray());
  17. 多字段排序
  18. $params = [
  19.     'index' => 'php_index',
  20.     'body'  => [
  21.         'query' => [
  22.             'match_all' => new StdClass,
  23.         ],
  24.         'sort' => [ //区域按照降序，人口按照升序排，条件不会冲突，回想MySQL order by那样，合并处理。
  25.             ['area' => ['order' => 'asc']], //asc或desc
  26.             ['population' => ['order' => 'desc']], //asc或desc
  27.         ]
  28.     ]
  29. ];
复制代码
  1. 返回bool
  2. $params = [
  3.     'index' => 'php_index',
  4.     'body'  => [
  5.         'size' => 0,  // 设置为0表示不返回实际的文档，仅返回聚合结果
  6.         'aggs' => [
  7.             'population_data' => [ //这个key为自定义名称
  8.                 'avg' => [ //返回4个直辖市平均人口
  9.                     'field' => 'population'
  10.                 ]
  11.             ]
  12.         ]
  13.     ]
  14. ];
  16. $response = $client->search($params);
  17. dd($response->asArray());
  19. avg : 平均值
  20. sum ：总和
  21. min : 最小值
  22. max ：最大值
  23. 没有count。
复制代码
  1. 返回string
  2. $params = [
  3.     'index' => 'php_index',
  4.     'body'  => [
  5.         'size' => 0,  // 不返回文档，只返回聚合结果
  6.         'aggs' => [
  7.             'city_group' => [ //自定义名称
  8.                 'terms' => [
  9.                     'field' => 'city',
  10.                     'size'  => 10  // 聚合结果的数量限制
  11.                 ]
  12.             ]
  13.         ]
  14.     ]
  15. ];
  17. $response = $client->search($params)->asArray();
  18. $aggregations = $response['aggregations']['city_group']['buckets'];
  20. foreach ($aggregations as $bucket) {
  21.     echo "城市名：" . $bucket['key'] . " - 本组组对应的数量：" . $bucket['doc_count'] . "\n";
  22. }
  24. 城市名：上海市 - 本组组对应的数量：1
  25. 城市名：北京市 - 本组组对应的数量：1
  26. 城市名：天津市 - 本组组对应的数量：1
  27. 城市名：重庆市 - 本组组对应的数量：1
复制代码
  1. 返回array
  2. 个人还是推荐使用自定义字段，因为['hits']['_score']字段得出来分数不可控。
  4. 搜索城市，原先是北京靠前，现在通过修改权重，使其上海靠前
  5. $params = [
  6.     'index' => 'php_index',
  7.     'body' => [
  8.         'query' => [
  9.             'function_score' => [
  10.                 'query' => [
  11.                     'bool' => [
  12.                         'should' => [
  13.                             ['term' => ['city' => '北京市']],
  14.                             ['match' => ['description' => '沪']]
  15.                         ]
  16.                     ]
  17.                 ],
  18.                 'functions' => [
  19.                     [
  20.                         'filter' => [
  21.                             'match' => ['description' => '沪']
  22.                         ],
  23.                         'weight' => 2  // 增加包含“沪”的文档的权重
  24.                     ]
  25.                 ],
  26.                 'boost_mode' => 'sum'
  27.             ]
  28.         ],
  29.         'sort' => [
  30.             '_score' => [
  31.                 'order' => 'desc'  // 按照得分降序排序
  32.             ]
  33.         ]
  34.     ]
  35. ];
  36. $response = $client->search($params);
  37. dd($response->asArray());
  39. boost_mode设定了如何将查询的基础得分（由 query 部分确定）与功能得分（由 functions 部分计算）进行组合。以下是几种常用的 boost_mode 设置：
  40. multiply: 基础得分与功能得分相乘。
  41. replace: 功能得分替代基础得分。
  42. sum: 基础得分与功能得分相加。
  43. avg: 基础得分与功能得分的平均值。
  44. max: 取基础得分与功能得分中的最大值。
复制代码
Painless

  1. //counter子对岸自增
  2. ctx._source.counter += params.count
  4. //if else 判断
  5. if (ctx._source.someField > 10) {
  6.     ctx._source.anotherField = ctx._source.someField * params.multiplier;
  7. } else {
  8.     ctx._source.anotherField = params.defaultValue;
  9. }
复制代码
IK中问分词与高级索引创建

  1. 关闭ES
  3. 执行以下代码，注意版本号的问题
  4. bin/elasticsearch-plugin install https://get.infini.cloud/elasticsearch/analysis-ik/8.14.1
  5. 进入交互界面输入Y。
  7. 之后启动ES
复制代码
  1. 演示分词：
  2. GET IP:9200/_analyze
  3. 传入以下内容
  4. {
  5.     "text":"射雕英雄传",
  6.     "analyzer":"ik_smart"
  7. }
  8. 返回
  9. {
  10.         "tokens": [
  11.                 {
  12.                         "token": "射雕英雄传",
  13.                         "start_offset": 0,
  14.                         "end_offset": 5,
  15.                         "type": "CN_WORD",
  16.                         "position": 0
  17.                 }
  18.         ]
  19. }
  22. 若使用ik_max_word
  23. {
  24.     "text":"射雕英雄传",
  25.     "analyzer":"ik_max_word"
  26. }
  27. 则返回
  28. {
  29.         "tokens": [
  30.                 {
  31.                         "token": "射雕英雄传",
  32.                         "start_offset": 0,
  33.                         "end_offset": 5,
  34.                         "type": "CN_WORD",
  35.                         "position": 0
  36.                 },
  37.                 {
  38.                         "token": "射雕",
  39.                         "start_offset": 0,
  40.                         "end_offset": 2,
  41.                         "type": "CN_WORD",
  42.                         "position": 1
  43.                 },
  44.                 {
  45.                         "token": "英雄传",
  46.                         "start_offset": 2,
  47.                         "end_offset": 5,
  48.                         "type": "CN_WORD",
  49.                         "position": 2
  50.                 },
  51.                 {
  52.                         "token": "英雄",
  53.                         "start_offset": 2,
  54.                         "end_offset": 4,
  55.                         "type": "CN_WORD",
  56.                         "position": 3
  57.                 },
  58.                 {
  59.                         "token": "传",
  60.                         "start_offset": 4,
  61.                         "end_offset": 5,
  62.                         "type": "CN_CHAR",
  63.                         "position": 4
  64.                 }
  65.         ]
  66. }
复制代码
  1. 有些场景，有很多的专业用语，但是IK分词器把它拆分开，就显得不是很精准，因此可以添加自定义分词解决。
  3. vim ES安装目录/config/analysis-ik/IKAnalyzer.cfg.xml
  4. 在<entry key="ext_dict"></entry>的双标签中间写入文件名，例如
  5. <entry key="ext_dict">self_words.dic</entry>
  7. vim self_words.dic
  8. 逐行添加自定义词汇
  10. 重启ES。
复制代码
  1. 返回bool
  2. $params = [
  3.     'index' => 'test_index',
  4.     'body' => [
  5.         'settings' => [
  6.             'analysis' => [
  7.                 'analyzer' => [
  8.                     'analyzer_ik_max_word' => [
  9.                         'type' => 'ik_max_word' //ik分词器内置关键配置，更多的分词结果
  10.                     ],
  11.                     'analyzer_ik_smart' => [
  12.                         'type' => 'ik_smart' //ik分词器内置关键配置，更快的分词结果
  13.                     ]
  14.                 ]
  15.             ]
  16.         ],
  17.         'mappings' => [
  18.             'properties' => [
  19.                 'content' => [
  20.                     'type' => 'text',
  21.                     'analyzer' => 'analyzer_ik_smart',  // 设置索引时的分词器
  22.                     'search_analyzer' => 'analyzer_ik_smart' // 设置搜索时的分词器
  23.                 ]
  24.             ]
  25.         ]
  26.     ]
  27. ];
  29. $response = $client->indices()->delete(['index' => 'test_index']);
  30. dump($response->asBool());
复制代码
  1. 返回bool
  2. 这里尝试创建了一个更复杂的索引，添加了过滤器，但是不生效，不知道是那里的问题。
  3. 如下，按照以下索引的配置，过滤后的结果，应当是"C世界上最好编程语言"，然后再分词，可却不生效。
  4. GET IP:9200/test_index/_analyze
  5. {
  6.     "analyzer":"self_ik_max_word",
  7.     "text" : "PHP是世界上最好的编程语言"
  8. }
  11. $params = [
  12.     'index' => 'test_index',  // 指定要创建的索引名称
  13.     'body' => [
  14.         'settings' => [  // 配置索引的设置
  15.             'analysis' => [  // 分析器设置
  16.                 'char_filter' => [  // 字符过滤器设置
  17.                     'self_char_filter' => [  // 自定义字符过滤器名称
  18.                         'type' => 'mapping',  // 过滤器类型为映射
  19.                         'mappings' => ['PHP => C']  // 替换分词的字符
  20.                     ]
  21.                 ],
  22.                 'filter' => [  // 过滤器设置
  23.                     'self_filter' => [  // 自定义停用词过滤器名称
  24.                         'type' => 'stop',  // 过滤器类型为停用词
  25.                         'stopwords' => ['是', '的']  // 停用词列表
  26.                     ]
  27.                 ],
  28.                 'analyzer' => [  // 分析器设置
  29.                     'self_ik_max_word' => [  // IK 分词器名称
  30.                         'type' => 'ik_max_word',  // 使用 IK 分词器的最大分词模式
  31.                         'char_filter' => ['html_strip', 'self_char_filter'], // html_strip过滤器会把html标签忽略，但html转义字符仍旧生效（ 仍旧是空格），且会把<br/>转化为\n
  32.                         'filter' => ['lowercase', 'self_filter'] //lowercase过滤器是将大写字母变为小写
  33.                     ],
  34.                     'self_ik_smart' => [  // IK 分词器名称
  35.                         'type' => 'ik_smart',  // 使用 IK 分词器的快速分词模式
  36.                         'char_filter' => ['html_strip', 'self_char_filter'],  // html_strip过滤器会把html标签忽略，但html转义字符仍旧生效（ 仍旧是空格），且会把<br/>转化为\n
  37.                         'filter' => ['lowercase', 'self_filter'] //lowercase过滤器是将大写字母变为小写
  38.                     ]
  39.                 ]
  40.             ]
  41.         ],
  42.         'mappings' => [  // 配置索引的映射
  43.             'properties' => [  // 文档字段的属性设置
  44.                 'content' => [  // 文档中的字段名称
  45.                     'type' => 'text',  // 字段类型为文本
  46.                     'analyzer' => 'self_ik_max_word',  // 设置索引时的分词器
  47.                     'search_analyzer' => 'self_ik_max_word' // 设置搜索时的分词器
  48.                 ]
  49.             ]
  50.         ]
  51.     ]
  52. ];
  53. $response = $client->indices()->create($params);
  54. dd($response->asBool());
复制代码
ELK

Kibana

  1. 保证ES服务已启动。
  4. 防火墙开启5601端口
  5. firewall-cmd --add-port=5601/tcp --zone=public --permanent
  6. systemctl restart firewalld
  9. 下载与解压
  10. curl -O https://artifacts.elastic.co/downloads/kibana/kibana-8.14.1-linux-x86_64.tar.gz
  11. tar zxf kibana-8.14.1-linux-x86_64.tar.gz
  14. 权限配置
  15. chown -R es:es kibana-8.14.1
  17. 切换用户
  18. su es
  21. kibana不支持elastic用户，所以需要创建新用户，并赋予超级管理员角色，并赋予kibana_system角色
  22. elasticsearch-users useradd zs
  23. elasticsearch-users roles -a superuser zs
  24. 少了这一步报错，让我搞了4个小时。
  25. elasticsearch-users roles -a kibana_system zs
  28. 修改配置
  29. vim kibana-8.14.1/config/kibana.yml
  30. elasticsearch.username: "zs"
  31. elasticsearch.password: "123456"
  32. elasticsearch.hosts: ["ES IP:9200"]
  33. i18n.locale: "zh-CN"
  36. 启动
  37. kibana-8.14.1/bin/kibana
  40. 过2分钟后，访问http://IP:5601
复制代码
4种和数据库同步方案

高并发下ES本身一致性解决方案

  1. 背景：先创建一个num_test索引，并添加名为num的int类型的映射。并插入一条数据。
  2. 流程：当进行数据更新时，先做一次查询（get方法，不是search方法），获取相关的_primary_term，_seq_no值。
  3. 当更新数据时，添加对应的版本号，如果ES检测到版本号不对，则会报错，如下：
  4. $params = [
  5.     'index' => 'num_test',
  6.     'id'    => 1,
  7.     'body'  => [
  8.         'doc' => [
  9.             'num' => 10
  10.         ]
  11.     ],
  12.     'if_seq_no' => 3, // 使用序列号
  13.     'if_primary_term' => 1, // 使用主分片术语
  14. ];
  15. try {
  16.     $response = $client->update($params);
  17. } catch (\Exception $exception) {
  18.    echo '出错了，这里重试查询后再更新，或者记录错误等其它操作。。。'
  19. }
复制代码
  1. $params = [
  2.     'index' => 'num_test',
  3.     'id'    => 1,
  4.     'body'  => [
  5.         'doc' => [
  6.             'num' => 1800
  7.         ]
  8.     ],
  9.     'version' => 40, // 提供外部版本号
  10.     'version_type' => 'external' // 使用外部版本号
  11. ];
  12. try {
  13.     $response = $client->update($params); //版本不生效的方案，不推荐使用
  14. } catch (\Exception $exception) {
  15.     dump('出错了，这里进行重试，或者记录错误，等其它操作');
  16. }
复制代码
  1. $params = [
  2.     'index' => 'index',
  3.     'id' => '10',
  4.     'body' => [
  5.         'doc' => [
  6.             'field1' => 'new value1',
  7.             'field2' => 'new value2'
  8.         ]
  9.     ],
  10.     'retry_on_conflict' => 3 // 设置重试次数
  11. ];
  13. try {
  14.     $response = $client->update($params);
  15. } catch (Exception $e) {
  16.     // 处理异常，可以选择记录日志或执行其它操作，这个catch是用来重试3次还报错的兜底策略。
  17. }
复制代码
为什么不消ES替代MySQL

EQL

  1. POST IP:9200/_sql?format=json //类型可未txt，用制表符更直观的展示
  2. {
  3.   "query": "SELECT * FROM php_index WHERE city = '北京市'"
  4. }
  6. 结果：
  7. {
  8.         "columns": [
  9.                 {
  10.                         "name": "_boost",
  11.                         "type": "float"
  12.                 },
  13.                 {
  14.                         "name": "area",
  15.                         "type": "integer"
  16.                 },
  17.                 {
  18.                         "name": "city",
  19.                         "type": "keyword"
  20.                 },
  21.                 {
  22.                         "name": "description",
  23.                         "type": "text"
  24.                 },
  25.                 {
  26.                         "name": "id",
  27.                         "type": "long"
  28.                 },
  29.                 {
  30.                         "name": "population",
  31.                         "type": "integer"
  32.                 }
  33.         ],
  34.         "rows": [
  35.                 [
  36.                         null,
  37.                         16411,
  38.                         "北京市",
  39.                         "北京市（Beijing），简称“京”，古称燕京、北平，是中华人民共和国首都、直辖市、国家中心城市、超大城市， 国务院批复确定的中国政治中心、文化中心、国际交往中心、科技创新中心， 中国历史文化名城和古都之一，世界一线城市",
  40.                         1,
  41.                         2186
  42.                 ]
  43.         ]
  44. }
复制代码
  1. POST IP:9200/_sql?format=txt
  2. {
  3.   "query": "show tables"
  4. }
  7.     catalog    |                       name                       |     type      |     kind      
  8. ---------------+--------------------------------------------------+---------------+---------------
  9. zs_es_cluster  |.alerts-default.alerts-default                    |VIEW           |ALIAS         
  10. zs_es_cluster  |.alerts-ml.anomaly-detection-health.alerts-default|VIEW           |ALIAS         
  11. zs_es_cluster  |.alerts-ml.anomaly-detection.alerts-default       |VIEW           |ALIAS         
  12. zs_es_cluster  |.alerts-observability.apm.alerts-default          |VIEW           |ALIAS         
  13. zs_es_cluster  |.alerts-observability.logs.alerts-default         |VIEW           |ALIAS         
  14. zs_es_cluster  |.alerts-observability.metrics.alerts-default      |VIEW           |ALIAS         
  15. zs_es_cluster  |.alerts-observability.slo.alerts-default          |VIEW           |ALIAS         
  16. zs_es_cluster  |.alerts-observability.threshold.alerts-default    |VIEW           |ALIAS         
  17. zs_es_cluster  |.alerts-observability.uptime.alerts-default       |VIEW           |ALIAS         
  18. zs_es_cluster  |.alerts-security.alerts-default                   |VIEW           |ALIAS         
  19. zs_es_cluster  |.alerts-stack.alerts-default                      |VIEW           |ALIAS         
  20. zs_es_cluster  |.alerts-transform.health.alerts-default           |VIEW           |ALIAS         
  21. zs_es_cluster  |.kibana-observability-ai-assistant-conversations  |VIEW           |ALIAS         
  22. zs_es_cluster  |.kibana-observability-ai-assistant-kb             |VIEW           |ALIAS         
  23. zs_es_cluster  |.siem-signals-default                             |VIEW           |ALIAS         
  24. zs_es_cluster  |my_index                                          |TABLE          |INDEX         
  25. zs_es_cluster  |num_test                                          |TABLE          |INDEX              
  26. zs_es_cluster  |php_index                                         |TABLE          |INDEX         
  27. zs_es_cluster  |test_index                                        |TABLE          |INDEX         
  28. zs_es_cluster  |zs_index                                          |TABLE          |INDEX         
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4