Docker下elasticsearch8部署、扩容、基本操作实战(含kibana)

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

本篇概览

• 本篇记录了用docker搭建ElasticSearch8单机版再扩容的过程，既留给自己后面反复使用，也可以为正在部署环境的读者提供一些参考
  
• 请注意docker部署ElasticSearch的适用场景：我这边只是在开发过程中使用，这种方式在生产环境是否适合是有待商榷的，在用于生产环境时请慎重考虑
  
• 本篇由以下内容构成
  

• 介绍本次实战的环境和版本信息
  
• 快速部署
  
• 验证功能
  
• 新加节点
  
• 一些常用操作介绍
  

环境信息

• 以下是本次实战的环境信息，可以作为参考
  

• 操作系统：macOS Monterey（M1 Pro芯片的MacBook Pro，16G内存）
  
• Docker：Docker Desktop 4.7.1 (77678)
  
• ElasticSearch：8.2.2
  
• Kibana：8.2.2
  

准备工作

• 首先是docker镜像加速，没有加速手段的下载镜像体验会很差，我这边里用的是七牛的镜像加速(https://reg-mirror.qiniu.com)，您可以按个人喜好自行配
  
• 如果您的环境是Linux，注意要做以下操作，否则es可能会启动失败
  1 用编辑工具打开文件/etc/sysctl.conf
  2 在尾部添加一行配置vm.max_map_count = 262144，如果已存在就修改，数值不能低于262144
  3 修改保存，然后执行命令sudo sysctl -p使其立即生效
  

部署es

• 先创建一个docker网络
  

1. docker network create elastic

复制代码

• 创建es容器，若本地没有镜像会自动下载，为了省内存，我这里设置ES容器内的java进程只用到1024M内存，您可以根据自己电脑情况调整
  

1. docker run \
2. --name es01 \
3. --net elastic \
4. -p 9200:9200 \
5. -e ES_JAVA_OPTS="-Xms1024m -Xmx1024m" \
6. -idt elasticsearch:8.2.2

复制代码

• 进入容器
  

1. docker exec -it es01 /bin/bash

复制代码

• 重置密码
  

1. bin/elasticsearch-reset-password -u elastic

复制代码

• 提示是否重置，输入y，控制台会打印新密码，请记住这个密码，稍后要用到
  

1. Password for the [elastic] user successfully reset.
2. New value: 3_J35UWr2sIUkyxxxxxx

复制代码

• 现在验证elastic能否正常响应
  
• 在chrome浏览器的地址栏输入https://localhost:9200
  
• 此时浏览器会弹出安全提示，如下图，这时候不要用鼠标去点任何地方，直接在键盘上输入thisisunsafe，然后回车
  

• 接下来就会弹出登录页面了，如下图，填写账号elastic，密码是刚才控制台返回的
  

• 如果看到以下信息，证明es启动成功
  

• 如果您在chrome上安装了ElasticSearch Head插件（没错，是chrome浏览器插件），此时已经可以访问es服务了，如下图
  

• es已经就绪，接下来是kibana
  

部署和操作kibana

• 一行命令完成部署
  

1. docker run \
2. --name kibana \
3. --net elastic \
4. -p 5601:5601 \
5. -idt kibana:8.2.2

复制代码

• 生成token，kibana连接es的时候要用到
  

1. docker exec -it es01 /usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana

复制代码

• 控制台会生成一长串文本，请保存下来，这是稍后给kibana用来连接es的token
  
• 浏览器访问http://localhost:5601/，会弹出输入窗口，如下图，在文本框内输入刚才生成的token内容，再点击Configure Elastic按钮
  

• 然后弹出个输入验证码的页面
  

• 在控制台输入以下命令，顺利拿到验证码
  

1. docker exec -it kibana bin/kibana-verification-code

复制代码

• 回到网页输入验证码，可以看到初始化页面
  

• 接下来就是常规的安全登录了，如下图，输入es的账号密码即可登录成功
  

• 登录成功，下图选择右边的Explore on my own
  

• eshead显示新增了一些kibana自用的索引
  

集群扩容

• 目前es服务是单节点，有时候需要对单节点进行扩容，加入新的机器以提升es服务的性能、存储、可用性等，docker下可以很方便的进行扩容，接下来一起试试
  
• 与kibana能够访问es类似，新机器加入当前es服务也需要授权token，生成token的命令如下，请在控制台执行
  

1. docker exec -it es01 /usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s node

复制代码

• 拿到控制台生产的token后（30分钟有效期），执行以下命令即可创建一个新的es容器，与原先的es组成集群，原有的数据会保留，注意将xxxxxx替换成刚刚生成的token
  

1. docker run \
2. -e ENROLLMENT_TOKEN="xxxxxx" \
3. -e ES_JAVA_OPTS="-Xms1024m -Xmx1024m" \
4. --name es02 \
5. --net elastic \
6. -idt elasticsearch:8.2.2

复制代码

• 在eshead上可以看到新增的节点
  

• 至此，kibana部署完成，接下来可以做一些CRUD的基本操作，新手可用来快速了解es基本操作，老司机可以直接跳过了
  

实战es操作：命令行操作

• 咱们先用命令行做一些最基本的操作，然后再考虑用kibana
  
• 由于es开方的https服务，所以首先把证书从容器中导出来，后面的curl请求都要指定这个证书
  

1. docker cp es01:/usr/share/elasticsearch/config/certs/http_ca.crt .

复制代码

• 当前目录下新增名为http_ca.crt的文件，就是安全证书了，试试能不能用，控制台输入以下命令，注意把xxxxxx换成您自己的密码
  

1. curl --cacert http_ca.crt -u elastic:xxxxxx https://localhost:9200

复制代码

• 控制台输出以下信息，证明外部访问es已经成功
  

1. ❯ curl --cacert http_ca.crt -u elastic:xxxxxx https://localhost:9200
2. {
3.   "name" : "279acdab6c7f",
4.   "cluster_name" : "docker-cluster",
5.   "cluster_uuid" : "whfRDTzCQym_jwx2OrMgKg",
6.   "version" : {
7.     "number" : "8.2.2",
8.     "build_flavor" : "default",
9.     "build_type" : "docker",
10.     "build_hash" : "9876968ef3c745186b94fdabd4483e01499224ef",
11.     "build_date" : "2022-05-25T15:47:06.259735307Z",
12.     "build_snapshot" : false,
13.     "lucene_version" : "9.1.0",
14.     "minimum_wire_compatibility_version" : "7.17.0",
15.     "minimum_index_compatibility_version" : "7.0.0"
16.   },
17.   "tagline" : "You Know, for Search"
18. }

复制代码

• 建一个索引试试，此索引名为my-book，有六个字段
  

1. curl -X PUT "https://localhost:9200/my-book?pretty" \
2. --cacert http_ca.crt \
3. -u elastic:xxxxxx \
4. -H 'Content-Type: application/json' \
5. -d'
6. {
7.   "settings": {
8.     "number_of_shards": 1
9.   },
10.   "mappings": {
11.     "properties": {
12.                 "line_id": {
13.                     "type": "long"
14.                    },
15.                 "line_number": {
16.                      "type": "keyword"
17.                 },
18.                "play_name": {
19.                     "type": "keyword"
20.                },
21.                "speaker": {
22.                     "type": "keyword"
23.                },
24.                "speech_number": {
25.                     "type": "long"
26.                },
27.                "text_entry": {
28.                     "type": "text"
29.                }
30.           }
31.   }
32. }
33. '

复制代码

• 收到响应
  

1. {
2.   "acknowledged" : true,
3.   "shards_acknowledged" : true,
4.   "index" : "my-book"
5. }

复制代码

• eshead插件也能看到索引创建成功
  

• 用GET命令获取索引信息试试，如下，符合预期
  

1. ❯ curl -X GET \
2. https://localhost:9200/my-book\?pretty \
3. --cacert http_ca.crt \
4. -u elastic:m9ZRFl9wCIiVkLudRopy
5. {
6.   "my-book" : {
7.     "aliases" : { },
8.     "mappings" : {
9.       "properties" : {
10.         "line_id" : {
11.           "type" : "long"
12.         },
13.         "line_number" : {
14.           "type" : "keyword"
15.         },
16.         "play_name" : {
17.           "type" : "keyword"
18.         },
19.         "speaker" : {
20.           "type" : "keyword"
21.         },
22.         "speech_number" : {
23.           "type" : "long"
24.         },
25.         "text_entry" : {
26.           "type" : "text"
27.         }
28.       }
29.     },
30.     "settings" : {
31.       "index" : {
32.         "routing" : {
33.           "allocation" : {
34.             "include" : {
35.               "_tier_preference" : "data_content"
36.             }
37.           }
38.         },
39.         "number_of_shards" : "1",
40.         "provided_name" : "my-book",
41.         "creation_date" : "1653811101586",
42.         "number_of_replicas" : "1",
43.         "uuid" : "zX8kWS_IQ-ymdI7vYLOjew",
44.         "version" : {
45.           "created" : "8020299"
46.         }
47.       }
48.     }
49.   }
50. }

复制代码

• 再试试批量导入一笔数据，从这个地址下载数据文件：https://raw.githubusercontent.com/zq2599/blog_download_files/master/files/shakespeare_for_es_822.json
  
• 下载完毕后，执行以下命令，就会开始批量导入的操作
  

1. curl -H 'Content-Type: application/x-ndjson' \
2. --cacert http_ca.crt \
3. -u elastic:m9ZRFl9wCIiVkLudRopy \
4. -s -XPOST https://localhost:9200/_bulk \
5. --data-binary @shakespeare_only_one_type.json

复制代码

• 导入成功后，用eshead可以看到每条记录的详细信息
  
  
• 接下来试试kibana
  

操作kibana

• 在kibana页面，点击下图红框位置，进入查询页面
  

• 执行查询的操作如下
  

• 看看刚刚导入了多少数据，如下图，十一万
  

• 至此，基于docker部署ElasticSearch-8和Kibana-8的实战就完成了，希望本文能给您一些参考
  

欢迎关注博客园：程序员欣宸

学习路上，你不孤单，欣宸原创一路相伴...

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！