elasticsearch集群安装+安全验证+kibana安装

打印 上一主题 下一主题

主题 895|帖子 895|积分 2685

修改limits.cong配置 /etc/security/limits.conf



  • 修改如下
nofile 最大打开文件描述符数

nproc 最大进程数

memlock 最大内存锁定

echo "* soft nofile 65536


  • hard nofile 131072
  • soft nproc 4096
  • hard nproc 4096
  • soft memlock unlimited
  • hard memlock unlimited" >> /etc/security/limits.conf
修改sysctl配置 /etc/sysctl.conf



  • 修改如下
echo “vm.max_map_count = 262145” >> /etc/sysctl.conf
#生效
sysctl -p
修改es占用内存 /opt/es/config/jvm.options

sed -i “s/-Xms1g/-Xms"800m”/g" /opt/es/config/jvm.options
sed -i “s/-Xmx1g/-Xmx"800m”/g" /opt/es/config/jvm.options
开启ES内存锁定 /opt/es/config/elasticsearch.yml



  • 增加如下配置
bootstrap.memory_lock: true
ES配置文件详解

节点范例



  • 主节点
候选主节点的设置方法是设置node.mater为true,默认情况下,node.mater和node.data的值都为true,即该节点既可以做候选主节点也可以做数据节点。由于数据节点承载了数据的操作,负载通常都很高,所以随着集群的扩大,建议将二者分离,设置专用的候选主节点。当我们设置node.data为false,就将节点设置为专用的候选主节点了。
node.master: true
node.data: false


  • 数据节点
数据节点负责数据的存储和相关详细操作,比如CRUD、搜索、聚合。所以,数据节点对呆板配置要求比力高,首先需要有足够的磁盘空间来存储数据,其次数据操尴尬刁难体系CPU、Memory和IO的性能消耗都很大。通常随着集群的扩大,需要增加更多的数据节点来进步可用性。
node.master: false
node.data: true


  • client节点
即不会被选作主节点,也不会存储任何索引数据。该节点只能处置惩罚路由哀求,处置惩罚搜索,分发索引操作等,从本质上来说该客户节点体现为智能负载平衡器。
node.master = false
node.data = false
配置集群名称



  • 差别的节点配置同一个cluster.name可组成同一个集群,确保差别的集群使用差别的cluster.name
  • 配置如下 :
cluster.name: es-cluster-test
配置ES节点名称



  • node.name表示集群节点的名称,集群中节点举行区分,如果不配置则默认为主机名
  • 配置如下
node.name: es01
配置ES节点监听地点



  • 如果不配置,默认是监听在127.0.0.1 和 [::1],同时以development的方式启动。
#监听在指定ip上
network.host : 172.17.0.1
#监听在所有ip上
network.host : 0.0.0.0
日志数据路径配置



  • 配置方式
path.data: /opt/data/es
path.logs: /opt/log/es
path:
data: /opt/data/es
logs: /opt/log/es


  • path.data, 可以设置多个目录
path:
logs: /opt/log/es
data:


  • /opt/data/es-A
  • /opt/data/es-B
  • /opt/data/es-C
集群发现配置



  • discovery.seed_hosts 配置方式如下
用于多个集群节点举行发现,组成集群
discovery.seed_hosts: [“192.168.1.10:9300”, “192.168.1.11”, “seeds.mydomain.com”]
discovery.seed_hosts:


  • 192.168.1.10:9300
  • 192.168.1.11
  • seeds.mydomain.com


  • cluster.initial_master_nodes 配置方式如下
用于集群在第一次启动时,指定可以到场推举的主节点列表 (node.master: true)
cluster.initial_master_nodes: [“es01”, “es02”, “es03”]
cluster.initial_master_nodes:
-es01
-es02
-es03


  • discovery.seed_hosts 如果不配置,会自动监听本地回环地点 将本地多个elasticsearch实例参加到集群中。
jvm配置



  • /opt/es/config/jvm.options (一样寻常配置为呆板内存巨细的一半)
sed -i “s/-Xms1g/-Xms"800m”/g" /opt/es/config/jvm.options
sed -i “s/-Xmx1g/-Xmx"800m”/g" /opt/es/config/jvm.options
配置Elasticsearch(本次测试配置)

es01

cluster.name: es-cluster-test
node.name: es01
path.logs: /opt/log/es
path.data: /opt/data/es
bootstrap.memory_lock: true
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: [“172.16.1.236:9306”, “172.16.1.236:9307”]
cluster.initial_master_nodes: [“es01”, “es02”, “es03”]
es02

cluster.name: es-cluster-test
node.name: es02
path.logs: /opt/log/es
path.data: /opt/data/es
bootstrap.memory_lock: true
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: [“172.16.1.236:9305”, “172.16.1.236:9307”]
cluster.initial_master_nodes: [“es01”, “es02”, “es03”]
es03

cluster.name: es-cluster-test
node.name: es03
path.logs: /opt/log/es
path.data: /opt/data/es
bootstrap.memory_lock: true
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: [“172.16.1.236:9305”, “172.16.1.236:9306”]
cluster.initial_master_nodes: [“es01”, “es02”, “es03”]
启动Elasticsearch

启动



  • 分别进入差别的容器启动elasticsearch
  • 命令如下
/opt/es/bin/elasticsearch -d
查看容器状况(容器内)



  • 查看集群是否启动成功
[elasticsearch@813bf8515935 /]$ curl localhost:9200/_cat/nodes
172.17.0.7 28 91 9 0.58 0.66 0.90 dilm - es02
172.17.0.6 15 91 5 0.58 0.66 0.90 dilm - es01
172.17.0.8 35 91 13 0.58 0.66 0.90 dilm * es03


  • 查看当前节点
[elasticsearch@813bf8515935 /]$ curl localhost:9200
{
“name” : “es03”,
“cluster_name” : “es-cluster-test”,
“cluster_uuid” : “Syj18FUrR1GdnGzghBIacQ”,
“version” : {
“number” : “7.6.2”,
“build_flavor” : “default”,
“build_type” : “tar”,
“build_hash” : “ef48eb35cf30adf4db14086e8aabd07ef6fb113f”,
“build_date” : “2020-03-26T06:34:37.794943Z”,
“build_snapshot” : false,
“lucene_version” : “8.4.0”,
“minimum_wire_compatibility_version” : “6.8.0”,
“minimum_index_compatibility_version” : “6.0.0-beta1”
},
“tagline” : “You Know, for Search”
}


  • 查看节点康健状况
[elasticsearch@813bf8515935 /]$ curl localhost:9200/_cat/health?v
epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1605859559 08:05:59 es-cluster-test green 3 3 0 0 0 0 0 0


    1.            100.0%
    复制代码
查看容器状况(宿主机)



  • 由于使用docker容器安装,因此也可以通过宿主机映射端口访问,本次测试宿主机为windows

开启集群安全验证

修改配置



  • 分别在差别的Es节点修改配置开启安全验证
echo “xpack.security.enabled: true” >> /opt/es/config/elasticsearch.yml
echo “xpack.security.transport.ssl.enabled: true” >> /opt/es/config/elasticsearch.yml
生成证书



  • 选择其中一个节点生成CA证书,默认情况下生成证书放在 /opt/es
#创建ca证书 /opt/es/bin/elasticsearch-certutil ca -v
[elasticsearch@c824e845075b es]$ /opt/es/bin/elasticsearch-certutil ca -v
This tool assists you in the generation of X.509 certificates and certificate
signing requests for use with SSL/TLS in the Elastic stack.
The ‘ca’ mode generates a new ‘certificate authority’
This will create a new X.509 certificate and private key that can be used
to sign certificate when running in ‘cert’ mode.
Use the ‘ca-dn’ option if you wish to configure the ‘distinguished name’
of the certificate authority
By default the ‘ca’ mode produces a single PKCS#12 output file which holds:


  • The CA certificate
  • The CA’s private key
If you elect to generate PEM format certificates (the -pem option), then the output will
be a zip file containing individual files for the CA certificate and private key
Please enter the desired output file [elastic-stack-ca.p12]: #输入回车,使用默认
Enter password for elastic-stack-ca.p12 : #回车,暂不输入暗码


  • 与上一步调同一个节点创建节点见认证用的证书
#创建节点间证书 /opt/es/bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12
[elasticsearch@c824e845075b es]$ /opt/es/bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12
This tool assists you in the generation of X.509 certificates and certificate
signing requests for use with SSL/TLS in the Elastic stack.
The ‘cert’ mode generates X.509 certificate and private keys.


  • By default, this generates a single certificate and key for use
on a single instance.


  • The ‘-multiple’ option will prompt you to enter details for multiple
instances and will generate a certificate and key for each one


  • The ‘-in’ option allows for the certificate generation to be automated by describing
the details of each instance in a YAML file


  • An instance is any piece of the Elastic Stack that requires an SSL certificate.
Depending on your configuration, Elasticsearch, Logstash, Kibana, and Beats
may all require a certificate and private key.
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里不停到现在。
深知大多数Java工程师,想要提升技能,往往是自己探索成长大概是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此网络整理了一份《2024年Java开辟全套学习资料》,初衷也很简朴,就是盼望能够资助到想自学提升又不知道该从何学起的朋友,同时减轻各人的负担。



既有适合小白学习的零根本资料,也有适合3年以上经验的小同伴深入学习提升的进阶课程,基本涵盖了95%以上Java开辟知识点,真正体系化!
由于文件比力大,这里只是将部分目录截图出来,每个节点内里都包含大厂面经、学习条记、源码课本、实战项目、讲解视频,并且会连续更新!
如果你以为这些内容对你有资助,可以扫码获取!!(备注Java获取)
总结

口试难免让人焦急不安。经历过的人都懂的。但是如果你提前猜测口试官要问你的问题并想出得体的回答方式,就会轻易许多。
此外,都说“口试造火箭,工作拧螺丝”,那对于预备口试的朋友,你只需懂一个字:刷!
给我刷刷刷刷,使劲儿刷刷刷刷刷!今天既是来谈口试的,那就必须得来整点口试真题,这不花了我整28天,做了份“Java一线大厂高岗口试题解析合集:JAVA根本-中级-高级口试+SSM框架+分布式+性能调优+微服务+并发编程+网络+计划模式+数据布局与算法等”

且除了单纯的刷题,也得需预备一本【JAVA进阶核心知识手册】:JVM、JAVA集合、JAVA多线程并发、JAVA根本、Spring 原理、微服务、Netty与RPC、网络、日志、Zookeeper、Kafka、RabbitMQ、Hbase、MongoDB、Cassandra、计划模式、负载均衡、数据库、一致性算法、JAVA算法、数据布局、加密算法、分布式缓存、Hadoop、Spark、Storm、YARN、呆板学习、云盘算,用来查漏补缺最好不过。

《一线大厂Java口试题解析+核心总结学习条记+最新讲解视频+实战项目源码》点击传送门即可获取!
img.cn/images/e5c14a7895254671a72faed303032d36.jpg" alt=“img” style=“zoom: 33%;” />
总结

口试难免让人焦急不安。经历过的人都懂的。但是如果你提前猜测口试官要问你的问题并想出得体的回答方式,就会轻易许多。
此外,都说“口试造火箭,工作拧螺丝”,那对于预备口试的朋友,你只需懂一个字:刷!
给我刷刷刷刷,使劲儿刷刷刷刷刷!今天既是来谈口试的,那就必须得来整点口试真题,这不花了我整28天,做了份“Java一线大厂高岗口试题解析合集:JAVA根本-中级-高级口试+SSM框架+分布式+性能调优+微服务+并发编程+网络+计划模式+数据布局与算法等”
[外链图片转存中…(img-gr0erxKe-1712100430639)]
且除了单纯的刷题,也得需预备一本【JAVA进阶核心知识手册】:JVM、JAVA集合、JAVA多线程并发、JAVA根本、Spring 原理、微服务、Netty与RPC、网络、日志、Zookeeper、Kafka、RabbitMQ、Hbase、MongoDB、Cassandra、计划模式、负载均衡、数据库、一致性算法、JAVA算法、数据布局、加密算法、分布式缓存、Hadoop、Spark、Storm、YARN、呆板学习、云盘算,用来查漏补缺最好不过。
[外链图片转存中…(img-igaOiwaM-1712100430639)]
《一线大厂Java口试题解析+核心总结学习条记+最新讲解视频+实战项目源码》点击传送门即可获取!

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

玛卡巴卡的卡巴卡玛

金牌会员
这个人很懒什么都没写!
快速回复 返回顶部 返回列表