前进之路 发表于 2024-6-24 03:50:07

elasticsearch运维_分享两个自己整理的比力好用的elasticsearch脚本

本日分享两个自己编写整理的比力好用的脚本,我平时也常常在elasticsearch生产情况使用。
后面将会不定期给大家分享自己在生产运维中整理的好的脚本和命令给大家分享。
#!/bin/bash

# 定义 Elasticsearch 地址、端口、用户名和密码
ES_HOST="192.168.xxx.xxx"
ES_PORT="9200"
ES_USER="elastic"
ES_PASS="xxxxx"

# 定义输出文件路径
OUTPUT_FILE="/home/esuser/xxxx_indices_info.txt"

# 临时文件存储
TEMP_FILE="/tmp/xxxx_indices_info.txt"

# 获取以 xxxx 开头的索引名称、大小并按索引名称排序,写入到临时文件
curl -s -u ${ES_USER}:${ES_PASS} "${ES_HOST}:${ES_PORT}/_cat/indices?h=index,store.size&format=json" | jq -r '.[] | select(.index | startswith("xxxx")) | "\(.index)\t\(.["store.size"])"' > ${TEMP_FILE}

# 检查临时文件是否生成
if [ ! -s ${TEMP_FILE} ]; then
    echo "No data found or failed to retrieve data from Elasticsearch."
    exit 1
fi

# 清空输出文件
> ${OUTPUT_FILE}

# 处理大小单位转换并写入输出文件
while IFS=$'\t' read -r index size; do
    # 检查大小是否为 null
    if [ "$size" == "null" ] || [ -z "$size" ]; then
      size_kb=0
    else
      # 将大小转换为 KB
      if [[ $size == *kb ]]; then
            size_kb=$(echo $size | sed 's/kb//')
      elif [[ $size == *mb ]]; then
            size_kb=$(echo $size | sed 's/mb//' | awk '{printf "%.0f", $1 * 1024}')
      elif [[ $size == *gb ]]; then
            size_kb=$(echo $size | sed 's/gb//' | awk '{printf "%.0f", $1 * 1024 * 1024}')
      elif [[ $size == *tb ]]; then
            size_kb=$(echo $size | sed 's/tb//' | awk '{printf "%.0f", $1 * 1024 * 1024 * 1024}')
      else
            size_kb=$size
      fi
    fi

    # 输出索引名称和大小(KB),追加到输出文件
    echo "${index} ${size_kb}" >> ${OUTPUT_FILE}
done < ${TEMP_FILE}

# 按索引名称排序并重定向到最终文件
sort -k1,1 ${OUTPUT_FILE} -o ${OUTPUT_FILE}

# 删除临时文件
rm ${TEMP_FILE}

----
1) 定义 Elasticsearch 地址、端口、用户名和密码:将 ES_HOST、ES_PORT、ES_USER 和 ES_PASS 设置为你的 Elasticsearch 实例的地址、端口、用户名和密码。

2) 定义输出文件路径:将结果写入到 /home/esuser/xxxx_indices_info.txt 文件。

3) 获取以 xxxx 开头的索引信息:

4) 使用 curl 命令获取所有索引的信息,并以 JSON 格式返回。

5) 使用 jq 进行 JSON 解析并过滤出以 MIC 开头的索引,提取索引名称和大小。

6) 检查并处理大小字段:将大小单位(如 KB、MB、GB、TB)转换为 KB。如果大小为 null 或空,则设置为 0 KB。

输出结果:
1) 清空输出文件。
2) 使用 echo "${index} ${size_kb}" >> ${OUTPUT_FILE} 将每行结果追加到输出文件。
3) 按索引名称排序:使用 sort -k1,1 ${OUTPUT_FILE} -o ${OUTPUT_FILE} 按索引名称排序并重定向到最终文件。
4) 删除临时文件:清理临时文件。
填充空索引加速各节点索引分片数量平衡

#!/bin/bash

# Elasticsearch节点的IP地址和端口
ES_HOST="192.168.xxx.xxx:9200"

# Elasticsearch超级用户的身份验证凭据
USERNAME="elastic"
PASSWORD="xxxx"

# 索引名称的前缀和数量
INDEX_PREFIX="test-null-index"
INDEX_COUNT=10

# 索引的设置
INDEX_SETTINGS='{"settings": {"number_of_shards": 1, "number_of_replicas": 0}}'

# 循环创建索引
for ((i=1; i<xxxx; i++)); do
INDEX_NAME="${INDEX_PREFIX}-${i}"
echo "Creating index: $INDEX_NAME"

curl -XPUT -u "$USERNAME:$PASSWORD" "http://$ES_HOST/$INDEX_NAME" -H 'Content-Type: application/json' -d "$INDEX_SETTINGS"

上一篇你是学会了还是学废了:Elasticsearch 7 集群拷贝到别的情况如何重置密码

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: elasticsearch运维_分享两个自己整理的比力好用的elasticsearch脚本