使用 Easysearch 还原 Elasticsearch 快照数据

本文主要验证 Elasticsearch 快照在 Easysearch 中进行数据恢复。
准备测试数据

索引


别名


模版


生命周期策略


创建快照

1. PUT /_snapshot/my_backup
2. {
3.   "type": "fs",
4.   "settings": {
5.     "location": "/infini/test/es_backup"
6.   }
7. }
9. PUT /_snapshot/my_backup/snapshot_1
10. {
11.   "indices": "*",
12.   "ignore_unavailable": false,
13.   "include_global_state": false
14. }
16. GET /_snapshot/my_backup/snapshot_1

复制代码

• ignore_unavailable：如果 indices 列表中的索引不存在，则是否忽略该索引而不是使快照失败。默认值为 false 。
  
• include_global_state：是否在快照中包含集群状态（包括索引模版、生命周期配置、持久化配置等）。默认值为 true ，建议设为 false。
  

恢复快照

1. POST /_snapshot/my_backup/snapshot_1/_restore
2. {
3.   "indices": "*",
4.   "ignore_unavailable": false,
5.   "include_global_state": false,
6.   "include_aliases": true,
7.   "ignore_index_settings": [
8.     "index.lifecycle.indexing_complete"
9.   ]
10. }

复制代码

• ignore_unavailable：如果 indices 列表中的索引不存在，则是否忽略该索引而不是使还原操作失败。默认值为 false 。
  
• include_global_state：是否还原群集状态。默认值为 false 。
  
• include_aliases：是否恢复别名及其关联索引。默认值为 true 。
  
• index.lifecycle.indexing_complete 配置不支持，忽略掉。
  

数据验证

索引


通过 gateway 进行数据比对

1. path.data: data
2. path.logs: log
4. #show progress bar
5. #progress_bar.enabled: true
7. elasticsearch:
8.   - name: source
9.     enabled: true
10.     endpoints:
11.       - http://192.168.3.185:29200
12.   - name: target
13.     enabled: true
14.     endpoints:
15.       - https://192.168.3.185:9205
16.     basic_auth:
17.       username: admin
18.       password: admin
20. pipeline:
21.   - name: index_diff_service
22.     auto_start: true
23.     processor:
24.       - dag:
25.           mode: wait_all
26.           parallel:
27.             - dump_hash: #dump es1's doc
28.                 sort_document_fields: true
29.                 indices: ".infini_activities-000004"   ##需要比对的索引名
30.                 scroll_time: "10m"
31.                 elasticsearch: "source"
32.                 #              query_string: "_id:c8es70pu46lgfdgmja9g-1646117763293610802-2"
33.                 #              fields: "doc_hash"
34.                 output_queue: "source_docs"
35.                 batch_size: 5000
36.                 slice_size: 1
37.             #              hash_func: "xxhash64"
38.             - dump_hash: #dump es2's doc
39.                 indices: ".infini_activities-000004"
40.                 scroll_time: "10m"
41.                 #              fields: "doc_hash"
42.                 #              query_string: "_id:c8es70pu46lgfdgmja9g-1646117763293610802-2"
43.                 batch_size: 5000
44.                 slice_size: 1
45.                 #              hash_func: "xxhash64"
46.                 elasticsearch: "target"
47.                 output_queue: "target_docs"
48.           end:
49.             - index_diff:
50.                 diff_queue: "diff_result"
51.                 buffer_size: 10
52.                 text_report: true #如果要存 es，这个开关关闭，开启 pipeline 的 diff_result_ingest 任务
53.                 source_queue: "source_docs"
54.                 target_queue: "target_docs"
55. #pipeline:
56. #  - name: diff_result_ingest
57. #    processor:
58. #      - json_indexing:
59. #          index_name: "diff_result"
60. #          elasticsearch: "source"
61. #          input_queue: "diff_result"

复制代码

./gateway-linux-amd64 -config data_check.yml

别名


模版

1. PUT _template/.infini_activities-rollover
2. {
3.   "order": 100000,
4.   "index_patterns": [
5.     ".infini_activities*"
6.   ],
7.   "settings": {
8.     "index": {
9.       "format": "7",
10.       "lifecycle": {
11.         "name": "ilm_.infini_metrics-30days-retention",
12.         "rollover_alias": ".infini_activities"
13.       },
14.       "codec": "best_compression",
15.       "number_of_shards": "1",
16.       "translog": {
17.         "durability": "async"
18.       }
19.     }
20.   },
21.   "mappings": {
22.     "dynamic_templates": [
23.       {
24.         "strings": {
25.           "mapping": {
26.             "ignore_above": 256,
27.             "type": "keyword"
28.           },
29.           "match_mapping_type": "string"
30.         }
31.       }
32.     ]
33.   },
34.   "aliases": {}
35. }
37. PUT _template/.infini
38. {
39.   "order": 0,
40.   "index_patterns": [
41.     ".infini_*"
42.   ],
43.   "settings": {
44.     "index": {
45.       "max_result_window": "10000000",
46.       "mapping": {
47.         "total_fields": {
48.           "limit": "20000"
49.         }
50.       },
51.       "analysis": {
52.         "analyzer": {
53.           "suggest_text_search": {
54.             "filter": [
55.               "word_delimiter"
56.             ],
57.             "tokenizer": "classic"
58.           }
59.         }
60.       },
61.       "number_of_shards": "1"
62.     }
63.   },
64.   "mappings": {
65.     "dynamic_templates": [
66.       {
67.         "strings": {
68.           "mapping": {
69.             "ignore_above": 256,
70.             "type": "keyword"
71.           },
72.           "match_mapping_type": "string"
73.         }
74.       }
75.     ]
76.   },
77.   "aliases": {}
78. }

复制代码

生命周期策略

1. PUT _ilm/policy/ilm_.infini_metrics-30days-retention
2. {
3.   "policy": {
4.     "phases": {
5.       "hot": {
6.         "min_age": "0ms",
7.         "actions": {
8.           "rollover": {
9.             "max_size": "50gb",
10.             "max_age": "30d"
11.           },
12.           "set_priority": {
13.             "priority": 100
14.           }
15.         }
16.       },
17.       "delete": {
18.         "min_age": "30d",
19.         "actions": {
20.           "delete": {
21.           }
22.         }
23.       }
24.     }
25.   }
26. }

复制代码

注：不支持 "delete_searchable_snapshot": true 配置
测试结果

源集群（Elasticsearch）目标集群（Easysearch）测试结果7.10.21.0.0索引文档一致，别名恢复成功7.10.11.0.0索引文档一致，别名恢复成功7.10.01.0.0索引文档一致，别名恢复成功7.9.21.0.0索引文档一致，别名恢复成功7.9.01.0.0索引文档一致，别名恢复成功7.8.11.0.0索引文档一致，别名恢复成功7.5.21.0.0索引文档一致，别名恢复成功6.8.121.0.0索引文档一致，别名恢复成功6.5.41.0.0索引文档一致，别名恢复成功关于 Easysearch


INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。 Easysearch 衍生自基于开源协议 Apache 2.0 的 Elasticsearch 7.10 版本。 Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。 与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。
详情参见：官方文档

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！