ToB企服应用市场:ToB评测及商务社交产业平台

标题: 使用 Easysearch 还原 Elasticsearch 快照数据 [打印本页]
作者: 小秦哥    时间: 2023-6-18 01:43
标题: 使用 Easysearch 还原 Elasticsearch 快照数据
本文主要验证 Elasticsearch 快照在 Easysearch 中进行数据恢复。
准备测试数据

索引


别名


模版


生命周期策略


创建快照
  1. PUT /_snapshot/my_backup
  2. {
  3.   "type": "fs",
  4.   "settings": {
  5.     "location": "/infini/test/es_backup"
  6.   }
  7. }
  9. PUT /_snapshot/my_backup/snapshot_1
  10. {
  11.   "indices": "*",
  12.   "ignore_unavailable": false,
  13.   "include_global_state": false
  14. }
  16. GET /_snapshot/my_backup/snapshot_1
复制代码
恢复快照
  1. POST /_snapshot/my_backup/snapshot_1/_restore
  2. {
  3.   "indices": "*",
  4.   "ignore_unavailable": false,
  5.   "include_global_state": false,
  6.   "include_aliases": true,
  7.   "ignore_index_settings": [
  8.     "index.lifecycle.indexing_complete"
  9.   ]
  10. }
复制代码
数据验证

索引


通过 gateway 进行数据比对
  1. path.data: data
  2. path.logs: log
  4. #show progress bar
  5. #progress_bar.enabled: true
  7. elasticsearch:
  8.   - name: source
  9.     enabled: true
  10.     endpoints:
  11.       - http://192.168.3.185:29200
  12.   - name: target
  13.     enabled: true
  14.     endpoints:
  15.       - https://192.168.3.185:9205
  16.     basic_auth:
  17.       username: admin
  18.       password: admin
  20. pipeline:
  21.   - name: index_diff_service
  22.     auto_start: true
  23.     processor:
  24.       - dag:
  25.           mode: wait_all
  26.           parallel:
  27.             - dump_hash: #dump es1's doc
  28.                 sort_document_fields: true
  29.                 indices: ".infini_activities-000004"   ##需要比对的索引名
  30.                 scroll_time: "10m"
  31.                 elasticsearch: "source"
  32.                 #              query_string: "_id:c8es70pu46lgfdgmja9g-1646117763293610802-2"
  33.                 #              fields: "doc_hash"
  34.                 output_queue: "source_docs"
  35.                 batch_size: 5000
  36.                 slice_size: 1
  37.             #              hash_func: "xxhash64"
  38.             - dump_hash: #dump es2's doc
  39.                 indices: ".infini_activities-000004"
  40.                 scroll_time: "10m"
  41.                 #              fields: "doc_hash"
  42.                 #              query_string: "_id:c8es70pu46lgfdgmja9g-1646117763293610802-2"
  43.                 batch_size: 5000
  44.                 slice_size: 1
  45.                 #              hash_func: "xxhash64"
  46.                 elasticsearch: "target"
  47.                 output_queue: "target_docs"
  48.           end:
  49.             - index_diff:
  50.                 diff_queue: "diff_result"
  51.                 buffer_size: 10
  52.                 text_report: true #如果要存 es，这个开关关闭，开启 pipeline 的 diff_result_ingest 任务
  53.                 source_queue: "source_docs"
  54.                 target_queue: "target_docs"
  55. #pipeline:
  56. #  - name: diff_result_ingest
  57. #    processor:
  58. #      - json_indexing:
  59. #          index_name: "diff_result"
  60. #          elasticsearch: "source"
  61. #          input_queue: "diff_result"
复制代码
./gateway-linux-amd64 -config data_check.yml

别名


模版
  1. PUT _template/.infini_activities-rollover
  2. {
  3.   "order": 100000,
  4.   "index_patterns": [
  5.     ".infini_activities*"
  6.   ],
  7.   "settings": {
  8.     "index": {
  9.       "format": "7",
  10.       "lifecycle": {
  11.         "name": "ilm_.infini_metrics-30days-retention",
  12.         "rollover_alias": ".infini_activities"
  13.       },
  14.       "codec": "best_compression",
  15.       "number_of_shards": "1",
  16.       "translog": {
  17.         "durability": "async"
  18.       }
  19.     }
  20.   },
  21.   "mappings": {
  22.     "dynamic_templates": [
  23.       {
  24.         "strings": {
  25.           "mapping": {
  26.             "ignore_above": 256,
  27.             "type": "keyword"
  28.           },
  29.           "match_mapping_type": "string"
  30.         }
  31.       }
  32.     ]
  33.   },
  34.   "aliases": {}
  35. }
  37. PUT _template/.infini
  38. {
  39.   "order": 0,
  40.   "index_patterns": [
  41.     ".infini_*"
  42.   ],
  43.   "settings": {
  44.     "index": {
  45.       "max_result_window": "10000000",
  46.       "mapping": {
  47.         "total_fields": {
  48.           "limit": "20000"
  49.         }
  50.       },
  51.       "analysis": {
  52.         "analyzer": {
  53.           "suggest_text_search": {
  54.             "filter": [
  55.               "word_delimiter"
  56.             ],
  57.             "tokenizer": "classic"
  58.           }
  59.         }
  60.       },
  61.       "number_of_shards": "1"
  62.     }
  63.   },
  64.   "mappings": {
  65.     "dynamic_templates": [
  66.       {
  67.         "strings": {
  68.           "mapping": {
  69.             "ignore_above": 256,
  70.             "type": "keyword"
  71.           },
  72.           "match_mapping_type": "string"
  73.         }
  74.       }
  75.     ]
  76.   },
  77.   "aliases": {}
  78. }
复制代码
生命周期策略
  1. PUT _ilm/policy/ilm_.infini_metrics-30days-retention
  2. {
  3.   "policy": {
  4.     "phases": {
  5.       "hot": {
  6.         "min_age": "0ms",
  7.         "actions": {
  8.           "rollover": {
  9.             "max_size": "50gb",
  10.             "max_age": "30d"
  11.           },
  12.           "set_priority": {
  13.             "priority": 100
  14.           }
  15.         }
  16.       },
  17.       "delete": {
  18.         "min_age": "30d",
  19.         "actions": {
  20.           "delete": {
  21.           }
  22.         }
  23.       }
  24.     }
  25.   }
  26. }
复制代码
注：不支持 "delete_searchable_snapshot": true 配置
测试结果

源集群（Elasticsearch）目标集群（Easysearch）测试结果7.10.21.0.0索引文档一致，别名恢复成功7.10.11.0.0索引文档一致，别名恢复成功7.10.01.0.0索引文档一致，别名恢复成功7.9.21.0.0索引文档一致，别名恢复成功7.9.01.0.0索引文档一致，别名恢复成功7.8.11.0.0索引文档一致，别名恢复成功7.5.21.0.0索引文档一致，别名恢复成功6.8.121.0.0索引文档一致，别名恢复成功6.5.41.0.0索引文档一致，别名恢复成功关于 Easysearch


INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。 Easysearch 衍生自基于开源协议 Apache 2.0 的 Elasticsearch 7.10 版本。 Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。 与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。
详情参见：官方文档

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4