大连密封材料 发表于 2024-7-18 11:44:56

链接追踪系列-07.logstash安装json_lines插件

进入docker中的logstash 容器内:
jelex@bogon ~ % docker exec -it 7ee8960c99a31e607f346b2802419b8b819cc860863bc283cb7483bc03ba1420 /bin/sh
$ pwd
/usr/share/logstash
$ ls
bin        CONTRIBUTORSGemfile          jdklogstash-core                   modules   tools   x-pack
config        data              Gemfile.lockliblogstash-core-plugin-apipipelinevendor
$ cd bin
$ ls
benchmark.bat             ingest-convert.batlogstash-keystore        logstash-plugin.batpqrepair.bat
benchmark.sh             ingest-convert.sh       logstash-keystore.bat        pqcheck                     ruby
cpdump                     logstash               logstash.lib.sh        pqcheck.bat             setup.bat
dependencies-reportlogstash.bat       logstash-plugin        pqrepair             system-install
安装插件:
$ logstash-plugin install logstash-codec-json_lines
https://i-blog.csdnimg.cn/direct/815cf34eb2de44c3b63b8f898bcc5e49.png
logstash优化:官方的建议是提高每次批处理的数目,调治传输间歇时间。当batch.size增大,es处理的事件数就会变少,写入也就越快了
vim /etc/logstash/pipeline.yml
pipeline线程数,官方建议是便是CPU内核数

pipeline.workers: 24
现实output时的线程数

pipeline.output.workers: 24
每次发送的事件数

pipeline.batch.size: 10000
发送延时(ms)

pipeline.batch.delay: 10

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: 链接追踪系列-07.logstash安装json_lines插件