链接追踪系列-07.logstash安装json_lines插件
进入docker中的logstash 容器内:jelex@bogon ~ % docker exec -it 7ee8960c99a31e607f346b2802419b8b819cc860863bc283cb7483bc03ba1420 /bin/sh
$ pwd
/usr/share/logstash
$ ls
bin CONTRIBUTORSGemfile jdklogstash-core modules tools x-pack
config data Gemfile.lockliblogstash-core-plugin-apipipelinevendor
$ cd bin
$ ls
benchmark.bat ingest-convert.batlogstash-keystore logstash-plugin.batpqrepair.bat
benchmark.sh ingest-convert.sh logstash-keystore.bat pqcheck ruby
cpdump logstash logstash.lib.sh pqcheck.bat setup.bat
dependencies-reportlogstash.bat logstash-plugin pqrepair system-install
安装插件:
$ logstash-plugin install logstash-codec-json_lines
https://i-blog.csdnimg.cn/direct/815cf34eb2de44c3b63b8f898bcc5e49.png
logstash优化:官方的建议是提高每次批处理的数目,调治传输间歇时间。当batch.size增大,es处理的事件数就会变少,写入也就越快了
vim /etc/logstash/pipeline.yml
pipeline线程数,官方建议是便是CPU内核数
pipeline.workers: 24
现实output时的线程数
pipeline.output.workers: 24
每次发送的事件数
pipeline.batch.size: 10000
发送延时(ms)
pipeline.batch.delay: 10
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]