ELK日志处理之使用logstash收集log4J日志

XilongPei commented 6 years ago

(logstash的安装和hello world教程请点这里http://blog.csdn.net/napoay/article/details/53276758 )这里使用logstash2.3.3和Elasticsearch 2.3.3，首先启动Elasticsearch，然后在logstash-2.3.3/conf目录下新建配置文件log4j-es.conf，文件内容如下:

input { log4j { host => "127.0.0.1" port => 4560 } }

output { stdout { codec => rubydebug } elasticsearch{ hosts => ["localhost:9200"] index => "log4j-%{+YYYY.MM.dd}" document_type => "log4j_type" } }

配置文件中指定日志输出有2份，一份输出到console，一份输出到Elasticsearch。

XilongPei commented 6 years ago

Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据，使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。 Kibana让我们理解大量数据变得很容易。它简单、基于浏览器的接口使你能快速创建和分享实时展现Elasticsearch查询变化的动态仪表盘。安装Kibana非常快，你可以在几分钟之内安装和开始探索你的Elasticsearch索引数据，不需要写任何代码，没有其他基础软件依赖。

XilongPei commented 6 years ago

Logstash结合log4j收集tomcat日志 https://www.kancloud.cn/hanxt/elk/158471 https://blog.lanyonm.org/articles/2015/12/29/log-aggregation-log4j-spring-logstash.html

XilongPei commented 6 years ago

logstash有server、client两种工作模式。 [logstash-input-log4j]插件使用详解 http://www.cnblogs.com/xing901022/p/4830684.html

XilongPei commented 6 years ago

logkit内存和CPU占用都比较低，功能上相当于filebeat+metricbeat+logstash 不过，logkit目前插件不如logstash丰富。如果要用的插件只有logstash有，那只能先用logstash了 https://github.com/qiniu/logkit logstash不是吃一点点内存 logkit可以直接部署在业务服务器上，基本不占什么资源就能完成读取、解析、处理、发送 elk stack一般是在业务服务器上部署filebeat/metricbeat采集日志再发送到一组logstash服务器处理

XilongPei commented 6 years ago

https://doc.yonyoucloud.com/doc/logstash-best-practice-cn/input/syslog.html syslog 可能是运维领域最流行的数据传输协议了。当你想从设备上收集系统日志的时候，syslog 应该会是你的第一选择。尤其是网络设备，比如思科 —— syslog 几乎是唯一可行的办法。我们这里不解释如何配置你的 syslog.conf, rsyslog.conf 或者 syslog-ng.conf 来发送数据，而只讲如何把 logstash 配置成一个 syslog 服务器来接收数据。

XilongPei commented 6 years ago

ElasticSearch Rest High Level Client 简易使用教程（一） http://blog.csdn.net/paditang/article/details/78802799

Elasticsearch 常用的java操作 http://study121007.iteye.com/blog/2296556

XilongPei commented 6 years ago

Elasticsearch Java API 手册 https://www.ctolib.com/docs/sfile/elasticsearch-java-master/index.html

Elasticsearch Java API 索引的增删改查（二）https://www.jianshu.com/p/42b0c4cd0232

XilongPei commented 6 years ago

complete ElasticSearch Client functions: interface ElasticSearchService commit: https://github.com/XilongPei/Openparts/commit/90c6db9b989c95f2201c1053272551c48fcd2218

XilongPei commented 6 years ago

从应用到平台 - 云服务架构的演进过程 http://www.sohu.com/a/104811715_115128

XilongPei / Openparts

ELK日志处理之使用logstash收集log4J日志 #37