unaheidi commented 3 years ago

感觉公司日志监控面板不好用，一直没有亲手创建过 dashboard 。5、6年过去了，公司用的依旧是老风格的界面，想躲都躲不掉。
算了，还是把 ELK 在本地搭建起来摸索一下吧。熟悉它，才能改变对它的看法。

unaheidi commented 3 years ago

logstash 中文参考资料
logstash 注意事项：那个启动配置文件记得要自己敲进去，省得报配置文件解析相关的错误，这个报错只有个大概信息，并不直接告诉我们哪一行有问题。

windows 10 上，input采用 file 的时候， logstash.conf 配置文件可以是下面的样子：


input {

file {
    path => ["D:/Users/unaheidi/Desktop/wenzhang0323.CSV"]
    type => "system"
    start_position => "beginning"
}

}

output {

elasticsearch { hosts => ["localhost:9200"] index => "indexforlogstash" }

}

unaheidi commented 3 years ago

导入 csv 文件，里面有中文，出现了乱码

停 elasticsearch 服务，安装插件
```
elasticsearch-plugin install analysis-smartcn
```
也可离线安装该插件。参考文档用 tar 进行解压，我使用的时候报错，改为 unzip 。

在 plugins 目录中，先创建一个 analysis-smartcn 文件夹。
把 zip 文件拷贝进去。
unzip 解压。

重启 elasticsearch 依旧乱码
把 csv 文件用 Nodepad++ 打开，保存为 UTF-8 ，kibana 再 load 该文件，中文显示正常。

unaheidi commented 3 years ago

测试 kibana 是不是强依赖 elasticsearch 服务

有多种方法：

第1种，不启动 elasticsearch ，看 kibana 是否能正常启动

第2种，在俩个服务正常运行的情况下，把 elasticsearch 停掉，看 kibana 服务的表现。

第3种，修改 elasticsearch 服务启动的端口，启动 elasticsearch, 再起送 kibana 。

修改 elasticsearch 服务的端口

unaheidi commented 3 years ago

官网文档 enable-remote-access-request-in-elasticsearch elastic报错解决

unaheidi commented 3 years ago

让 elastic 和 kibana 都在后台运行，这样我们关闭 console 服务依旧运行。
```
./bin/elasticsearch -d -p pid
pkill -F pid
```
```
nohup ../bin/kibana &
```
在 centos 上查看某个端口被哪个进程占用，这个查找场景也很常见
```
sudo netstat -tulpn
```
下一步得设置访问权限出错可参考

unaheidi commented 3 years ago

ELK 中的 Elasticsearch 和 Kibana 两部分已经搭建好能运行了。
我们通过 Kibana 界面上 Upload a file 的方式在 Elasticsearch 中创建了 index 。
问个问题：如果这个 file 的内容不是一成不变的，当文件变化的时候，Kibana 如何自动随之变化呢？
带着这个问题，我们看看 filebeat 能不能帮我们这个忙吧。

unaheidi commented 3 years ago

从官网filebeat-input-types 看下来，没有我期望的从某个站点 curl 一个 csv 文件的方式。
我们先用一下读取本地 csv 文件，感受一下 filebeat 把文件的变更存到 elasticsearch 的效果吧。

得先把 filebeat 给安装起来。

安装指南

unaheidi commented 3 years ago

多么好的一句话 “You need Elasticsearch for storing and searching your data, and Kibana for visualizing and managing it.”

unaheidi commented 3 years ago

多么适合此刻的一篇文章，介绍 ingest pipeline 的官网还是值得细细读的，kibana上可以定义 ingest node(采集点) 多好的一句话，把前后关系告诉我们了After defining the pipeline in Elasticsearch, you simply configure Filebeat to use the pipeline.

unaheidi commented 3 years ago

KQL 难用的一个场景，琢磨了好半天我需要找到一批文章，根据这批文章的名称来查找，比如，KQL 输入框：

文章名称 : 学会自己重打镜像

找到的不是自己想要的结果，KQL 把包含任何一个字的都给搜出来了；其实，我想要得到的只是“学会自己重打镜像”这样的文章。
怎么办呢？

文章名称 : “学会自己重打镜像”

🔔 KQL 根据中文查询的时候，一定要注意，没有添加双引号的时候，即使两个字连在一起，每个字都会单独进行匹配。
举个例子，本来想把文章名称中包含”内测“二字的排除掉，没想到它把包含"测一测"这个也排除掉了。 :x: not 文章名称: 内测 :heavy_check_mark: "not 文章名称: ”内测" ```

unaheidi commented 3 years ago

到目前为止，终于让 E+K+F 帮我搞定 “服务号推文” 阅读报告了。可以根据随着时间的推移，提供最新的阅读情况。
🍓 🍓 🍓

unaheidi commented 3 years ago

下一步我还想： 1）如果 dashboard 太多了怎么办？ kibana 怎么组织 dashboard 呢？

unaheidi commented 3 years ago

tips： 🔔 点 save as 可以修改 dashboard 的名称
🔔 dashboard 左上角保存按钮和右上角 edit 的区别 🔔 如果想创建一个只能看 dashboard 的用户，先创建一个 role 🔔 为了创建上面这类账号，无意间发现了 space 可以用来组织 dashboard

unaheidi commented 3 years ago

❓ csv 文件导入到 es 的时候，可能有些 field 不是 aggregatable ，这种类型的到时候无法根据这个 field 做统计。
怎么办呢？