leveryd-asm / asm

Scanner platform based on Kubernetes and Argo-Workflow 基于k8s和argo工作流的扫描器
https://leveryd-asm.github.io/asm-document
MIT License
106 stars 6 forks source link

web-service搜索时query无法达到想要的效果 #27

Closed leveryd closed 1 year ago

leveryd commented 1 year ago
image

使用二级域名搜索时,找不到对应记录

image

从es中取数据时会漏掉部分域名,后续nuclei、katana等任务漏掉部分攻击面

leveryd commented 1 year ago

假设es文档中有两条url数据,分别是

当使用url:"xxx.com"语法搜索时,只能搜到http://www1.xxx.com:9999/

为什么会这样?

因为es的分词结果不同,如下

image image
leveryd commented 1 year ago

怎么解决这个问题?

https://www.elastic.co/guide/en/beats/filebeat/current/processor-registered-domain.html

https://www.elastic.co/guide/en/elasticsearch/reference/7.17/simulate-pipeline-api.html

解析域名时,需要注意 x.com.cnx.com 这两种域名都要正确解析,所以不能简单地使用(.*)\.([word]+)正则匹配

leveryd commented 1 year ago

es可以关闭字段分词,使用类似mysql的模糊匹配吗?