运行bug - Githubissues

hack-Red-moon commented 2 years ago

[*] send to WecomBot: {"errcode":0,"errmsg":"ok"} panic: runtime error: invalid memory address or nil pointer dereference [signal SIGSEGV: segmentation violation code=0x1 addr=0x0 pc=0x769f25]

goroutine 1 [running]: main.crawler() SecCrawler/main.go:64 +0x1445 main.main() SecCrawler/main.go:25 +0x3f

Le0nsec commented 2 years ago

请确认配置文件是否正确，是否有其他配置项缺少，经判断你这个错误应该是缺少了飞书机器人的配置项，不需要该机器人设置为false即可

hack-Red-moon commented 2 years ago

配置问题按道理没错目前微信可以推送推送后报错版本采用的Linux amd64
Linux VM-20-14-ubuntu 4.15.0-159-generic #167-Ubuntu SMP Tue Sep 21 08:55:05 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux

############### CronSetting ###############
# 开启则一次性爬取后退出程序
Debug: true
# 设置每天整点爬取推送时间，范围 0 ~ 23（整数）
CronTime: 11
# 设置Selenium使用的ChromeDriver路径，支持相对路径或绝对路径（如果不爬取先知社区可以不用设置）
ChromeDriver: ./chromedriver/linux64

############### BotConfig ###############

# 企业微信群机器人
# https://work.weixin.qq.com/api/doc/90000/90136/91770
WecomBot:
  enabled: true
  key: xx
  timeout: 2  # second

# 飞书群机器人
# https://open.feishu.cn/document/ukTMukTMukTM/ucTM5YjL3ETO24yNxkjN
FeishuBot:
enabled: false
key: xx
timeout: 2

# 钉钉群机器人
# https://open.dingtalk.com/document/robots/custom-robot-access
DingBot:
enabled: false
token: xx
timeout: 2

# HexQBot
# https://github.com/Am473ur/HexQBot
HexQBot:
  enabled: false
  api: http://xxxxxx.com/send
  qqgroup: 000000000
  key: xx
  timeout: 2

# Server酱
# https://sct.ftqq.com/
ServerChan:
  enabled: false
  sendkey: xx
  timeout: 2

############### SiteEnable ###############

# 棱角社区
# https://forum.ywhack.com/forum-59-1.html
EdgeForum:
  enabled: true

# 先知安全技术社区
# https://xz.aliyun.com/
XianZhi:
  enabled: true

# SeebugPaper（知道创宇404实验室）
# https://paper.seebug.org/
SeebugPaper:
  enabled: true

# 安全客
# https://www.anquanke.com/
Anquanke:
  enabled: true

# 跳跳糖
# http://tttang.com/
Tttang:
  enable: true

Le0nsec commented 2 years ago

缩进有问题，你看一下，需要符合yaml格式

hack-Red-moon @.***>于2022年1月27日周四17:26写道：

配置问题按道理没错目前微信可以推送推送后报错版本采用的Linux amd64 Linux VM-20-14-ubuntu 4.15.0-159-generic #167-Ubuntu SMP Tue Sep 21 08:55:05 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux

`############### CronSetting ############### 开启则一次性爬取后退出程序

Debug: true 设置每天整点爬取推送时间，范围 0 ~ 23（整数）

CronTime: 11 设置Selenium使用的ChromeDriver路径，支持相对路径或绝对路径（如果不爬取先知社区可以不用设置）

ChromeDriver: ./chromedriver/linux64

############### BotConfig ############### 企业微信群机器人 https://work.weixin.qq.com/api/doc/90000/90136/91770

WecomBot: enabled: true key: xx timeout: 2 # second 飞书群机器人 https://open.feishu.cn/document/ukTMukTMukTM/ucTM5YjL3ETO24yNxkjN

FeishuBot: enabled: false key: xx timeout: 2 钉钉群机器人 https://open.dingtalk.com/document/robots/custom-robot-access

DingBot: enabled: false token: xx timeout: 2 HexQBot https://github.com/Am473ur/HexQBot

HexQBot: enabled: false api: http://xxxxxx.com/send qqgroup: 000000000 key: xx timeout: 2 Server酱 https://sct.ftqq.com/

ServerChan: enabled: false sendkey: xx timeout: 2

############### SiteEnable ############### 棱角社区 https://forum.ywhack.com/forum-59-1.html

EdgeForum: enabled: true 先知安全技术社区 https://xz.aliyun.com/

XianZhi: enabled: true SeebugPaper（知道创宇404实验室） https://paper.seebug.org/

SeebugPaper: enabled: true 安全客 https://www.anquanke.com/

Anquanke: enabled: true 跳跳糖 http://tttang.com/

Tttang: enable: true`

— Reply to this email directly, view it on GitHub https://github.com/Le0nsec/SecCrawler/issues/4#issuecomment-1023008964, or unsubscribe https://github.com/notifications/unsubscribe-auth/AP45Y4CCNE2NXTUQLLNTS5LUYEFVBANCNFSM5M4ZDINQ . Triage notifications on the go with GitHub Mobile for iOS https://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675 or Android https://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub.

You are receiving this because you commented.Message ID: @.***>

hack-Red-moon commented 2 years ago

您好刚才这个编辑器有问题麻烦看看我最新修改的代码格式的

############### CronSetting ###############
# 开启则一次性爬取后退出程序
Debug: true
# 设置每天整点爬取推送时间，范围 0 ~ 23（整数）
CronTime: 11
# 设置Selenium使用的ChromeDriver路径，支持相对路径或绝对路径（如果不爬取先知社区可以不用设置）
ChromeDriver: ./chromedriver/linux64

############### BotConfig ###############

# 企业微信群机器人
# https://work.weixin.qq.com/api/doc/90000/90136/91770
WecomBot:
  enabled: true
  key: xx
  timeout: 2  # second

# 飞书群机器人
# https://open.feishu.cn/document/ukTMukTMukTM/ucTM5YjL3ETO24yNxkjN
FeishuBot:
enabled: false
key: xx
timeout: 2

# 钉钉群机器人
# https://open.dingtalk.com/document/robots/custom-robot-access
DingBot:
enabled: false
token: xx
timeout: 2

# HexQBot
# https://github.com/Am473ur/HexQBot
HexQBot:
  enabled: false
  api: http://xxxxxx.com/send
  qqgroup: 000000000
  key: xx
  timeout: 2

# Server酱
# https://sct.ftqq.com/
ServerChan:
  enabled: false
  sendkey: xx
  timeout: 2

############### SiteEnable ###############

# 棱角社区
# https://forum.ywhack.com/forum-59-1.html
EdgeForum:
  enabled: true

# 先知安全技术社区
# https://xz.aliyun.com/
XianZhi:
  enabled: true

# SeebugPaper（知道创宇404实验室）
# https://paper.seebug.org/
SeebugPaper:
  enabled: true

# 安全客
# https://www.anquanke.com/
Anquanke:
  enabled: true

# 跳跳糖
# http://tttang.com/
Tttang:
  enable: true

Le0nsec commented 2 years ago

你看飞书和钉钉这两个配置内容，前面没有缩进，和其他不一样

hack-Red-moon @.***>于2022年1月27日周四17:34写道：

您好刚才这个编辑器有问题麻烦看看我最新修改的代码格式的

############### CronSetting ###############

开启则一次性爬取后退出程序

Debug: true

设置每天整点爬取推送时间，范围 0 ~ 23（整数）

CronTime: 11

设置Selenium使用的ChromeDriver路径，支持相对路径或绝对路径（如果不爬取先知社区可以不用设置）

ChromeDriver: ./chromedriver/linux64

############### BotConfig ###############

企业微信群机器人

https://work.weixin.qq.com/api/doc/90000/90136/91770

WecomBot:

enabled: true

key: xx

timeout: 2 # second

飞书群机器人

https://open.feishu.cn/document/ukTMukTMukTM/ucTM5YjL3ETO24yNxkjN

FeishuBot:

enabled: false

key: xx

timeout: 2

钉钉群机器人

https://open.dingtalk.com/document/robots/custom-robot-access

DingBot:

enabled: false

token: xx

timeout: 2

HexQBot

https://github.com/Am473ur/HexQBot

HexQBot:

enabled: false

api: http://xxxxxx.com/send

qqgroup: 000000000

key: xx

timeout: 2

Server酱

https://sct.ftqq.com/

ServerChan:

enabled: false

sendkey: xx

timeout: 2

############### SiteEnable ###############

棱角社区

https://forum.ywhack.com/forum-59-1.html

EdgeForum:

enabled: true

先知安全技术社区

https://xz.aliyun.com/

XianZhi:

enabled: true

SeebugPaper（知道创宇404实验室）

https://paper.seebug.org/

SeebugPaper:

enabled: true

安全客

https://www.anquanke.com/

Anquanke:

enabled: true

跳跳糖

http://tttang.com/

Tttang:

enable: true

— Reply to this email directly, view it on GitHub https://github.com/Le0nsec/SecCrawler/issues/4#issuecomment-1023015915, or unsubscribe https://github.com/notifications/unsubscribe-auth/AP45Y4BBDL54LWXUWVIA2DLUYEGUDANCNFSM5M4ZDINQ . Triage notifications on the go with GitHub Mobile for iOS https://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675 or Android https://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub.

You are receiving this because you commented.Message ID: @.***>

Le0nsec commented 2 years ago

或者你可以删除当前config.yml，然后重新运行生成

eon L @.***>于2022年1月27日周四17:37写道：

你看飞书和钉钉这两个配置内容，前面没有缩进，和其他不一样

hack-Red-moon @.***>于2022年1月27日周四17:34写道：

您好刚才这个编辑器有问题麻烦看看我最新修改的代码格式的

############### CronSetting ###############

开启则一次性爬取后退出程序

Debug: true

设置每天整点爬取推送时间，范围 0 ~ 23（整数）

CronTime: 11

设置Selenium使用的ChromeDriver路径，支持相对路径或绝对路径（如果不爬取先知社区可以不用设置）

ChromeDriver: ./chromedriver/linux64

############### BotConfig ###############

企业微信群机器人

https://work.weixin.qq.com/api/doc/90000/90136/91770

WecomBot:

enabled: true

key: xx

timeout: 2 # second

飞书群机器人

https://open.feishu.cn/document/ukTMukTMukTM/ucTM5YjL3ETO24yNxkjN

FeishuBot:

enabled: false

key: xx

timeout: 2

钉钉群机器人

https://open.dingtalk.com/document/robots/custom-robot-access

DingBot:

enabled: false

token: xx

timeout: 2

HexQBot

https://github.com/Am473ur/HexQBot

HexQBot:

enabled: false

api: http://xxxxxx.com/send

qqgroup: 000000000

key: xx

timeout: 2

Server酱

https://sct.ftqq.com/

ServerChan:

enabled: false

sendkey: xx

timeout: 2

############### SiteEnable ###############

棱角社区

https://forum.ywhack.com/forum-59-1.html

EdgeForum:

enabled: true

先知安全技术社区

https://xz.aliyun.com/

XianZhi:

enabled: true

SeebugPaper（知道创宇404实验室）

https://paper.seebug.org/

SeebugPaper:

enabled: true

安全客

https://www.anquanke.com/

Anquanke:

enabled: true

跳跳糖

http://tttang.com/

Tttang:

enable: true

— Reply to this email directly, view it on GitHub https://github.com/Le0nsec/SecCrawler/issues/4#issuecomment-1023015915, or unsubscribe https://github.com/notifications/unsubscribe-auth/AP45Y4BBDL54LWXUWVIA2DLUYEGUDANCNFSM5M4ZDINQ . Triage notifications on the go with GitHub Mobile for iOS https://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675 or Android https://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub.

You are receiving this because you commented.Message ID: @.***>

Anthem-whisper commented 2 years ago

这个问题是默认yaml文件缩进就是有问题的所导致的，我在https://github.com/Le0nsec/SecCrawler/commit/cc262bc9ddf56d7e5f70d25680fb48530caa3c3e 这里面修复了他

Le0nsec / SecCrawler

运行bug #4

开启则一次性爬取后退出程序

设置每天整点爬取推送时间，范围 0 ~ 23（整数）

设置Selenium使用的ChromeDriver路径，支持相对路径或绝对路径（如果不爬取先知社区可以不用设置）

企业微信群机器人

飞书群机器人

钉钉群机器人

HexQBot

Server酱

棱角社区

先知安全技术社区

SeebugPaper（知道创宇404实验室）

安全客

跳跳糖

开启则一次性爬取后退出程序

设置每天整点爬取推送时间，范围 0 ~ 23（整数）

设置Selenium使用的ChromeDriver路径，支持相对路径或绝对路径（如果不爬取先知社区可以不用设置）

企业微信群机器人

飞书群机器人

钉钉群机器人

HexQBot

Server酱

棱角社区

先知安全技术社区

SeebugPaper（知道创宇404实验室）

安全客

跳跳糖