没有去重？？只能通过关键字进行搜索吗？

super-l / superl-url

根据关键词，对搜索引擎内容检索结果的网址内容进行采集的一款程序。可自动从多个搜索引擎采集相关网站的真实地址与标题等信息，可保存为文件，自动去除重复URL。同时，也可以自定义忽略多条域名等。

http://www.msray.net/doc

618 stars 145 forks source link

Open hackerax opened 4 years ago

hackerax commented 4 years ago

随便搜索关键字cnm 出现全是一样的url