如何去噪，關於99lib的反爬蟲 - Githubissues

JPCui / red-spider

:spider:基于webmagic的可定制规则爬虫

1 stars 1 forks source link

如何去噪，關於99lib的反爬蟲 #6

Closed JPCui closed 6 years ago

JPCui commented 6 years ago

有些网站会在内容中加一些内容无关的噪音，如何去除？

隐藏的段落
隐藏的网站标记，比如：99lib、９９ｌｉｂ，类似的字符。

JPCui commented 6 years ago

最近发现99lib的反扒好恶心，在页面里面嵌入好多重复、不显示（display: none）的div