跳转页面被不法网站利用

[xiaozhu2007]

简单复现：在 Google 上搜索 free porn site:mcmod.cn

还有一大堆问题稍后在下方评论

[sxjeru]

可以考虑修改 robots.txt，让 jump 相关网页不被收录。

此类跳转链接可由他人生成（Base64），百科大概率不可控，加黑名单恐怕也加不完。

[xiaozhu2007]

可以考虑修改 robots.txt，让 jump 相关网页不被收录。

此类跳转链接可由他人生成（Base64），百科大概率不可控，加黑名单恐怕也加不完。

正确的，robots.txt中只写了部分增加/修改/删除的方法的Disallow，如下：

# robots.txt
User-agent: *
Disallow: /class/add/
Disallow: /class/edit/
Disallow: /class/version/add/
Disallow: /class/version/edit/
Disallow: /item/add/
Disallow: /item/edit/
Disallow: /item/tab/add/
Disallow: /item/tab/edit/
Disallow: /item/tab/del/
Disallow: /post/add/
Disallow: /post/edit/
Disallow: /author/add/
Disallow: /author/edit/
Disallow: /modpack/add/
Disallow: /modpack/edit/
Disallow: /modpack/version/add/
Disallow: /modpack/version/edit/
Disallow: /history/estimate/
Sitemap: /sitemap.xml

[xiaozhu2007]

更新很及时，点赞！ 当前robots.txt

# robots.txt
User-agent: *
Disallow: /class/add/
Disallow: /class/edit/
Disallow: /class/version/add/
Disallow: /class/version/edit/
Disallow: /item/add/
Disallow: /item/edit/
Disallow: /item/tab/add/
Disallow: /item/tab/edit/
Disallow: /item/tab/del/
Disallow: /post/add/
Disallow: /post/edit/
Disallow: /author/add/
Disallow: /author/edit/
Disallow: /modpack/add/
Disallow: /modpack/edit/
Disallow: /modpack/version/add/
Disallow: /modpack/version/edit/
Disallow: /history/estimate/
Disallow: /jump/
Sitemap: /sitemap.xml

[xiaozhu2007]

robots.txt的限制部分参考：https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=zh-cn#understand-the-limitations-of-a-robots.txt-file

建议在服务端增加非主站点ref的网站跳转确认页面