web: robots协议

[wsxk]

https://wsxk.github.io/web_CTF1/

前言

1. robots协议

   1.1 CTF攻防世界：robots

前言 大学时期主要学习的是二进制安全（re，pwn），到了工作的时候发现，仅仅只是二进制安全还不够，你还需要学习一下web安全，成为全栈选手。这样才能打开你的渗透测试攻击面（我超，泪目） 这是一个二进制菜鸟学习web安全的记录

1. robots协议 robots协议是一种规定 搜索引擎或爬虫，可以/不可以 收录/爬取 网站那一部分内容的协议。 大白话的说法，一般访问一个网址，比如https://wsxk.github.io/robots.txt,就会显示如下内容：

站点地图（sitemap）是一个列出网站上所有页面的文件，通常用于帮助搜索引擎更好地索引网站内容。换句话说，就是所有的页面我都允许你爬取 https://wsxk.github.io/sitemap.xml的内容如下图所示

1.1 CTF攻防世界：robots

访问开启容器的robots.txt，可以得到如下的内容

现在我们知道了flag所在位置的文件名，就可以直接访问获取flag了。