一款自动检测网站是否存在robots.txt的浏览器扩展

首发于若水斋。

在学习PWK课程时有次遇到一个Web服务，访问根路径返回404，于是就用dirb扫描。由于网速不太好，扫描了很久才发现存在robots.txt，以此为突破口成功地拿到了Webshell。当时就尝试找一款能自动检测网站是否存在robots.txt的浏览器扩展，但并没有找到，于是萌生了自己写一个的念头。现在我学完了PWK，顺利拿到了OSCP认证，便花了些时间实现了自己当时的想法。

安装

这款浏览器扩展兼容Firefox和Google Chrome，但我只将它上传到了Firefox的Add-ons，没有将它上传到Chrome Web Store。原因如下：

• 这款浏览器扩展仅对渗透测试有用，而Firefox由于其独立于操作系统的证书系统和代理设置，更适合于渗透测试；
• 想要上传浏览器扩展到Chrome Web Store需要先缴纳5美元，而这款浏览器扩展可能最终只会有一个用户——我自己——在渗透测试时几乎从不使用Google Chrome。

在Firefox中安装

由于我将它上传到了Add-ons，所以在Firefox安装它很简单。打开https://addons.mozilla.org/firefox/addon/robots-txt-detection/，点击添加到 Firefox，完成下载后弹出安装提示时点击