360crawlergo结合xray被动扫描

360crawlergo结合xray被动扫描

安装

1. Xray
   https://github.com/chaitin/xray
2. crawlergo_x_XRAY
   https://github.com/timwhitez/crawlergo_x_XRAY
3. crawlergo
   https://github.com/0Kee-Team/crawlergo
   更多的使用方法推荐大家去看官方文档

配置

1. 下载xray最新的release, 下载crawlergo最新的release
   注意,是下载编译好的文件而不是git clone它的库
2. 把launcher.py和targets.txt放在crawlergo.exe同目录下
3. 配置好并启动xray被动扫描(脚本默认配置为127.0.0.1:7777)若修改端口请同时修改launcher.py文件中的proxies
   
4. 配置好launcher.py的cmd变量中的crawlergo爬虫配置(主要是chrome路径改为本地路径), 默认为:

./crawlergo -c C:\Program Files (x86)\Google\Chrome\Application\chrome.exe -t 20 -f smart --fuzz-path --output-mode json target

5. 把目标url写进targets.txt,一行一个url
   
6. 用python3运行launcher.py ( XRAY被动扫描为启动的状态 )
7. 生成的sub_domains.txt为爬虫爬到的子域名, crawl_result.txt为爬虫爬到的url