ARL灯塔魔改，自动化资产搜集+漏扫+推送+1W加指纹

0x01 前言

灯塔删库了，没有灯塔我该怎么活，在搭建这一套自动化资产搜集+漏扫体系之前，我一般是使用网络搜索引擎（fofa、zoomeye、hunter等）和C段ip举行资产搜集，然后批量指纹扫描工具（Ehole、Glass等）举行指纹辨认，使用xray、nuclei举行批量漏扫。按照之前使用的办理流程存在缺陷，总以为不太好用，计划强化一下灯塔
0x02 准备工作

2. 一台或两台linux服务器：
3. 一台：
4. 配置：64位+2核4G+带宽100Mbps
5. 两台：
6. 服务器A：64位+2核4G （灯塔最低配置要求）
7. 服务器B：100Mbps
8. ps：我这里使用的两台vps，一台国内阿里云搭建灯塔系统，一台国外vps作为漏扫服务器，两台
9. vps使用的操作系统均为centos
10. 灯塔ARL【资产收集】：https://github.com/TophantTechnology/ARL
11. httpx 【存活检测】：https://github.com/projectdiscovery/httpx
12. anew【过滤重复】：https://github.com/tomnomnom/anew
13. nuclei【漏洞扫描】：https://github.com/projectdiscovery/nuclei
14. python3.10【推送钉钉】：推荐使用3.7，这里3.10太高了导致openssl需要安装最新版，涉及重新
15. 编译openssl、python3，比较麻烦。

复制代码

0x03 工具安装配置

3.1 灯塔ARL

3.1.1 安装docker环境

2. 安装一些依赖
3. sudo yum install -y yum-utils device-mapper-persistent-data lvm2 wget
4. 下载repo文件
5. wget -O /etc/yum.repos.d/docker-ce.repo
6. https://download.docker.com/linux/centos/docker-ce.repo
7. 把软件仓库地址替换为 TUNA:
8. sudo sed -i 's+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+'
9. /etc/yum.repos.d/docker-ce.repo
10. 安装
11. sudo yum makecache fast
12. sudo yum install docker-ce

复制代码

3.1.2 docker compose 安装

2. 先安装pip,python3进行安装
3. curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
4. python3 get-pip.py
5. pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple docker-compose

复制代码

3.1.3 ARL灯塔安装

1. 这里我使用的是基于斗象灯塔ARL修改后的版本。相比原版，增加了OneForAll、中央数据库，修改了altDns
2. 项目地址：https://github.com/ki9mu/ARL-plus-docker
3. ps:2.8.0版本以后无oneforall,所以用的2.7
4. 使用wegt，或者本地下载上传到服务器后进行解压，下面是2.7的压缩包地址
6. https://github.com/ki9mu/ARL-plus-docker/archive/refs/tags/v2.7.1.zip
7. unzip 解压

复制代码

这是解压后的样子，自带一个docker-compose.yml文件

接下来很重要

1. docker volume create arl_db
2. docker-compose up -d

复制代码

查看运行状况，如下图所示说明运行正常

3.1.4 登录并修改暗码

2. url：http://127.0.0.1:5003
3. 登录凭证：admin/arlpass

复制代码

3.1.5 多用户登录

由于灯塔本身没有计划用户管理的功能，而且是单点登录，假如有多用户登录需求的需要到数据库中添加用户

2. # 可以使用下面的命令添加多个平行用户, 使用 admin1/admin123 可登录
3. docker exec -ti arl_mongodb mongo -u admin -p admin
4. use arl
5. db.user.insert({ username: 'admin1', password: hex_md5('arlsalt!@#'+'admin123')
6. })

复制代码

3.1.6 修改配置文件

config-docker.yaml中的61行，取消域名限定

添加指纹

2. https://github.com/loecho-sec/ARL-Finger-ADD

复制代码

3.2 anew

anew没有发布编译好的二进制文件，需要下载源码下来自行编译，这里我windows已经安装了go语言环境，在windows环境下编译生成linux二进制文件命令如下：

2. # 需要在命令行界面，powershell无法配置go环境变量
3. SET CGO_ENABLED=0
4. SET GOARCH=amd64
5. SET GOOS=linux
6. go build main.go

复制代码

anew主要将输出与旧文件举行比较，只会输出新添加的内容，并且将新添加的内容加到旧文件。

将anew上传服务器之后，赋予权限和配置软连接

2. chmod 777 anew
3. ln -s /root/tools/anew/anew /usr/bin/anew

复制代码

配置完之后可以直接使用命令行使用

3.3 httpx

httpx可以用于探测站点是否存活，灯塔收集的站点可能存在各种返回状态码，httpx这里就可以或许再筛查一次，将httpx上传服务器之后，赋予权限和配置软连接

2. chmod 777 httpx
3. ln -s /root/tools/httpx_1.2.0_linux_amd64/httpx /usr/bin/httpx

复制代码

配置完之后可以直接使用命令行使用

3.4 nuclei

3.4.1 nuclei介绍

Nuclei 基于模板跨目标发送哀求，扫描速度快且正确度高，可一键更新模板库，模板库来源于nuclei社区，活跃度还是比较高的，因此模板更新速度也比较客观。需要使用go语言编译搭建
3.4.2 nuclei安装

2. git clone https://github.com/projectdiscovery/nuclei.git
3. cd nuclei/v2/cmd/nuclei
4. go build
5. mv nuclei /usr/local/bin/
6. nuclei -version

复制代码

安装完之后可以直接使用命令行运行nuclei

3.5 灯塔资产获取

3.5.1灯塔api配置
灯塔提供了api接口文档，地址：https://ip:5003/api/doc
要使用api接口爬取数据，首先要配置一个apikey
进入arl目次

1. vim config-docker.yaml

复制代码

api-key可以本身设定

2. API_KEY:"ff44256c-xxxx-xxxx-xxxx-xxxxxxxxxxx"

复制代码

设置好之后重启下灯塔

1. docker-compose restart

复制代码

进入api接口文档，在如下位置输入设置的api-key

设置好之后可以现在网页端的接口文档举行调试使用，检查是否收效，可否正常获取数据

以上调试无非常之后，开始构造数据包，灯塔的认证是在头部到场Token字段即可

3.5.2 编写脚本

2. import optparse
3. import requests
4. apikey = "ff44256c-xxxx-xxxx-xxxx-xxxxxxxxxxxx"
5. requests.packages.urllib3.disable_warnings()
6. def print_hi(name):
7. # Use a breakpoint in the code line below to debug your script.
8. print(f'Hi, {name}') # Press Ctrl+F8 to toggle the breakpoint.
9. def task(scope_id):
10. headers = {
11. 'accept': 'application/json',
12. 'Token': apikey
13. }
14. ceshi = requests.get("https://ip:5003/api/asset_site/?
15. size=100&scope_id="+scope_id, headers=headers, verify=False)
16. json1 = ceshi.json()
17. number = json1['total']
18. pages = number//100
19. pages += 1
20. for page in range(1,pages+1):
21. data = requests.get("https://ip:5003/api/asset_site/?
22. page="+str(page)+"&size=100&scope_id="+scope_id, headers=headers, verify=False)
23. json_data = data.json()
24. items = json_data['items']
25. for item in items:
26. print("%s" %(item['site']))
27. # Press the green button in the gutter to run the script.
28. if __name__ == '__main__':
29. parser = optparse.OptionParser('python3 arlGetAassert.py -s scope_id -o
30. result.txt\n'
31. 'Example: python3 arlGetAassert.py -s
32. 6229835c322616001dd91fe4\n')
33. parser.add_option('-s', dest='scope_id', default='6229835c322616001dd91fe4',
34. type='string', help='scope_id 资产范围ID')
35. (options, args) = parser.parse_args()
36. task(options.scope_id)

复制代码

代码很简单，大概解释一下游程，这里调用api通过scope_id参数（资产组id）去筛出想要获取的资产组的站点信息，先获取总数，在爬取每一页的数据。资产组id就是下面这个字符串，每次新建一个资产组，就会分配一个资产组id：

这里运行看下结果

可以看到，顺遂获取到数据
3.6 配置钉钉机器人

3.6.1 推送灯塔资产

先在群里新建一个机器人

将webhook的access_token保存留用

进入灯塔配置文件

1. vim config-docker.yaml

复制代码

SECRET对应着钉钉机器人的签名密钥
ACCESS_TOKEN对应着钉钉机器人webhook的access_token
配置完之后重启灯塔，测试配置是否乐成

1. docker-compose exec worker bash
2. python3.6 -m test.test_utils_push

复制代码

乐成的话钉钉会收到消息推送

3.6.2 推送nuclei漏扫数据

钉钉机器人要求一定要举行安全设置。
安全设置目前有三种方式
方式一，自定义关键词
最多可以设置10个关键词，消息中至少包含此中1个关键词才可以发送乐成。
比方：添加了一个自定义关键词：监控报警
在你写的代码中，让这个机器人所发送的消息必须包含“监控报警”这个词，才气发送乐成。否则会出现keyword not in content。错误。
方式二，加签
第一步，把timestamp+“\n”+密钥当做签名字符串，使用HmacSHA256算法盘算签名，然后举行Base64 encode，最后再把签名参数再举行urlEncode，得到终极的签名（需要使用UTF-8字符集）。

2. 参数 说明
3. timestamp 当前时间戳，单位是毫秒，与请求调用时间误差不能超过1小时
4. secret 密钥，机器人安全设置页面，加签一栏下面显示的SEC开头的字符串

复制代码

签名盘算代码示例

2. #python 2.7
3. import time
4. import hmac
5. import hashlib
6. import base64
7. import urllib
8. timestamp = long(round(time.time() * 1000))
9. secret = 'this is secret'
10. secret_enc = bytes(secret).encode('utf-8')
11. string_to_sign = '{}\n{}'.format(timestamp, secret)
12. string_to_sign_enc = bytes(string_to_sign).encode('utf-8')
13. hmac_code = hmac.new(secret_enc, string_to_sign_enc,
14. digestmod=hashlib.sha256).digest()
15. sign = urllib.quote_plus(base64.b64encode(hmac_code))
16. print(timestamp)
17. print(sign)

复制代码

第二步，把 timestamp和第一步得到的签名值拼接到URL中。

1. https://oapi.dingtalk.com/robot/send?access_token=XXXXXX&timestamp=XXX&sign=XXX

复制代码

方式三，IP地址（段）
设定后，只有来自IP地址范围内的哀求才会被正常处理。支持两种设置方式：IP、IP段，暂不支持IPv6地址白名单，格式如下

安全设置的上述三种方式，需要至少设置此中一种校验不通过的消息将会发送失败，错误如下

1. // 消息内容中不包含任何关键词
2. {
3. "errcode":310000,
4. "errmsg":"keywords not in content"
5. }
6. // timestamp 无效
7. {
8. "errcode":310000,
9. "errmsg":"invalid timestamp"
10. }
11. // 签名不匹配
12. {
13. "errcode":310000,
14. "errmsg":"sign not match"
15. }
16. // IP地址不在白名单
17. {
18. "errcode":310000,
19. "errmsg":"ip X.X.X.X not in whitelist"
20. }

复制代码

编写脚本

2. import requests
3. import json
4. import sys
5. def ding_push_message(msg):
6. # 构建请求头部
7. header = {
8. "Content-Type": "application/json",
9. "Charset": "UTF-8"
10. }
11. # 构建请求数据
12. message = {
13. "msgtype": "text",
14. "text": {
15. "content": msg
16. },
17. # 设置@所有人
18. "at": {
19. "isAtAll": True
20. }
21. }
22. # 对请求的数据进行json封装
23. message_json = json.dumps(message)
24. # 发送请求
25. info = requests.post(url=web_url, data=message_json, headers=header)
26. # 打印返回的结果
27. print(info.text)
28. if __name__ == "__main__":
29. # 请求的URL，WebHook地址
30. web_url = "https://oapi.dingtalk.com/robot/send?access_token=xxx"
31. # 构建请求数据
32. file = sys.argv[1]
33. keyword = sys.argv[2]
34. with open(file) as f:
35. data = f.read()
36. if data == '':
37. data = '未发现新漏洞'
38. ding_push_message("[漏洞监控-"+keyword+"]\n"+str(data))

复制代码

这里可以输入任意message举行测试检查可否正常推送

可以看到正常推送了
0x04 自动化命令

部署完以上全部工具后，即可使用命令举行无止尽的自动探测，在linux下输入如下指令：

2. while true; do python3 arlGetAassert.py -s 6229835c322616001dd91fe4 | anew
3. urls.txt | httpx | nuclei -es info -o result.txt ;python3 dingding.py result.txt
4. ; sleep 3600; done

复制代码

流程大概如下：
先用脚本获取灯塔数据举行资产收集，并通过anew来过滤历史域名，把监测到的新资产送给httpx存活检测，httpx把存活的资产送给nuclei举行弊端扫描，-es info的意思是排除扫描info级别的弊端。扫描竣事后，会使用python脚本把弊端结果发送到我们钉钉推送，这样一个循环就竣事了，并等待3600秒，也就是1小时。
0x05 结语

这套体系刚搭建完，目前体验还是不错的，但仍然有提升优化的空间，可以在灯塔api开发的基础上多写几个脚本用于搜索资产、增长资产等，我这里部署完灯塔之后明显能感觉到web端访问响应速度体验并不是很好，使用api举行操作可以或许提高速度。
然后的话就是灯塔收集资产是需要提供根域名的，这里并没有集成搜集根域名的方式，可以在后续举行优化提升，除此之外，灯塔收集的资产有限，还可以结合其他资产收集工具举行资产收集，同时也可以集成指纹辨认的工具并举行钉钉推送，提高渗透服从。
最后，篇幅较为冗长，感谢可以或许看到这里，整体涉及的全部步调都写了，假如以为有所劳绩的话，麻烦点个关注支持下啦。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。