ToB企服应用市场:ToB评测及商务社交产业平台

标题: ARL灯塔魔改，自动化资产搜集+漏扫+推送+1W加指纹 [打印本页]
作者: 盛世宏图    时间: 2024-7-14 08:38
标题: ARL灯塔魔改，自动化资产搜集+漏扫+推送+1W加指纹
0x01 前言

灯塔删库了，没有灯塔我该怎么活，在搭建这一套自动化资产搜集+漏扫体系之前，我一般是使用网络搜索引擎（fofa、zoomeye、hunter等）和C段ip举行资产搜集，然后批量指纹扫描工具（Ehole、Glass等）举行指纹辨认，使用xray、nuclei举行批量漏扫。按照之前使用的办理流程存在缺陷，总以为不太好用，计划强化一下灯塔
0x02 准备工作

  2. 一台或两台linux服务器：
  3. 一台：
  4. 配置：64位+2核4G+带宽100Mbps
  5. 两台：
  6. 服务器A：64位+2核4G （灯塔最低配置要求）
  7. 服务器B：100Mbps
  8. ps：我这里使用的两台vps，一台国内阿里云搭建灯塔系统，一台国外vps作为漏扫服务器，两台
  9. vps使用的操作系统均为centos
  10. 灯塔ARL【资产收集】：https://github.com/TophantTechnology/ARL
  11. httpx 【存活检测】：https://github.com/projectdiscovery/httpx
  12. anew【过滤重复】：https://github.com/tomnomnom/anew
  13. nuclei【漏洞扫描】：https://github.com/projectdiscovery/nuclei
  14. python3.10【推送钉钉】：推荐使用3.7，这里3.10太高了导致openssl需要安装最新版，涉及重新
  15. 编译openssl、python3，比较麻烦。
复制代码
0x03 工具安装配置

3.1 灯塔ARL

3.1.1 安装docker环境

  2. 安装一些依赖
  3. sudo yum install -y yum-utils device-mapper-persistent-data lvm2 wget
  4. 下载repo文件
  5. wget -O /etc/yum.repos.d/docker-ce.repo
  6. https://download.docker.com/linux/centos/docker-ce.repo
  7. 把软件仓库地址替换为 TUNA:
  8. sudo sed -i 's+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+'
  9. /etc/yum.repos.d/docker-ce.repo
  10. 安装
  11. sudo yum makecache fast
  12. sudo yum install docker-ce
复制代码
3.1.2 docker compose 安装

  2. 先安装pip,python3进行安装
  3. curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
  4. python3 get-pip.py
  5. pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple docker-compose
复制代码
3.1.3 ARL灯塔安装

  1. 这里我使用的是基于斗象灯塔ARL修改后的版本。相比原版，增加了OneForAll、中央数据库，修改了altDns
  2. 项目地址：https://github.com/ki9mu/ARL-plus-docker
  3. ps:2.8.0版本以后无oneforall,所以用的2.7
  4. 使用wegt，或者本地下载上传到服务器后进行解压，下面是2.7的压缩包地址
  6. https://github.com/ki9mu/ARL-plus-docker/archive/refs/tags/v2.7.1.zip
  7. unzip 解压
复制代码
这是解压后的样子，自带一个docker-compose.yml文件

接下来很重要
  1. docker volume create arl_db
  2. docker-compose up -d
复制代码
查看运行状况，如下图所示说明运行正常

3.1.4 登录并修改暗码

  2. url：http://127.0.0.1:5003
  3. 登录凭证：admin/arlpass
复制代码
3.1.5 多用户登录

由于灯塔本身没有计划用户管理的功能，而且是单点登录，假如有多用户登录需求的需要到数据库中添加用户
  2. # 可以使用下面的命令添加多个平行用户, 使用 admin1/admin123 可登录
  3. docker exec -ti arl_mongodb mongo -u admin -p admin
  4. use arl
  5. db.user.insert({ username: 'admin1', password: hex_md5('arlsalt!@#'+'admin123')
  6. })
复制代码
3.1.6 修改配置文件

config-docker.yaml中的61行，取消域名限定

添加指纹
  2. https://github.com/loecho-sec/ARL-Finger-ADD
复制代码

3.2 anew

anew没有发布编译好的二进制文件，需要下载源码下来自行编译，这里我windows已经安装了go语言环境，在windows环境下编译生成linux二进制文件命令如下：
  2. # 需要在命令行界面，powershell无法配置go环境变量
  3. SET CGO_ENABLED=0
  4. SET GOARCH=amd64
  5. SET GOOS=linux
  6. go build main.go
复制代码
anew主要将输出与旧文件举行比较，只会输出新添加的内容，并且将新添加的内容加到旧文件。
将anew上传服务器之后，赋予权限和配置软连接
  2. chmod 777 anew
  3. ln -s /root/tools/anew/anew /usr/bin/anew
复制代码
配置完之后可以直接使用命令行使用

3.3 httpx

httpx可以用于探测站点是否存活，灯塔收集的站点可能存在各种返回状态码，httpx这里就可以或许再筛查一次，将httpx上传服务器之后，赋予权限和配置软连接
  2. chmod 777 httpx
  3. ln -s /root/tools/httpx_1.2.0_linux_amd64/httpx /usr/bin/httpx
复制代码
配置完之后可以直接使用命令行使用

3.4 nuclei

3.4.1 nuclei介绍

Nuclei 基于模板跨目标发送哀求，扫描速度快且正确度高，可一键更新模板库，模板库来源于nuclei社区，活跃度还是比较高的，因此模板更新速度也比较客观。需要使用go语言编译搭建
3.4.2 nuclei安装

  2. git clone https://github.com/projectdiscovery/nuclei.git
  3. cd nuclei/v2/cmd/nuclei
  4. go build
  5. mv nuclei /usr/local/bin/
  6. nuclei -version
复制代码
安装完之后可以直接使用命令行运行nuclei

3.5 灯塔资产获取

3.5.1灯塔api配置
灯塔提供了api接口文档，地址：https://ip:5003/api/doc
要使用api接口爬取数据，首先要配置一个apikey
进入arl目次
  1. vim config-docker.yaml
复制代码

api-key可以本身设定
  2. API_KEY:"ff44256c-xxxx-xxxx-xxxx-xxxxxxxxxxx"
复制代码
设置好之后重启下灯塔
  1. docker-compose restart
复制代码
进入api接口文档，在如下位置输入设置的api-key

设置好之后可以现在网页端的接口文档举行调试使用，检查是否收效，可否正常获取数据


以上调试无非常之后，开始构造数据包，灯塔的认证是在头部到场Token字段即可

3.5.2 编写脚本
  2. import optparse
  3. import requests
  4. apikey = "ff44256c-xxxx-xxxx-xxxx-xxxxxxxxxxxx"
  5. requests.packages.urllib3.disable_warnings()
  6. def print_hi(name):
  7. # Use a breakpoint in the code line below to debug your script.
  8. print(f'Hi, {name}') # Press Ctrl+F8 to toggle the breakpoint.
  9. def task(scope_id):
  10. headers = {
  11. 'accept': 'application/json',
  12. 'Token': apikey
  13. }
  14. ceshi = requests.get("https://ip:5003/api/asset_site/?
  15. size=100&scope_id="+scope_id, headers=headers, verify=False)
  16. json1 = ceshi.json()
  17. number = json1['total']
  18. pages = number//100
  19. pages += 1
  20. for page in range(1,pages+1):
  21. data = requests.get("https://ip:5003/api/asset_site/?
  22. page="+str(page)+"&size=100&scope_id="+scope_id, headers=headers, verify=False)
  23. json_data = data.json()
  24. items = json_data['items']
  25. for item in items:
  26. print("%s" %(item['site']))
  27. # Press the green button in the gutter to run the script.
  28. if __name__ == '__main__':
  29. parser = optparse.OptionParser('python3 arlGetAassert.py -s scope_id -o
  30. result.txt\n'
  31. 'Example: python3 arlGetAassert.py -s
  32. 6229835c322616001dd91fe4\n')
  33. parser.add_option('-s', dest='scope_id', default='6229835c322616001dd91fe4',
  34. type='string', help='scope_id 资产范围ID')
  35. (options, args) = parser.parse_args()
  36. task(options.scope_id)
复制代码
代码很简单，大概解释一下游程，这里调用api通过scope_id参数（资产组id）去筛出想要获取的资产组的站点信息，先获取总数，在爬取每一页的数据。资产组id就是下面这个字符串，每次新建一个资产组，就会分配一个资产组id：

这里运行看下结果

可以看到，顺遂获取到数据
3.6 配置钉钉机器人

3.6.1 推送灯塔资产

先在群里新建一个机器人





将webhook的access_token保存留用

进入灯塔配置文件
  1. vim config-docker.yaml
复制代码

SECRET对应着钉钉机器人的签名密钥
ACCESS_TOKEN对应着钉钉机器人webhook的access_token
配置完之后重启灯塔，测试配置是否乐成
  1. docker-compose exec worker bash
  2. python3.6 -m test.test_utils_push
复制代码
乐成的话钉钉会收到消息推送

3.6.2 推送nuclei漏扫数据

钉钉机器人要求一定要举行安全设置。
安全设置目前有三种方式
方式一，自定义关键词
最多可以设置10个关键词，消息中至少包含此中1个关键词才可以发送乐成。
比方：添加了一个自定义关键词：监控报警
在你写的代码中，让这个机器人所发送的消息必须包含“监控报警”这个词，才气发送乐成。否则会出现keyword not in content。错误。
方式二，加签
第一步，把timestamp+“\n”+密钥当做签名字符串，使用HmacSHA256算法盘算签名，然后举行Base64 encode，最后再把签名参数再举行urlEncode，得到终极的签名（需要使用UTF-8字符集）。
  2. 参数 说明
  3. timestamp 当前时间戳，单位是毫秒，与请求调用时间误差不能超过1小时
  4. secret 密钥，机器人安全设置页面，加签一栏下面显示的SEC开头的字符串
复制代码
签名盘算代码示例
  2. #python 2.7
  3. import time
  4. import hmac
  5. import hashlib
  6. import base64
  7. import urllib
  8. timestamp = long(round(time.time() * 1000))
  9. secret = 'this is secret'
  10. secret_enc = bytes(secret).encode('utf-8')
  11. string_to_sign = '{}\n{}'.format(timestamp, secret)
  12. string_to_sign_enc = bytes(string_to_sign).encode('utf-8')
  13. hmac_code = hmac.new(secret_enc, string_to_sign_enc,
  14. digestmod=hashlib.sha256).digest()
  15. sign = urllib.quote_plus(base64.b64encode(hmac_code))
  16. print(timestamp)
  17. print(sign)
复制代码
第二步，把 timestamp和第一步得到的签名值拼接到URL中。
  1. https://oapi.dingtalk.com/robot/send?access_token=XXXXXX&timestamp=XXX&sign=XXX
复制代码
方式三，IP地址（段）
设定后，只有来自IP地址范围内的哀求才会被正常处理。支持两种设置方式：IP、IP段，暂不支持IPv6地址白名单，格式如下

安全设置的上述三种方式，需要至少设置此中一种校验不通过的消息将会发送失败，错误如下
  1. // 消息内容中不包含任何关键词
  2. {
  3. "errcode":310000,
  4. "errmsg":"keywords not in content"
  5. }
  6. // timestamp 无效
  7. {
  8. "errcode":310000,
  9. "errmsg":"invalid timestamp"
  10. }
  11. // 签名不匹配
  12. {
  13. "errcode":310000,
  14. "errmsg":"sign not match"
  15. }
  16. // IP地址不在白名单
  17. {
  18. "errcode":310000,
  19. "errmsg":"ip X.X.X.X not in whitelist"
  20. }
复制代码
编写脚本
  2. import requests
  3. import json
  4. import sys
  5. def ding_push_message(msg):
  6. # 构建请求头部
  7. header = {
  8. "Content-Type": "application/json",
  9. "Charset": "UTF-8"
  10. }
  11. # 构建请求数据
  12. message = {
  13. "msgtype": "text",
  14. "text": {
  15. "content": msg
  16. },
  17. # 设置@所有人
  18. "at": {
  19. "isAtAll": True
  20. }
  21. }
  22. # 对请求的数据进行json封装
  23. message_json = json.dumps(message)
  24. # 发送请求
  25. info = requests.post(url=web_url, data=message_json, headers=header)
  26. # 打印返回的结果
  27. print(info.text)
  28. if __name__ == "__main__":
  29. # 请求的URL，WebHook地址
  30. web_url = "https://oapi.dingtalk.com/robot/send?access_token=xxx"
  31. # 构建请求数据
  32. file = sys.argv[1]
  33. keyword = sys.argv[2]
  34. with open(file) as f:
  35. data = f.read()
  36. if data == '':
  37. data = '未发现新漏洞'
  38. ding_push_message("[漏洞监控-"+keyword+"]\n"+str(data))
复制代码
这里可以输入任意message举行测试检查可否正常推送

可以看到正常推送了
0x04 自动化命令

部署完以上全部工具后，即可使用命令举行无止尽的自动探测，在linux下输入如下指令：
  2. while true; do python3 arlGetAassert.py -s 6229835c322616001dd91fe4 | anew
  3. urls.txt | httpx | nuclei -es info -o result.txt ;python3 dingding.py result.txt
  4. ; sleep 3600; done
复制代码
流程大概如下：
先用脚本获取灯塔数据举行资产收集，并通过anew来过滤历史域名，把监测到的新资产送给httpx存活检测，httpx把存活的资产送给nuclei举行弊端扫描，-es info的意思是排除扫描info级别的弊端。扫描竣事后，会使用python脚本把弊端结果发送到我们钉钉推送，这样一个循环就竣事了，并等待3600秒，也就是1小时。
0x05 结语

这套体系刚搭建完，目前体验还是不错的，但仍然有提升优化的空间，可以在灯塔api开发的基础上多写几个脚本用于搜索资产、增长资产等，我这里部署完灯塔之后明显能感觉到web端访问响应速度体验并不是很好，使用api举行操作可以或许提高速度。
然后的话就是灯塔收集资产是需要提供根域名的，这里并没有集成搜集根域名的方式，可以在后续举行优化提升，除此之外，灯塔收集的资产有限，还可以结合其他资产收集工具举行资产收集，同时也可以集成指纹辨认的工具并举行钉钉推送，提高渗透服从。
最后，篇幅较为冗长，感谢可以或许看到这里，整体涉及的全部步调都写了，假如以为有所劳绩的话，麻烦点个关注支持下啦。


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4