SpiderFoot OSINT信息收集实战：15分钟完成首次扫描

SpiderFoot OSINT信息收集实战15分钟完成首次扫描【免费下载链接】spiderfootSpiderFoot automates OSINT for threat intelligence and mapping your attack surface.项目地址: https://gitcode.com/GitHub_Trending/sp/spiderfoot渗透测试或安全评估接到一个域名时枚举子域、扫端口、查威胁情报手工跑一圈轻松烧掉一个下午。SpiderFoot 把这条 OSINT 信息收集链路自动化了目标输入一次200 多个模块各干各的活内置的关联引擎还会自动标出数据库暴露证书过期这类发现。本文带你把它跑起来并拿到第一份可用的侦察报告。工具定位SpiderFoot 能替代什么SpiderFoot 是一个持续维护十余年的开源 OSINT开源情报自动化框架4.0 版本基于 Python 3 开发MIT 协议。它和你逐个敲 subfinder、nmap、whois 的关键区别在架构上modules/ 目录下的模块按发布/订阅模型互相喂数据——某个模块解析出一个 IP所有能消费 IP 的模块自动被唤醒结果层层滚动不用你手工接力。维度SpiderFoot单点工具逐个跑数据采集200 模块发布/订阅互联逐个工具运行结果互不关联结果分析内置关联引擎30 条预定义风险规则原始数据人工比对目标类型域名、IP、邮箱、ASN、电话、用户名等十余种每类目标各换一套工具产出Web 界面 CLI CSV/Excel/GEXF 导出 SQLite零散文本输出 环境搭建5分钟启动 Web 界面推荐本地运行。先拿代码git clone https://gitcode.com/GitHub_Trending/sp/spiderfoot cd spiderfoot两条命令把项目拉到当前目录并进入项目根目录。再装依赖pip3 install -r requirements.txt这一条会按 requirements.txt 里锁定的版本装齐所有 Python 库。最后启动python3 ./sf.py -l 127.0.0.1:5001sf.py 是程序入口-l指定 Web 界面监听地址。做完这步你应该在终端看到Starting web server at 127.0.0.1:5001的提示框浏览器打开 http://127.0.0.1:5001 出现扫描列表页即成功。想省事也可以直接用仓库里的 Dockerfile 和 docker-compose.yml 容器化部署偏好稳定版的可以下载 v4.0 打包发行版README.md 的 INSTALLING 一节有说明。两个典型卡点启动时报SpiderFoot requires Python 3.7 or higher说明解释器太老升到 3.7 即可端口被占用就把参数改成-l 127.0.0.1:8000。注意扫描数据库在~/.spiderfoot/spiderfoot.db不会落在安装目录里。 跑通第一次扫描从 New Scan 到实时跟踪打开 Web 界面三步完成点击New Scan目标框里填域名、IP、邮箱甚至电话号码类型会自动识别。选择模块范围。新手保持默认即可也可以按用例all / footprint / investigate / passive快速圈定模块组。点击 Run Scan 后扫描进入队列详情页右上角状态徽章会从 RUNNING 走到 FINISHED。不想开浏览器时命令行等价命令是python3 ./sf.py -s example.com -o json-s指定目标-o json让结果以 JSON 输出、方便喂给其他工具不带任何模块参数时默认启用全部模块。扫描进行中看 Summary数据元素总数、错误数以及按 High/Medium/Low/Info 分档的关联结果计数。Browse 标签页按数据元素类型分层列出结果每一行都带着来源元素和来源模块链路可回溯。解读扫描结果从原始数据到高危告警一次全量扫描的数据量不小真正值得优先看的是 Correlations 标签页。关联引擎拿 correlations/ 里的 YAML 规则对结果做分析命中即是一条结构化发现例如multiple_malicious.yaml主机或 IP 被多个威胁情报源同时判定为恶意风险 HIGH误报率很低。database_exposed.yamlMySQL(3306)、PostgreSQL(5432)、Redis(6379) 等数据库端口直接暴露公网风险 HIGH。cert_expired.yaml目标的 SSL 证书已过期通常意味着运维失修。点开一条发现能看到支撑它的底层数据元素判定误报就勾 False Positive 标记后续视图会自动过滤。页面顶部搜索框支持把正则包在/里如/foo/或*string*通配配合按类型下钻能快速缩小范围。导出可用报告CSV、Excel 与关系图谱扫描结束后的三条导出路径结果页 Export 下拉把当前视图下载为CSV 或 Excel归档或交接直接用。Graph 按钮打开实体关系图可整体导出为GEXF格式丢进任意图谱工具看关联结构。命令行加-o json拿全量结构化数据直接进脚本做二次加工。还有一个交互式客户端 sfcli.py运行后进入sf提示符建扫描、搜数据、看关联都不用离开终端适合塞进自动化流程。进阶自己写关联规则、调用外部工具三个值得动手的深度玩法。场景团队想把端口 banner 泄露版本号记为 INFO 级发现。做法correlations/template.yaml 就是规则模板一条规则只有七块id/version、meta名称、描述、风险级别、collections按 type、module 或正则提取数据、aggregation分组、analysis阈值、离群值等过滤、headline发现文案。效果文件存回 correlations/ 重启后新规则参与每次扫描结果同时出现在 Web 界面并写入tbl_scan_correlation_results表YAML 有语法错误时启动阶段就会中止并指出位置。场景全量模块动静太大只想做被动指纹。做法命令行加-u passive按用例自动选模块-M列出全部可用模块-T查看全部数据类型。效果扫描只做被动查询不向目标发主动请求速度快且不留痕迹。场景想要操作系统指纹和 TLS 漏洞测试也进结果集。做法modules/ 里有一组 Tool 型模块能调用本机安装的 Nmap、WhatWeb、Nuclei、testssl.sh、DNSTwist、TruffleHog 等外部工具。效果外部工具的发现被并入同一结果集走完全相同的关联规则。生产级注意事项⚠️ 只扫你有权扫的目标端口扫描、DNS 爆破基于 spiderfoot/dicts/ 里的词表、TLD 搜索都会向目标发真实请求。对外测试先拿书面授权内部排查把范围限定在自己的 IP 段和域名如果要把 Web 界面暴露到团队网络在~/.spiderfoot/passwd建用户名:密码文件启用认证再配 key/crt 上 TLS。API 密钥集中管理优先免费档200 模块多数不需要密钥需要密钥的也多提供免费档。密钥在 Web 界面 Options 页集中填写支持导出/导入某模块缺密钥时它会被跳过不影响整个扫描。并发与超时先理解默认值sf.py 的全局配置里模块并发数默认 3、抓取超时默认 5 秒。调高并发能缩短耗时但更容易撞上 API 限流和目标侧防护目标多时保持默认甚至调低更稳。所有扫描与关联结果都在~/.spiderfoot/spiderfoot.db里可以直接写 SQL 做二次统计。收尾SpiderFoot 把子域枚举、端口扫描、威胁情报查询和交叉分析压缩进一次扫描。下一步建议先给自己域名跑一遍 passive 扫描通读一遍 Correlations 结果然后照 correlations/template.yaml 写下你的第一条规则更多细节参考仓库 docs/ 与 correlations/README.md。现在就去扫你的第一个目标吧。【免费下载链接】spiderfootSpiderFoot automates OSINT for threat intelligence and mapping your attack surface.项目地址: https://gitcode.com/GitHub_Trending/sp/spiderfoot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考