SpiderFoot

SpiderFoot：开源情报自动化工具

SpiderFoot 是一款开源情报（OSINT）自动化工具，集成了几乎所有可用的数据源，并采用多种数据分析方法，使采集到的数据易于浏览和使用。它内置 Web 服务器，提供简洁直观的浏览器界面，同时也支持纯命令行操作。项目使用 Python 3 编写，以 MIT 许可证发布。

核心特性

• 双模式操作：同时提供基于 Web 的图形界面与命令行界面
• 200+ 模块：覆盖广泛的数据源与查询接口（绝大多数模块无需 API Key，少数使用付费 Key 的模块也提供免费额度）
• 相关性引擎：基于 YAML 配置，内置 37 条预定义规则
• 多格式导出：支持 CSV、JSON、GEXF 三种结果格式
• API 集成：支持扫描配置的导入导出，便于环境迁移
• SQLite 后端：可直接对扫描数据进行自定义查询
• TOR 集成：支持暗网搜索
• 可视化：内置图形化分析结果展示
• Docker 支持：提供官方 Dockerfile 便于容器化部署
• 第三方工具联动：可调用 DNSTwist、Whatweb、Nmap、CMSeeK 等外部工具
• 持续维护：自 2012 年起持续活跃开发

适用场景

SpiderFoot 既可作为攻击方（红队/渗透测试）进行目标侦察，也可作为防守方（蓝队）梳理组织在互联网上的资产暴露情况。支持的目标类型包括：

• IP 地址
• 域名/子域名
• 主机名
• 网络子网（CIDR）
• ASN 号
• 电子邮件地址
• 电话号码
• 用户名
• 人名
• 比特币地址

主要功能模块

200 多个模块采用发布者/订阅者模型相互联动，最大化数据抽取能力，可执行的任务包括：

• 主机、子域、TLD 的枚举与提取
• 邮箱地址、电话号码、姓名的提取
• 比特币和以太坊地址的提取
• 子域劫持风险检测
• DNS 区域传送
• 威胁情报与黑名单查询
• 与 SHODAN、HaveIBeenPwned、GreyNoise、AlienVault、SecurityTrails 等服务的 API 集成
• 社交媒体账号枚举
• S3/Azure/DigitalOcean 存储桶的枚举与抓取
• IP 地理位置查询
• 网页内容抓取与分析
• 图片、文档与二进制文件的元数据分析
• 暗网搜索
• 端口扫描与 Banner 抓取
• 数据泄露查询

安装与运行

要求 Python 3.7 及以上。可通过 pip 安装依赖。

稳定版安装（推荐生产环境使用）：

# 下载、解压 v4.0 稳定版
wget https://github.com/smicallef/spiderfoot/archive/v4.0.tar.gz
tar zxvf v4.0.tar.gz
cd spiderfoot-4.0

# 安装依赖
pip3 install -r requirements.txt

# 启动 Web 服务，监听本地 5001 端口
python3 ./sf.py -l 127.0.0.1:5001

开发版安装（包含最新但未充分测试的特性）：

git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
pip3 install -r requirements.txt
python3 ./sf.py -l 127.0.0.1:5001

启动成功后，浏览器访问 http://127.0.0.1:5001 即可使用可视化界面。

编写相关性规则

SpiderFoot 4.0 引入了基于 YAML 的相关性规则机制，用于将不同模块产生的数据关联分析。可参考以下资源：

• 官方文档（correlations/README.md）：详细解释了规则结构
• correlations/template.yaml：作为自定义规则的起点模板
• correlations/ 目录下的 37 条预定义规则：可作为示例学习

模块与集成概览

威胁情报与黑名单类

包括 abuse.ch、AbuseIPDB、Abusix、AlienVault IP Reputation、AlienVault OTX、blocklist.de、BotScout、botvrij.eu、CINS Army List、CIRCL.LU、CleanBrowsing、CleanTalk、CloudFlare DNS、CoinBlocker Lists、Comodo Secure DNS、CyberCrime-Tracker、DroneBL、Emerging Threats、FortiGuard Antispam、Fraudguard、GreyNoise、GreyNoise Community、HackerTarget、Internet Storm Center、Maltiverse、MalwarePatrol、MetaDefender、multiproxy.org、Onyphe、OpenDNS、OpenPhish、PhishStats、PhishTank、Project Honey Pot、Quad9、SORBS、SpamCop、Spamhaus Zen、spur.us、Steven Black Hosts、SURBL、Talos Intelligence、ThreatCrowd、ThreatFox、ThreatMiner。

域名与 DNS 情报类

包括 BGPView、Bing、Crobat API、DNSDB、DNSDumpster、DNSGrep、Certificate Transparency、CertSpotter、DuckDuckGo、HackerTarget、Host.io、JsonWHOIS、NetworksDB、RIPE、ReverseWhois、RiskIQ、Robtex、SecurityTrails、spyonweb、Sublist3r PassiveDNS。

网络与主机侦察类

包括 BinaryEdge、Censys、FullHunt、LeakIX、Mnemonic PassiveDNS、Searchcode、SHODAN。

邮箱与账号关联类

包括 Account Finder、Clearbit、Dehashed、EmailCrawlr、EmailFormat、EmailRep、Github、Gravatar、HaveIBeenPwned、Keybase、Leak-Lookup、Psbdmp、Skymem、SlideShare、Snov、Social Links、Social Media Profile Finder、Social Network Identifier、StackOverflow。

地理与电信查询类

包括 AbstractAPI、CallerName、Focsec、Google Maps、ipapi.co、ipapi.com、IPInfo.io、IPQualityScore、ipregistry、ipstack、NeutrinoAPI、numverify、OpenStreetMap、TextMagic。

云存储与资产发现类

包括 Amazon S3 Bucket Finder、Azure Blob Finder、Digital Ocean Space Finder、Google Object Storage Finder、Grayhat Warfare、BuiltWith、Google SafeBrowsing、Page Information、SSLCertificate Analyzer。

内部工具模块

包括 Base64 解码、二进制串提取、比特币查找、公司名提取、Cookie 提取、国家名提取、信用卡号提取、跨域引用、DNS 暴力破解、DNS SRV 扫描、DNS 旁路查询、原始 DNS 记录、DNS 解析、DNS 区域传送、邮箱提取、错误串提取、以太坊地址提取、文件元数据提取、Hash 提取、托管商识别、人名提取、IBAN 提取、Interesting File Finder、Junk File Finder、PGP Key Servers、电话号码提取、TCP 端口扫描、相似域名查找、社交网络识别、Strange Header 识别、子域接管检查、TLD 搜索。

外部联动工具

可调用 CMSeeK、DNSTwist、nbtscan、Nmap、Nuclei、onesixtyone、Retire.js、snallygaster、testssl.sh、TruffleHog、WAFW00F 等扩展。