MediaCrawler - 开源免费 - 好像国内所有的社媒都支持了
亮点 • 支持多平台内容采集,包括小红书、抖音、快手、B站、微博、贴吧、知乎等主流平台的公开信息抓取 • 基于 Playwright 浏览器自动化,无需 JS 逆向,技术门槛低 • 数据可存储为 MySQL、CSV、JSON,满足多种数据分析需求 • 支持多账号、IP代理池(Pro 版本),适合大规模采集场景 • 断点续爬、全平台评论抓取,功能完善 • 代码结构清晰,适合学习爬虫架构设计 • 开源免费,适合技术学习和研究,禁止商业及非法用途 https://github.com/NanmiCoder/MediaCrawler
via Memos
亮点 • 支持多平台内容采集,包括小红书、抖音、快手、B站、微博、贴吧、知乎等主流平台的公开信息抓取 • 基于 Playwright 浏览器自动化,无需 JS 逆向,技术门槛低 • 数据可存储为 MySQL、CSV、JSON,满足多种数据分析需求 • 支持多账号、IP代理池(Pro 版本),适合大规模采集场景 • 断点续爬、全平台评论抓取,功能完善 • 代码结构清晰,适合学习爬虫架构设计 • 开源免费,适合技术学习和研究,禁止商业及非法用途 https://github.com/NanmiCoder/MediaCrawler
via Memos