用 Python、Go、Rust、Java 四种语言写同一套爬虫框架
用 Python、Go、Rust、Java 四种语言写同一套爬虫框架,把网页抓取、视频下载、AI 提取、反反爬和分布式调度整合在一起,开发者按自己的技术栈选一个运行时直接用。
https://github.com/Lyx3314844-03/superspider
这个框架同时提供了四种语言的爬虫运行时,每种都支持网页抓取(含动态页面)、视频下载(覆盖 YouTube、B站、爱奇艺等 10 个平台)、LLM 结构化数据提取、反爬绕过(TLS 指纹轮换、验证码破解)和 JS 签名逆向

