Pywebcopy alternatives for AI agents.

Every web site provides APIs.

Python ProxyPool for web spider

newspaper3k is a news, full-text, and article metadata extraction in Python 3. Advanced docs:

Python API for JMComic | 提供Python API访问禁漫天堂，同时支持网页端和移动端 | 禁漫天堂GitHub Actions下载器🚀

Redis-based components for Scrapy.

Python脚本。模拟登录知乎， 爬虫，操作excel，微信公众号，远程开机

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单，功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度

基于搜狗微信搜索的微信公众号爬虫接口

Web crawling framework based on asyncio.

A web privacy measurement framework

新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频

A Python module to scrape several search engines (like Google, Yandex, Bing, Duckduckgo, ...). Including asynchronous networking support.

Intelligent proxy pool for Humans™ to extract content from the internet and build your own Large Language Models in this new AI era

Easily download all the photos/videos from tumblr blogs. 下载指定的 Tumblr 博客中的图片，视频

爬虫逆向案例，已完成：TLS指纹｜瑞数｜震坤行 | 网易易盾 | 微信小程序反编译逆向(百达星系) | 同花顺 | rpc解密 | 加速乐 | 极验滑块验证码 | 巨量算数 | Boss直聘 | 企查查 | 中国五矿 | qq音乐 | 产业政策大数据平台 | 企知道 | 雪球网(acw_sc__v2) | 1688 | 七麦数据 | whggzy | 企名科技 | mohurd | 艺恩数据 | 欧科云链

Collection of China illegal cases about web crawler 本项目用来整理所有中国大陆爬虫开发者涉诉与违规相关的新闻、资料与法律法规。致力于帮助在中国大陆工作的爬虫行业从业者了解我国相关法律，避免触碰数据合规红线。