Star200+

Annuaire de skills

Découvrez des skills réutilisables pour les AI agents.

Recherchez de vrais skills GitHub par tâche et vérifiez Stars, confiance, audit, catégorie et chemin d’installation avant de les utiliser.
Trouver un skill

Chaque recommandation reste clairement reliée à son dépôt, son audit et son chemin d’installation.

Résultats de recherche: crawling

Annuaire en anglais
Crawl4AI82

Open-source LLM-friendly web crawler and scraper

73K
Stars
82/100
Confiance
Catégorie: web-automationAudit
Scrapy82

Scrapy, a fast high-level web crawling & scraping framework for Python.

63K
Stars
82/100
Confiance
Catégorie: web-automationAudit
Katana77

A next-generation crawling and spidering framework.

17K
Stars
77/100
Confiance
Catégorie: web-automationAudit
Maxun85

🔥 The open-source no-code platform for web scraping, crawling, search and AI data extraction • Turn websites into structured APIs in minutes 🔥

16K
Stars
85/100
Confiance
Catégorie: web-automationAudit
Trafilatura85

Python & Command-line tool to gather text and metadata on the Web: Crawling, scraping, extraction, output as CSV, JSON, HTML, MD, TXT, XML

6.4K
Stars
85/100
Confiance
Catégorie: web-automationAudit
Gain77

Web crawling framework based on asyncio.

2.0K
Stars
77/100
Confiance
Catégorie: web-automationAudit
DotnetSpider83

DotnetSpider, a .NET standard web crawling library. It is lightweight, efficient and fast high-level web crawling & scraping framework

4.1K
Stars
83/100
Confiance
Catégorie: web-automationAudit
Tushare72

TuShare is a utility for crawling historical data of China stocks

15K
Stars
72/100
Confiance
Catégorie: financeAudit
Oxylabs AI Studio Py74

Structured data gathering from any website using AI-powered scraper, crawler, and browser automation. Scraping and crawling with natural language prompts. Equip your LLM agents with fresh data. AI Studio python SDK for intelligent web data gathering.

2.9K
Stars
74/100
Confiance
Catégorie: web-automationAudit
Browsertrix70

Browsertrix is the hosted, high-fidelity, browser-based crawling service from Webrecorder designed to make web archiving easier and more accessible for all!

444
Stars
70/100
Confiance
Catégorie: devopsAudit
RED HAWK70

All in one tool for Information Gathering, Vulnerability Scanning and Crawling. A must have tool for all penetration testers

3.7K
Stars
70/100
Confiance
Catégorie: web-automationAudit
Geziyor73

Geziyor, blazing fast web crawling & scraping framework for Go. Supports JS rendering.

2.8K
Stars
73/100
Confiance
Catégorie: web-automationAudit