Awesome Crawler
A collection of awesome web crawler,spider in different languages
Profil aset
Agent pemrograman dan pengembangan
Code review, repo analysis, testing, CI, GitHub, DevOps, and developer workflow skills.
Skenario
Agent pemrograman
I need a coding agent that can understand a repository, edit code, and review pull requests.
Kecocokan Agent
Claude Code + CLI + Codex
Cocok untuk Codex, Claude Code, Cursor, CLI, atau Agent khusus.
Pasang
Siap
npx skills add BruceDone/awesome-crawler
Pemeliharaan
Usang
2 tahun sejak push
Risiko
Perlu ditinjau
Repository appears stale
Kualitas GitHub
7.2K
79/100 Kualitas · 82/100 Kepercayaan
Tag cakupan
Catatan ulasan
Repository appears stale · Repository looks stale
Kartu adopsi Agent
Kepercayaan, audit, dan kesiapan pemasangan dalam sekali lihat
Skor ini menggabungkan metadata repositori publik, sinyal ulasan OpenAgentSkill, kebaruan pemeliharaan, dan kesiapan pemasangan. Ini adalah sinyal shortlist, bukan pengganti peninjauan manusia.
Kualitas
KuatSolid option that is likely worth shortlisting for production workflows.
Kepercayaan
Hanya sandboxKandidat berguna dengan sinyal kepercayaan yang kurang atau bercampur. Gunakan di ruang kerja terisolasi hingga loop hasil membuktikan kecocokan tugas.
Audit
Perlu ditinjauTinjauan yang dapat dibaca mesin tentang kesiapan pemasangan, metadata keamanan, pemeliharaan, dan risiko adopsi.
Trust Score OpenAgentSkill v5
Tinjauan manusia sebelum pemasangan
Jalankan hanya dalam sandbox dan bandingkan alternatif terdekat sebelum digunakan untuk kerja nyata.
Star
7.2K star GitHub
Aktivitas repositori
7.2K star dan 754 fork
Pemeliharaan
2 tahun sejak push
Lisensi
MIT
Pasang
npx skills add BruceDone/awesome-crawler
Keamanan pemasangan
Jalur pemasangan paket atau runtime standar
Cakupan izin
Tidak ada cakupan izin berisiko tinggi dalam metadata publik
Hasil Agent
Belum ada data hasil Agent
Dokumentasi
Usable metadata, review docs
Ringkasan risiko
Tinjau sebelum produksi
- Repository looks stale
- Quality score needs review
- Recent maintenance: 2y since push
Kesiapan pemasangan
Jalur pemasangan tersedia
- Jalur pemasangan tersedia
- Bukti repositori tersedia
- Lisensi dinyatakan
- Belum ada bukti hasil Agent-Proven
Metadata yang dapat dibaca Agent
Data keputusan yang dapat dibaca mesin untuk skill ini.
Gunakan blok ini atau JSON tersemat untuk memutuskan apakah Agent perlu memasang skill ini, memilih alternatif, atau meminta tinjauan manusia terlebih dahulu.
Tugas yang sesuai
- alur kerja Web scraping
- Tim Claude Code
- Tim yang menghargai sinyal adopsi GitHub
- Crawl target URLs
Agent yang sesuai
Keputusan pemasangan
- Perintah
- npx skills add BruceDone/awesome-crawler
- Kebijakan
- Tinjau
- Tinjauan manusia
- Ya
Kepercayaan dan risiko
- Kepercayaan
- 74/100
- Audit
- 75/100
- Tingkat risiko
- Perlu ditinjau
Lingkar hasil
- Endpoint
- /api/agent/outcome
- ID event
- resolve
- Hasil
- 5
Perintah pemasangan
npx skills add BruceDone/awesome-crawlerJangan gunakan ketika
- teams that require actively maintained dependencies
- production agents without a repository review
- Repository looks stale
- Repository appears stale
- Quality score needs review
Keamanan Agent v2
63/100 · Tinjau sebelum memasang
Kandidat yang dapat digunakan, tetapi Agent harus menampilkan catatan izin dan audit sebelum memasang.
Memerlukan persetujuan manusia sebelum memasang ke workspace nyata.
Sedang
Akses jaringan
Skill kemungkinan mengambil halaman jarak jauh, API, repositori, atau layanan eksternal.
- Repository appears stale
Target pemasangan
Pasang skill ini di alur Agent Anda
Gunakan endpoint publik untuk mengambil perintah, checklist keamanan, prompt target, dan tautan kanonis.
OpenAgentSkill CLI
Resolve policy, run the source installer safely, and report a verified install receipt.
$ npx --yes https://github.com/Leon-Drq/openagentskill/releases/download/cli-v0.2.1/openagentskill-0.2.1.tgz install brucedone-awesome-crawlerRencana resolusi Agent
Biarkan Agent memverifikasi kecocokan sebelum memasang.
API Resolve mengembalikan skill utama, alternatif, kebijakan keamanan, catatan audit, target pemasangan, dan prompt siap pakai.
Buka JSON
/api/agent/resolve?task=Use%20Awesome%20Crawler%20for%20an%20agent%20workflow&agent=codex&max_risk=medium
Teks Resolve
/api/agent/resolve?task=Use%20Awesome%20Crawler%20for%20an%20agent%20workflow&agent=codex&max_risk=medium&format=text
Serah-terima pemasangan
/api/skills/brucedone-awesome-crawler/install
Agent harus memeriksa
- Task fit and alternatives from Resolve API.
- Audit score, trust score, and safety policy warnings.
- Install target compatibility for Codex, Claude Code, Cursor, or CLI.
Salin prompt
Task: Use Awesome Crawler in this workspace.
Resolve first: https://www.openagentskill.com/api/agent/resolve?task=Use%20Awesome%20Crawler%20for%20an%20agent%20workflow&agent=codex&max_risk=medium
Review install handoff: https://www.openagentskill.com/api/skills/brucedone-awesome-crawler/install
Install command: npx skills add BruceDone/awesome-crawler
Before running it, summarize audit warnings, required permissions, and the fallback skill if install is risky.Serah-terima Agent
Berikan jalur pemasangan kepada Agent, bukan direktori lain.
Gunakan endpoint publik untuk mengambil perintah, checklist keamanan, prompt target, dan tautan kanonis.
Serah-terima pemasangan
/api/skills/brucedone-awesome-crawler/install
Format teks LLM
/api/skills/brucedone-awesome-crawler/install?format=text
Cari alternatif
/api/skills/search?q=Awesome%20Crawler&limit=3
Prompt Agent
Use Awesome Crawler for this task. Review https://www.openagentskill.com/api/skills/brucedone-awesome-crawler/install, then install with: npx skills add BruceDone/awesome-crawlerMetadata Registry
Profil yang dapat dibaca Agent untuk pemilihan skill otomatis.
API Registry menyediakan sinyal keputusan, kepercayaan, audit, use case, dan pemasangan tanpa mengikis UI.
Manifest
/api/registry/manifest/brucedone-awesome-crawler
Teks LLM
/api/registry/manifest/brucedone-awesome-crawler?format=text
Alias pemasangan
/api/registry/install/brucedone-awesome-crawler
Rekomendasikan
/api/registry/recommend?task=Use%20Awesome%20Crawler%20in%20an%20agent%20workflow&limit=3
Kecocokan Agent
Web scraping
Tag use case
Platform
Crawler, Claude Code
Laporan audit
Perlu ditinjau · 75/100
Tinjauan yang dapat dibaca mesin tentang kesiapan pemasangan, metadata keamanan, pemeliharaan, dan risiko adopsi.
Panel keputusan Agent
Pilihan utama untuk Web scraping
Use this as a leading candidate, then validate the README and install path in your own agent stack.
Peran di stack
Pilihan utama
Kecocokan utama
Web scraping
Label kepercayaan
Siap produksi
Jalur pemasangan
Perintah siap
Gunakan saat
- alur kerja Web scraping
- Tim Claude Code
- Tim yang menghargai sinyal adopsi GitHub
Bukti
- 7,230 star GitHub
- install command or GitHub repo available
- profil kualitas 79/100
- 24 event interaksi OpenAgentSkill
tinjau dulu
- Repository looks stale
Jalur implementasi
- 1Pasang di Agent sandbox dan jalankan satu tugas Web scraping dari awal hingga akhir.
- 2Compare output quality, latency, and failure behavior against at least one alternative.
- 3Promote it into production only after reviewing repository permissions, license, and maintenance signals.
Profil kepercayaan
Hanya sandbox
Kandidat berguna dengan sinyal kepercayaan yang kurang atau bercampur. Gunakan di ruang kerja terisolasi hingga loop hasil membuktikan kecocokan tugas.
Adopsi GitHub
Lulus7.2K star GitHub
Aktivitas star/fork
Lulus7.2K star dan 754 fork; aktivitas issue tidak tersedia dalam metadata saat ini
Pemeliharaan terbaru
Perbaiki2 tahun sejak push
Kejelasan lisensi
LulusMIT
Sinyal positif
- Listing yang diverifikasi manual
- Tinjauan AI disetujui
- Jalur pemasangan tersedia
- Bukti repositori tersedia
- Large GitHub adoption signal
- Perintah pemasangan tidak memiliki pola berisiko tinggi yang jelas
- Loop hasil siap tetapi membutuhkan eksekusi Agent nyata pertama
Tinjau sebelum memasang
- Repository looks stale
- Quality score needs review
- Recent maintenance: 2y since push
- Belum ada laporan hasil Agent nyata
- Tinjauan manusia diperlukan sebelum pemasangan tanpa pengawasan
Tindakan yang disarankan
Jalankan hanya dalam sandbox dan bandingkan alternatif terdekat sebelum digunakan untuk kerja nyata.
Profil kualitas
Kuat kandidat untuk alur kerja Agent
Solid option that is likely worth shortlisting for production workflows.
Kecocokan alur kerja
Gunakan skill ini pada skenario berikut
Collect structured data
Web scraping
I need my agent to scrape websites and extract structured data from pages.
Build and ship code
Coding agents
I need a coding agent that can understand a repository, edit code, and review pull requests.
Analyze matches
Sports analytics
I need my agent to analyze football matches, World Cup data, xG, players, teams, and predictions.
Kecocokan alur kerja
Tambahkan ke alur kerja lengkap
Scrape, clean, and reuse web data
Web data pipeline
A practical workflow for agents that crawl public pages, extract clean content, normalize data, and hand it to downstream research or RAG workflows.
Inspect, patch, and verify code
Coding review agent
A workflow for software agents that inspect repositories, review pull requests, generate tests, and turn findings into shippable patches.
Turn skills into distribution
Content growth agent
A workflow for turning newly indexed skills into SEO briefs, social drafts, comparison pages, and reusable publishing workflows.
Daftar alternatif
Bandingkan sebelum memasang
Similar skills that may fit this task.
Crawl4AI
Open-source LLM-friendly web crawler and scraper
Scrapegraph AI
Python scraper based on AI
Page Agent
Control web interfaces with natural language agents
Scrapling
Adaptive web scraping for agent data collection
Ringkasan
A collection of awesome web crawler,spider in different languages
Imported by the skill-only GitHub discovery pipeline because it matches agent skill, automation, RAG, or developer-tool signals. Protocol-server projects are excluded from automated imports.
Kompatibilitas platform
Detail teknis
- Versi
- 1.0.0
- Lisensi
- MIT
- Pembaruan terakhir
- 18 Agu 2026
- Diterbitkan
- 23 Mei 2026
Framework dan alat
Ringkasan keputusan
Pilihan utama
7,230 star GitHub
Audit
Tinjauan pemasangan
Tinjauan pemasangan dan adopsi
- Keamanan
- 89/100
- Pemeliharaan
- 20/100
- Pasang
- 92/100
Bukti tervalidasi Agent
Bukti tervalidasi Agent
Laporan hasil setelah resolve, tinjau, pasang, dan satu eksekusi terbatas.
- Tingkat sukses
- —
- Kegagalan terbaru
- —
- Hasil
- 0
- Kualitas output
- —
- Gagal
- 0
- Tidak relevan
- 0
- Pemasangan
- 0
- Diblokir risiko
- 0
- Perlu penyiapan
- 0
- Produksi
- 0
Belum ada data hasil Agent. Eksekusi pertama dapat melaporkan keberhasilan, kebutuhan setup, blok risiko, kegagalan, atau tidak relevan melalui /api/agent/outcome.
Pasang
Tambahkan ke alur Agent
Gratis dan sumber terbuka. Tinjau laporan sebelum memasang pada Agent produksi.
Siklus pertumbuhan
Kit berbagi
Draf berbasis skenario untuk Awesome Crawler, siap untuk posting manual di X.
A practical pick for a web workflow: Awesome Crawler: A collection of awesome web crawler,spider in different languages 7.2K stars https://www.openagentskill.com/skills/brucedone-awesome-crawler?ref=x
Balasan opsional dengan perintah pemasangan
Listing + install path for Awesome Crawler: https://www.openagentskill.com/skills/brucedone-awesome-crawler?ref=x Install: npx skills add BruceDone/awesome-crawler
Sumber listing
Diindeks komunitas
Listing ini diindeks dari sumber publik dan belum ditandai resmi hingga klaim pemelihara disetujui.
- Kreator
- BruceDone
- Diindeks oleh
- Indeks komunitas OpenAgentSkill
Atribusi menautkan ke repositori publik atau profil kreator. Kreator dapat mengklaim listing untuk memperbarui sinyal kepemilikan.
Klaim skill iniKlaim pemilik
Klaim listing skill ini
Listing Diindeks komunitas ini dikaitkan dengan BruceDone, tetapi belum ditandai resmi. Klaim untuk menambahkan sinyal pemilik terverifikasi dan membuat pembaruan peluncuran, pemasangan, serta audit berikutnya lebih tepercaya.
Kit backlink kreator
Tambahkan badge bukti ke README Anda
Tampilkan listing kanonis, sinyal kepercayaan dan audit saat ini, serta bukti Agent-Proven nyata di tempat pengembang mengevaluasi repositori.
[](https://www.openagentskill.com/skills/brucedone-awesome-crawler)
[](https://www.openagentskill.com/skills/brucedone-awesome-crawler)
[](https://www.openagentskill.com/skills/brucedone-awesome-crawler/audit)
[](https://www.openagentskill.com/skills/brucedone-awesome-crawler)Penulis
BruceDone✓
@brucedone
Kecocokan platform
Sinyal kesehatan
- Star GitHub
- 7.2K
- Skor kualitas
- 54/100
- Push GitHub terakhir
- 16 Jun 2024
- Petunjuk framework
- 1
- Tampilan OpenAgentSkill
- 19
- Salinan pemasangan
- 0
- Klik keluar
- 0
Sinyal komunitas
Bagikan apakah skill ini bermanfaat untuk alur kerja Agent Anda. Masukan gabungan meningkatkan peringkat dari waktu ke waktu.
Kepercayaan & keamanan
Hanya sandbox
- Adopsi GitHub7.2K star GitHubLulus
- Aktivitas star/fork7.2K star dan 754 fork; aktivitas issue tidak tersedia dalam metadata saat iniLulus
- Pemeliharaan terbaru2 tahun sejak pushPerbaiki
- Kejelasan lisensiMITLulus
- Kelengkapan README/SKILL.mdMetadata publik memerlukan konteks README/SKILL.md yang lebih kuatInfo
- Risiko dependensi/runtimeTidak ada petunjuk risiko dependensi besar dalam metadata publikLulus