Star200+

Examples Of Web Crawlers

Kuat · 78
Diindeks komunitas

一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )

Verified installs0
Star14.7K
Versi1.0.0
Kualitas84/100 · Kuat
Kepercayaan78/100 · Tinjau sebelum memasang
Audit80/100 · Perlu ditinjau

Profil aset

Agent pemrograman dan pengembangan

Code review, repo analysis, testing, CI, GitHub, DevOps, and developer workflow skills.

Lihat kategori

Skenario

Agent pemrograman

I need a coding agent that can understand a repository, edit code, and review pull requests.

Kecocokan Agent

Claude Code + Browser agents + CLI

Cocok untuk Codex, Claude Code, Cursor, CLI, atau Agent khusus.

Pasang

Siap

npx skills add shengqiangzhang/examples-of-web-crawlers

Pemeliharaan

Usang

1 tahun sejak push

Risiko

Perlu ditinjau

Repository appears stale

Kualitas GitHub

15K

84/100 Kualitas · 86/100 Kepercayaan

Tag cakupan

CodingAgent pemrogramanweb-automationcrawlerdata-extraction

Catatan ulasan

Repository appears stale · Financial research output is not financial advice; require human review before any live investment decision

Kartu adopsi Agent

Kepercayaan, audit, dan kesiapan pemasangan dalam sekali lihat

Skor ini menggabungkan metadata repositori publik, sinyal ulasan OpenAgentSkill, kebaruan pemeliharaan, dan kesiapan pemasangan. Ini adalah sinyal shortlist, bukan pengganti peninjauan manusia.

Kualitas

Kuat
84

Solid option that is likely worth shortlisting for production workflows.

Kepercayaan

Tinjau sebelum memasang
78

Sinyal shortlist yang baik, tetapi Agent harus meninjau catatan audit, kebijakan pemasangan, dan bukti hasil sebelum menjalankannya.

Audit

Perlu ditinjau
80

Tinjauan yang dapat dibaca mesin tentang kesiapan pemasangan, metadata keamanan, pemeliharaan, dan risiko adopsi.

Trust Score OpenAgentSkill v5

Tinjauan manusia sebelum pemasangan

Gunakan sebagai kandidat utama setelah tinjauan manusia atau sandbox.

HTMLCrawlerCodexClaude CodeCursor

Star

15K star GitHub

Aktivitas repositori

15K star dan 3.8K fork

Pemeliharaan

1 tahun sejak push

Lisensi

MIT

Pasang

npx skills add shengqiangzhang/examples-of-web-crawlers

Keamanan pemasangan

Jalur pemasangan paket atau runtime standar

Cakupan izin

network or browser access

Hasil Agent

Belum ada data hasil Agent

Dokumentasi

Konteks README/SKILL.md kuat

Ringkasan risiko

Tinjau sebelum produksi

  • Financial research output is not financial advice; require human review before any live investment decision.
  • Repository looks stale
  • Recent maintenance: 1y since push

Kesiapan pemasangan

Jalur pemasangan tersedia

  • Jalur pemasangan tersedia
  • Bukti repositori tersedia
  • Lisensi dinyatakan
  • Belum ada bukti hasil Agent-Proven

Metadata yang dapat dibaca Agent

Data keputusan yang dapat dibaca mesin untuk skill ini.

Gunakan blok ini atau JSON tersemat untuk memutuskan apakah Agent perlu memasang skill ini, memilih alternatif, atau meminta tinjauan manusia terlebih dahulu.

Buka JSON

Tugas yang sesuai

  • alur kerja Web scraping
  • Tim Claude Code
  • Tim yang menghargai sinyal adopsi GitHub
  • Crawl target URLs

Agent yang sesuai

HTMLCrawlerCodexClaude CodeCursorOpenAgentSkill CLIBrowser agentsCLI

Keputusan pemasangan

Perintah
npx skills add shengqiangzhang/examples-of-web-crawlers
Kebijakan
Tinjau
Tinjauan manusia
Ya

Kepercayaan dan risiko

Kepercayaan
78/100
Audit
80/100
Tingkat risiko
Perlu ditinjau

Lingkar hasil

Endpoint
/api/agent/outcome
ID event
resolve
Hasil
5

Perintah pemasangan

npx skills add shengqiangzhang/examples-of-web-crawlers
Audit publikLaporan evaluasiAPI ResolveSerah-terima pemasangan

Jangan gunakan ketika

  • teams that require actively maintained dependencies
  • production agents without a repository review
  • Repository looks stale
  • Repository appears stale
  • Financial research output is not financial advice; require human review before any live investment decision

Skill alternatif

Crawl4AI

73.1K Star

npx skills add unclecode/crawl4ai

Skill alternatif

Scrapegraph AI

27.2K Star

npx skills add ScrapeGraphAI/Scrapegraph-ai

Skill alternatif

Page Agent

28.6K Star

npx skills add alibaba/page-agent

Skill alternatif

Scrapling

70.0K Star

npx skills add D4Vinci/Scrapling

Keamanan Agent v2

64/100 · Tinjau sebelum memasang

Ditinjau dengan catatan izinTinjau

Kandidat yang dapat digunakan, tetapi Agent harus menampilkan catatan izin dan audit sebelum memasang.

Memerlukan persetujuan manusia sebelum memasang ke workspace nyata.

Selesaikan via API

Sedang

Browser automation

Skill may drive a browser or interact with web pages.

Sedang

Akses jaringan

Skill kemungkinan mengambil halaman jarak jauh, API, repositori, atau layanan eksternal.

  • Repository appears stale

Target pemasangan

Pasang skill ini di alur Agent Anda

Gunakan endpoint publik untuk mengambil perintah, checklist keamanan, prompt target, dan tautan kanonis.

skill install

OpenAgentSkill CLI

Resolve policy, run the source installer safely, and report a verified install receipt.

$ npx --yes https://github.com/Leon-Drq/openagentskill/releases/download/cli-v0.2.1/openagentskill-0.2.1.tgz install shengqiangzhang-examples-of-web-crawlers

Rencana resolusi Agent

Biarkan Agent memverifikasi kecocokan sebelum memasang.

API Resolve mengembalikan skill utama, alternatif, kebijakan keamanan, catatan audit, target pemasangan, dan prompt siap pakai.

Buka rencana teks

Buka JSON

/api/agent/resolve?task=Use%20Examples%20Of%20Web%20Crawlers%20for%20an%20agent%20workflow&agent=codex&max_risk=medium

Teks Resolve

/api/agent/resolve?task=Use%20Examples%20Of%20Web%20Crawlers%20for%20an%20agent%20workflow&agent=codex&max_risk=medium&format=text

Serah-terima pemasangan

/api/skills/shengqiangzhang-examples-of-web-crawlers/install

Agent harus memeriksa

  • Task fit and alternatives from Resolve API.
  • Audit score, trust score, and safety policy warnings.
  • Install target compatibility for Codex, Claude Code, Cursor, or CLI.

Salin prompt

Task: Use Examples Of Web Crawlers in this workspace.
Resolve first: https://www.openagentskill.com/api/agent/resolve?task=Use%20Examples%20Of%20Web%20Crawlers%20for%20an%20agent%20workflow&agent=codex&max_risk=medium
Review install handoff: https://www.openagentskill.com/api/skills/shengqiangzhang-examples-of-web-crawlers/install
Install command: npx skills add shengqiangzhang/examples-of-web-crawlers
Before running it, summarize audit warnings, required permissions, and the fallback skill if install is risky.

Serah-terima Agent

Berikan jalur pemasangan kepada Agent, bukan direktori lain.

Gunakan endpoint publik untuk mengambil perintah, checklist keamanan, prompt target, dan tautan kanonis.

Buka API pemasangan

Serah-terima pemasangan

/api/skills/shengqiangzhang-examples-of-web-crawlers/install

Format teks LLM

/api/skills/shengqiangzhang-examples-of-web-crawlers/install?format=text

Cari alternatif

/api/skills/search?q=Examples%20Of%20Web%20Crawlers&limit=3

Prompt Agent

Use Examples Of Web Crawlers for this task. Review https://www.openagentskill.com/api/skills/shengqiangzhang-examples-of-web-crawlers/install, then install with: npx skills add shengqiangzhang/examples-of-web-crawlers

Metadata Registry

Profil yang dapat dibaca Agent untuk pemilihan skill otomatis.

API Registry menyediakan sinyal keputusan, kepercayaan, audit, use case, dan pemasangan tanpa mengikis UI.

Buka Manifest

Manifest

/api/registry/manifest/shengqiangzhang-examples-of-web-crawlers

Teks LLM

/api/registry/manifest/shengqiangzhang-examples-of-web-crawlers?format=text

Alias pemasangan

/api/registry/install/shengqiangzhang-examples-of-web-crawlers

Rekomendasikan

/api/registry/recommend?task=Use%20Examples%20Of%20Web%20Crawlers%20in%20an%20agent%20workflow&limit=3

Kecocokan Agent

89/100

Web scraping

Tag use case

Web scrapingAgent pemrogramanBrowser automation

Platform

HTML, Crawler, Claude Code, Browser agents

Laporan audit

Perlu ditinjau · 80/100

Tinjauan yang dapat dibaca mesin tentang kesiapan pemasangan, metadata keamanan, pemeliharaan, dan risiko adopsi.

Lihat laporan auditLihat laporan evaluasi

Panel keputusan Agent

Pilihan utama untuk Web scraping

Use this as a leading candidate, then validate the README and install path in your own agent stack.

89
Kesiapan
Adopsi
Tahap

Peran di stack

Pilihan utama

Kecocokan utama

Web scraping

Label kepercayaan

Siap produksi

Jalur pemasangan

Perintah siap

Gunakan saat

  • alur kerja Web scraping
  • Tim Claude Code
  • Tim yang menghargai sinyal adopsi GitHub

Bukti

  • 14,655 star GitHub
  • install command or GitHub repo available
  • profil kualitas 84/100
  • 13 event interaksi OpenAgentSkill

tinjau dulu

  • Repository looks stale

Jalur implementasi

  1. 1Pasang di Agent sandbox dan jalankan satu tugas Web scraping dari awal hingga akhir.
  2. 2Compare output quality, latency, and failure behavior against at least one alternative.
  3. 3Promote it into production only after reviewing repository permissions, license, and maintenance signals.

Profil kepercayaan

Tinjau sebelum memasang

Sinyal shortlist yang baik, tetapi Agent harus meninjau catatan audit, kebijakan pemasangan, dan bukti hasil sebelum menjalankannya.

78
Trust Score OpenAgentSkill

Adopsi GitHub

Lulus

15K star GitHub

Aktivitas star/fork

Lulus

15K star dan 3.8K fork; aktivitas issue tidak tersedia dalam metadata saat ini

Pemeliharaan terbaru

Perbaiki

1 tahun sejak push

Kejelasan lisensi

Lulus

MIT

Sinyal positif

  • Listing yang diverifikasi manual
  • Tinjauan AI disetujui
  • Jalur pemasangan tersedia
  • Bukti repositori tersedia
  • Large GitHub adoption signal
  • Perintah pemasangan tidak memiliki pola berisiko tinggi yang jelas
  • Loop hasil siap tetapi membutuhkan eksekusi Agent nyata pertama

Tinjau sebelum memasang

  • Financial research output is not financial advice; require human review before any live investment decision.
  • Repository looks stale
  • Recent maintenance: 1y since push
  • Belum ada laporan hasil Agent nyata
  • Tinjauan manusia diperlukan sebelum pemasangan tanpa pengawasan

Tindakan yang disarankan

Gunakan sebagai kandidat utama setelah tinjauan manusia atau sandbox.

Profil kualitas

Kuat kandidat untuk alur kerja Agent

Solid option that is likely worth shortlisting for production workflows.

84
Star GitHub
15K
Keterkinian
1 tahun lalu
Siap dipasang
Ya
Lisensi
MIT
Tinjau sebelum memasang: Repository looks stale

Kecocokan alur kerja

Gunakan skill ini pada skenario berikut

Collect structured data

Web scraping

I need my agent to scrape websites and extract structured data from pages.

Build and ship code

Coding agents

I need a coding agent that can understand a repository, edit code, and review pull requests.

Operate web apps

Browser automation

I need my agent to control a browser, fill forms, and verify web app workflows.

Kecocokan alur kerja

Tambahkan ke alur kerja lengkap

Scrape, clean, and reuse web data

Web data pipeline

A practical workflow for agents that crawl public pages, extract clean content, normalize data, and hand it to downstream research or RAG workflows.

Inspect, patch, and verify code

Coding review agent

A workflow for software agents that inspect repositories, review pull requests, generate tests, and turn findings into shippable patches.

Operate and verify web apps

Browser QA agent

A workflow for agents that navigate products, fill forms, take screenshots, and verify real user flows across web applications.

Daftar alternatif

Bandingkan sebelum memasang

Similar skills that may fit this task.

Bandingkan semua

Crawl4AI

Open-source LLM-friendly web crawler and scraper

Adopsi
Siap100
Kualitas100
Star73.1K

Scrapegraph AI

Python scraper based on AI

Adopsi
Siap100
Kualitas100
Star27.2K

Page Agent

Control web interfaces with natural language agents

Adopsi
Siap100
Kualitas100
Star28.6K

Scrapling

Adaptive web scraping for agent data collection

Adopsi
Siap100
Kualitas100
Star70.0K

Ringkasan

一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )

Imported by the skill-only GitHub discovery pipeline because it matches agent skill, automation, RAG, or developer-tool signals. Protocol-server projects are excluded from automated imports.

Kompatibilitas platform

htmlFULL
crawlerFULL

Detail teknis

Versi
1.0.0
Lisensi
MIT
Pembaruan terakhir
18 Agu 2026
Diterbitkan
23 Mei 2026

Framework dan alat

HTMLCrawler

Ringkasan keputusan

Pilihan utama

89
Siap
Adopsi
Tahap

14,655 star GitHub

Audit

Tinjauan pemasangan

Tinjauan pemasangan dan adopsi

80
Perlu ditinjau
Keamanan
89/100
Pemeliharaan
38/100
Pasang
92/100
Buka audit lengkapLihat laporan evaluasi

Bukti tervalidasi Agent

Bukti tervalidasi Agent

Laporan hasil setelah resolve, tinjau, pasang, dan satu eksekusi terbatas.

0
Terbukti
Needs first agent runPasang otomatis: tinjau duluTerakhir: Tidak diketahui
Tingkat sukses
—
Kegagalan terbaru
—
Hasil
0
Kualitas output
—
Gagal
0
Tidak relevan
0
Pemasangan
0
Diblokir risiko
0
Perlu penyiapan
0
Produksi
0

Belum ada data hasil Agent. Eksekusi pertama dapat melaporkan keberhasilan, kebutuhan setup, blok risiko, kegagalan, atau tidak relevan melalui /api/agent/outcome.

Peringkat Agent-ProvenKontrak hasil

Pasang

Tambahkan ke alur Agent

Gratis dan sumber terbuka. Tinjau laporan sebelum memasang pada Agent produksi.

Bandingkan alternatifRencana resolusi otomatisLihat di GitHubDokumentasi

Siklus pertumbuhan

Kit berbagi

X

Draf berbasis skenario untuk Examples Of Web Crawlers, siap untuk posting manual di X.

Catatan kurator
Examples Of Web Crawlers: 一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。(Some interesting examples of python cra...

14.7K stars

https://www.openagentskill.com/skills/shengqiangzhang-examples-of-web-crawlers?ref=x
Buka draf X
Balasan opsional dengan perintah pemasangan
Listing + install path for Examples Of Web Crawlers:
https://www.openagentskill.com/skills/shengqiangzhang-examples-of-web-crawlers?ref=x

Install: npx skills add shengqiangzhang/examples-of-web-crawlers
Buka draf balasan

Sumber listing

Diindeks komunitas

Dapat diklaim

Listing ini diindeks dari sumber publik dan belum ditandai resmi hingga klaim pemelihara disetujui.

Diindeks oleh
Indeks komunitas OpenAgentSkill

Atribusi menautkan ke repositori publik atau profil kreator. Kreator dapat mengklaim listing untuk memperbarui sinyal kepemilikan.

Klaim skill ini

Klaim pemilik

Klaim listing skill ini

Listing Diindeks komunitas ini dikaitkan dengan shengqiangzhang, tetapi belum ditandai resmi. Klaim untuk menambahkan sinyal pemilik terverifikasi dan membuat pembaruan peluncuran, pemasangan, serta audit berikutnya lebih tepercaya.

Kit backlink kreator

Tambahkan badge bukti ke README Anda

Tampilkan listing kanonis, sinyal kepercayaan dan audit saat ini, serta bukti Agent-Proven nyata di tempat pengembang mengevaluasi repositori.

[![Listed on OpenAgentSkill](https://www.openagentskill.com/api/badge/shengqiangzhang-examples-of-web-crawlers?metric=listed&label=Listed)](https://www.openagentskill.com/skills/shengqiangzhang-examples-of-web-crawlers)
[![OpenAgentSkill Trust](https://www.openagentskill.com/api/badge/shengqiangzhang-examples-of-web-crawlers?metric=trust&label=Trust)](https://www.openagentskill.com/skills/shengqiangzhang-examples-of-web-crawlers)
[![OpenAgentSkill Audit](https://www.openagentskill.com/api/badge/shengqiangzhang-examples-of-web-crawlers?metric=audit&label=Audit)](https://www.openagentskill.com/skills/shengqiangzhang-examples-of-web-crawlers/audit)
[![Agent Proven](https://www.openagentskill.com/api/badge/shengqiangzhang-examples-of-web-crawlers?metric=proven&label=Agent%20Proven)](https://www.openagentskill.com/skills/shengqiangzhang-examples-of-web-crawlers)
Pratinjau badge Buka audit Kit kreator

Penulis

S

shengqiangzhang✓

@shengqiangzhang

Tag

crawlerdata-extractionagent-poolexamplefundmultithreadingpyquerypythonseleniumspider

Kecocokan platform

Claude CodeBrowser agents

Sinyal kesehatan

Star GitHub
14.7K
Skor kualitas
57/100
Push GitHub terakhir
28 Jun 2025
Petunjuk framework
2
Tampilan OpenAgentSkill
7
Salinan pemasangan
0
Klik keluar
0

Sinyal komunitas

Bagikan apakah skill ini bermanfaat untuk alur kerja Agent Anda. Masukan gabungan meningkatkan peringkat dari waktu ke waktu.

Kepercayaan & keamanan

Tinjau sebelum memasang

78
  • Adopsi GitHub15K star GitHubLulus
  • Aktivitas star/fork15K star dan 3.8K fork; aktivitas issue tidak tersedia dalam metadata saat iniLulus
  • Pemeliharaan terbaru1 tahun sejak pushPerbaiki
  • Kejelasan lisensiMITLulus
  • Kelengkapan README/SKILL.mdMetadata memuat konteks penggunaan dan alur kerja yang cukupLulus
  • Risiko dependensi/runtimenetwork or browser surfaceLulus

Skill terkait

Crawl4AI

Open-source LLM-friendly web crawler and scraper

73.1K Star

Scrapegraph AI

Python scraper based on AI

27.2K Star

Page Agent

Control web interfaces with natural language agents

28.6K Star

Scrapling

Adaptive web scraping for agent data collection

70.0K Star
PasangLihat di GitHub