cập nhật 59 phút trước

⏱ Độ trễ thật của tab này: trung bình 7.1 giờ sau khi CVE được công bố (n = 5331, sớm nhất 0.1 giờ). Số âm nghĩa là ta thấy trước ngày công bố.

27
unclecode/crawl4ai
⭐ Repo trending Top sao · LLM 26 ngày trước ⭐ 87,410 +37 Python 📄 Apache-2.0

🧩 Chức năng: Khung/chương trình AI agent tự làm việc nhiều bước

Công cụ mã nguồn mở giúp crawl và scrape dữ liệu website thành định dạng Markdown sạch, tối ưu hóa sẵn cho LLM và AI agent. Rất hữu ích cho việc xây dựng các pipeline tự động lấy dữ liệu web.

🅲 hạng C
🧠 Tóm tắt sâu

TL;DR

Crawl4AI là công cụ web crawler và scraper mã nguồn mở hàng đầu tối ưu cho LLM và AI agent, giúp biến mọi website thành định dạng Markdown sạch hoặc JSON có cấu trúc. Công cụ này hỗ trợ đa dạng hình thức triển khai từ thư viện Python, Docker self-hosting cho đến dịch vụ Cloud tích hợp MCP cho AI agent.

Ý chính

  • Crawl4AI là mã nguồn mở web crawler và scraper thiết kế chuyên biệt cho LLM và AI agent, tối ưu hóa đầu ra thành Markdown sạch.
  • Cung cấp 3 cách sử dụng chính: Thư viện Python (`pip install crawl4ai`), Tự host qua Docker container, và sử dụng dịch vụ đám mây (Crawl4AI Cloud) với API key.
  • Hỗ trợ xử lý trang web nặng JavaScript, trang web chống bot (stealth mode, proxy, trình duyệt điều khiển qua CDP), và các kỹ thuật lọc nội dung (PruningContentFilterLXML, BM25).
  • Hỗ trợ trích xuất dữ liệu có cấu trúc bằng CSS/XPath schemas hoặc thông qua LLM (hỗ trợ bất kỳ provider nào qua LiteLLM).
  • Tích hợp Model Context Protocol (MCP) giúp tích hợp trực tiếp vào các AI assistant/agent như Claude Code, Cursor, Codex.
  • Hỗ trợ dòng lệnh CLI (`crwl`) để thực hiện nhanh các tác vụ crawl, deep crawl (BFS/DFS), và trích xuất dữ liệu.

Áp dụng

  • Cài đặt thư viện Python (`pip install -U crawl4ai; crawl4ai-setup`) để trích xuất nội dung website thành Markdown sạch phục vụ cho RAG hoặc fine-tuning LLM.
  • Sử dụng Docker để tự host Crawl4AI Server (port 11235) kèm API token, tích hợp REST API (`/md`, `/html`, `/crawl`) vào hệ thống tự động hoá.
  • Kết nối Crawl4AI với các AI Agent (như Claude Code qua MCP protocol) để Agent có khả năng chủ động tìm kiếm và đọc tài liệu web trực tiếp.
  • Dùng cấu hình trích xuất dữ liệu cấu trúc bằng CSS Schema (`JsonCssExtractionStrategy`) hoặc LLM Schema (`LLMExtractionStrategy`) để thu thập dữ liệu tự động từ các trang web động (JavaScript-heavy).

Đánh giá

Rất đáng đầu tư thời gian cho các lập trình viên đang xây dựng RAG, AI Agent, hoặc hệ thống tự động hóa cần thu thập dữ liệu web chất lượng cao và nhanh chóng.
27
apify/crawlee
⭐ Repo trending Repo SEO 25 ngày trước ⭐ 26,460 +11 TypeScript 📄 Apache-2.0

🧩 Chức năng: Tự động hoá quy trình

Crawlee là thư viện web scraping và browser automation mạnh mẽ cho Node.js, hỗ trợ xoay proxy, Puppeteer, Playwright và trích xuất dữ liệu lý tưởng cho RAG, LLM.

🅲 hạng C
27
scrapy/scrapy
⚙️ Tự động hoá Repo SEO 25 ngày trước ⭐ 65,423 +18 Python 📄 BSD-3-Clause

🧩 Chức năng: Tự động hoá quy trình

Framework cào web và crawl dữ liệu tốc độ cao kinh điển bằng Python, cực kỳ mạnh mẽ để xây dựng các bot thu thập dữ liệu tự động. Công cụ không thể thiếu cho các kỹ sư làm automation và data scraping.

🅲 hạng C
26
PostHog/posthog
🤖 AI Agent / MCP Repo SEO 25 ngày trước ⭐ 40,812 +19 Python 📄 không có license

🧩 Chức năng: Phân tích truy cập website (analytics)

PostHog là nền tảng phân tích và observability tích hợp AI observability, session replay và hỗ trợ MCP, giúp các AI agent nắm đủữ liệu ngữ cảnh để tự động chẩn đoán và sửa lỗi sản phẩm.

🅲 hạng C
26
projectdiscovery/katana
🛡️ Tin bảo mật Kho công cụ bảo mật 25 ngày trước ⭐ 17,855 +8 Go 📄 MIT

🧩 Chức năng: Thu thập dữ liệu web (crawl/scrape)

Katana từ ProjectDiscovery là bộ khung crawl và spidering thế hệ mới, hỗ trợ đắc lực cho công việc thu thập endpoint, trinh sát mục tiêu trong kiểm thử bảo mật và bug bounty.

🅲 hạng C
24
firecrawl/firecrawl
⭐ Repo trending Top sao · LLM 26 ngày trước ⭐ 202,129 +264 TypeScript 📄 AGPL-3.0

🧩 Chức năng: Khung/chương trình AI agent tự làm việc nhiều bước

Firecrawl là thư viện mã nguồn mở giúp các AI agent thu thập và trích xuất dữ liệu từ web một cách nhanh chóng, nâng cao khả năng “superintelligence” cho các dự án AI.

🅲 hạng C
24
harlan-zw/unlighthouse
🔎 SEO Repo SEO 25 ngày trước ⭐ 4,950 +1 JavaScript 📄 MIT

🧩 Chức năng: Công cụ SEO — audit, thứ hạng, sitemap, meta/schema

Công cụ tự động chạy Google Lighthouse trên toàn bộ trang web của bạn giúp đánh giá hiệu suất, SEO và khả năng truy cập nhanh chóng. Thích hợp để audit và tối ưu hóa website quy mô lớn.

🅲 hạng C
24
nuxt-modules/sitemap
🔎 SEO Repo SEO 25 ngày trước ⭐ 441 +1 TypeScript 📄 MIT

🧩 Chức năng: Công cụ SEO — audit, thứ hạng, sitemap, meta/schema

Module tạo XML Sitemap linh hoạt cho framework Nuxt, hỗ trợ tối ưu SEO cho website.

🅲 hạng C
24
vercel/next.js
⭐ Repo trending Repo SEO 25 ngày trước ⭐ 143,563 +37 JavaScript 📄 MIT

🧩 Chức năng: Thành phần/giao diện web

Next.js là framework React phổ biến hàng đầu cho phép xây dựng ứng dụng web full-stack tối ưu hiệu suất và SEO.

🅲 hạng C
23
matomo-org/matomo
⭐ Repo trending Repo SEO 25 ngày trước ⭐ 22,029 +2 PHP 📄 GPL-3.0

🧩 Chức năng: Phân tích truy cập website (analytics)

Matomo là phần mềm phân tích dữ liệu web开源 thay thế Google Analytics, tập trung vào quyền riêng tư. Đang tuyển dụng, phù hợp cho ai quan tâm đến phân tích dữ liệu và SEO.

🅲 hạng C
23
nuxt/content
⭐ Repo trending Repo SEO 25 ngày trước ⭐ 3,679 +1 TypeScript 📄 MIT

🧩 Chức năng: Thành phần/giao diện web

Nuxt Content là CMS dựa trên file sử dụng Markdown và Vue components, giúp quản lý nội dung dễ dàng cho ứng dụng Nuxt.

🅲 hạng C