cập nhật 1 giờ trước

⏱ Độ trễ thật của tab này: trung bình 7.3 giờ sau khi CVE được công bố (n = 5335, sớm nhất 0.1 giờ). Số âm nghĩa là ta thấy trước ngày công bố.

27
unclecode/crawl4ai
⭐ Repo trending Top sao · LLM 27 ngày trước ⭐ 87,442 +46 Python 📄 Apache-2.0

🧩 Chức năng: Khung/chương trình AI agent tự làm việc nhiều bước

Công cụ mã nguồn mở giúp crawl và scrape dữ liệu website thành định dạng Markdown sạch, tối ưu hóa sẵn cho LLM và AI agent. Rất hữu ích cho việc xây dựng các pipeline tự động lấy dữ liệu web.

🅲 hạng C
🧠 Tóm tắt sâu

TL;DR

Crawl4AI là công cụ web crawler và scraper mã nguồn mở hàng đầu tối ưu cho LLM và AI agent, giúp biến mọi website thành định dạng Markdown sạch hoặc JSON có cấu trúc. Công cụ này hỗ trợ đa dạng hình thức triển khai từ thư viện Python, Docker self-hosting cho đến dịch vụ Cloud tích hợp MCP cho AI agent.

Ý chính

  • Crawl4AI là mã nguồn mở web crawler và scraper thiết kế chuyên biệt cho LLM và AI agent, tối ưu hóa đầu ra thành Markdown sạch.
  • Cung cấp 3 cách sử dụng chính: Thư viện Python (`pip install crawl4ai`), Tự host qua Docker container, và sử dụng dịch vụ đám mây (Crawl4AI Cloud) với API key.
  • Hỗ trợ xử lý trang web nặng JavaScript, trang web chống bot (stealth mode, proxy, trình duyệt điều khiển qua CDP), và các kỹ thuật lọc nội dung (PruningContentFilterLXML, BM25).
  • Hỗ trợ trích xuất dữ liệu có cấu trúc bằng CSS/XPath schemas hoặc thông qua LLM (hỗ trợ bất kỳ provider nào qua LiteLLM).
  • Tích hợp Model Context Protocol (MCP) giúp tích hợp trực tiếp vào các AI assistant/agent như Claude Code, Cursor, Codex.
  • Hỗ trợ dòng lệnh CLI (`crwl`) để thực hiện nhanh các tác vụ crawl, deep crawl (BFS/DFS), và trích xuất dữ liệu.

Áp dụng

  • Cài đặt thư viện Python (`pip install -U crawl4ai; crawl4ai-setup`) để trích xuất nội dung website thành Markdown sạch phục vụ cho RAG hoặc fine-tuning LLM.
  • Sử dụng Docker để tự host Crawl4AI Server (port 11235) kèm API token, tích hợp REST API (`/md`, `/html`, `/crawl`) vào hệ thống tự động hoá.
  • Kết nối Crawl4AI với các AI Agent (như Claude Code qua MCP protocol) để Agent có khả năng chủ động tìm kiếm và đọc tài liệu web trực tiếp.
  • Dùng cấu hình trích xuất dữ liệu cấu trúc bằng CSS Schema (`JsonCssExtractionStrategy`) hoặc LLM Schema (`LLMExtractionStrategy`) để thu thập dữ liệu tự động từ các trang web động (JavaScript-heavy).

Đánh giá

Rất đáng đầu tư thời gian cho các lập trình viên đang xây dựng RAG, AI Agent, hoặc hệ thống tự động hóa cần thu thập dữ liệu web chất lượng cao và nhanh chóng.
26
PostHog/posthog
🤖 AI Agent / MCP Repo SEO 25 ngày trước ⭐ 40,826 +25 Python 📄 không có license

🧩 Chức năng: Phân tích truy cập website (analytics)

PostHog là nền tảng phân tích và observability tích hợp AI observability, session replay và hỗ trợ MCP, giúp các AI agent nắm đủữ liệu ngữ cảnh để tự động chẩn đoán và sửa lỗi sản phẩm.

🅲 hạng C
24
firecrawl/firecrawl
⭐ Repo trending Top sao · LLM 26 ngày trước ⭐ 202,301 +295 TypeScript 📄 AGPL-3.0

🧩 Chức năng: Khung/chương trình AI agent tự làm việc nhiều bước

Firecrawl là thư viện mã nguồn mở giúp các AI agent thu thập và trích xuất dữ liệu từ web một cách nhanh chóng, nâng cao khả năng “superintelligence” cho các dự án AI.

🅲 hạng C