cập nhật 14 phút trước

Tin đã lưu được AI đọc toàn bài và tóm tắt sâu (cần ANTHROPIC_API_KEY).

⏱ Độ trễ thật của tab này: trung bình 7.1 giờ sau khi CVE được công bố (n = 5332, sớm nhất 0.1 giờ). Số âm nghĩa là ta thấy trước ngày công bố.

27
unclecode/crawl4ai
⭐ Repo trending Top sao · LLM 26 ngày trước ⭐ 87,410 +37 Python 📄 Apache-2.0

🧩 Chức năng: Khung/chương trình AI agent tự làm việc nhiều bước

Công cụ mã nguồn mở giúp crawl và scrape dữ liệu website thành định dạng Markdown sạch, tối ưu hóa sẵn cho LLM và AI agent. Rất hữu ích cho việc xây dựng các pipeline tự động lấy dữ liệu web.

🅲 hạng C
🧠 Tóm tắt sâu

TL;DR

Crawl4AI là công cụ web crawler và scraper mã nguồn mở hàng đầu tối ưu cho LLM và AI agent, giúp biến mọi website thành định dạng Markdown sạch hoặc JSON có cấu trúc. Công cụ này hỗ trợ đa dạng hình thức triển khai từ thư viện Python, Docker self-hosting cho đến dịch vụ Cloud tích hợp MCP cho AI agent.

Ý chính

  • Crawl4AI là mã nguồn mở web crawler và scraper thiết kế chuyên biệt cho LLM và AI agent, tối ưu hóa đầu ra thành Markdown sạch.
  • Cung cấp 3 cách sử dụng chính: Thư viện Python (`pip install crawl4ai`), Tự host qua Docker container, và sử dụng dịch vụ đám mây (Crawl4AI Cloud) với API key.
  • Hỗ trợ xử lý trang web nặng JavaScript, trang web chống bot (stealth mode, proxy, trình duyệt điều khiển qua CDP), và các kỹ thuật lọc nội dung (PruningContentFilterLXML, BM25).
  • Hỗ trợ trích xuất dữ liệu có cấu trúc bằng CSS/XPath schemas hoặc thông qua LLM (hỗ trợ bất kỳ provider nào qua LiteLLM).
  • Tích hợp Model Context Protocol (MCP) giúp tích hợp trực tiếp vào các AI assistant/agent như Claude Code, Cursor, Codex.
  • Hỗ trợ dòng lệnh CLI (`crwl`) để thực hiện nhanh các tác vụ crawl, deep crawl (BFS/DFS), và trích xuất dữ liệu.

Áp dụng

  • Cài đặt thư viện Python (`pip install -U crawl4ai; crawl4ai-setup`) để trích xuất nội dung website thành Markdown sạch phục vụ cho RAG hoặc fine-tuning LLM.
  • Sử dụng Docker để tự host Crawl4AI Server (port 11235) kèm API token, tích hợp REST API (`/md`, `/html`, `/crawl`) vào hệ thống tự động hoá.
  • Kết nối Crawl4AI với các AI Agent (như Claude Code qua MCP protocol) để Agent có khả năng chủ động tìm kiếm và đọc tài liệu web trực tiếp.
  • Dùng cấu hình trích xuất dữ liệu cấu trúc bằng CSS Schema (`JsonCssExtractionStrategy`) hoặc LLM Schema (`LLMExtractionStrategy`) để thu thập dữ liệu tự động từ các trang web động (JavaScript-heavy).

Đánh giá

Rất đáng đầu tư thời gian cho các lập trình viên đang xây dựng RAG, AI Agent, hoặc hệ thống tự động hóa cần thu thập dữ liệu web chất lượng cao và nhanh chóng.