🧩 Chức năng: Khung/chương trình AI agent tự làm việc nhiều bước
Công cụ mã nguồn mở giúp crawl và scrape dữ liệu website thành định dạng Markdown sạch, tối ưu hóa sẵn cho LLM và AI agent. Rất hữu ích cho việc xây dựng các pipeline tự động lấy dữ liệu web.
🧠 Tóm tắt sâu
TL;DR
Ý chính
- Crawl4AI là mã nguồn mở web crawler và scraper thiết kế chuyên biệt cho LLM và AI agent, tối ưu hóa đầu ra thành Markdown sạch.
- Cung cấp 3 cách sử dụng chính: Thư viện Python (`pip install crawl4ai`), Tự host qua Docker container, và sử dụng dịch vụ đám mây (Crawl4AI Cloud) với API key.
- Hỗ trợ xử lý trang web nặng JavaScript, trang web chống bot (stealth mode, proxy, trình duyệt điều khiển qua CDP), và các kỹ thuật lọc nội dung (PruningContentFilterLXML, BM25).
- Hỗ trợ trích xuất dữ liệu có cấu trúc bằng CSS/XPath schemas hoặc thông qua LLM (hỗ trợ bất kỳ provider nào qua LiteLLM).
- Tích hợp Model Context Protocol (MCP) giúp tích hợp trực tiếp vào các AI assistant/agent như Claude Code, Cursor, Codex.
- Hỗ trợ dòng lệnh CLI (`crwl`) để thực hiện nhanh các tác vụ crawl, deep crawl (BFS/DFS), và trích xuất dữ liệu.
Áp dụng
- Cài đặt thư viện Python (`pip install -U crawl4ai; crawl4ai-setup`) để trích xuất nội dung website thành Markdown sạch phục vụ cho RAG hoặc fine-tuning LLM.
- Sử dụng Docker để tự host Crawl4AI Server (port 11235) kèm API token, tích hợp REST API (`/md`, `/html`, `/crawl`) vào hệ thống tự động hoá.
- Kết nối Crawl4AI với các AI Agent (như Claude Code qua MCP protocol) để Agent có khả năng chủ động tìm kiếm và đọc tài liệu web trực tiếp.
- Dùng cấu hình trích xuất dữ liệu cấu trúc bằng CSS Schema (`JsonCssExtractionStrategy`) hoặc LLM Schema (`LLMExtractionStrategy`) để thu thập dữ liệu tự động từ các trang web động (JavaScript-heavy).