cập nhật 30 phút trước

Tin đã lưu được AI đọc toàn bài và tóm tắt sâu (cần ANTHROPIC_API_KEY).

⏱ Độ trễ thật của tab này: trung bình 7.1 giờ sau khi CVE được công bố (n = 5368, sớm nhất 0.1 giờ). Số âm nghĩa là ta thấy trước ngày công bố.

27
unclecode/crawl4ai
⭐ Repo trending Top sao · LLM 27 ngày trước ⭐ 87,431 +53 Python 📄 Apache-2.0

🧩 Chức năng: Khung/chương trình AI agent tự làm việc nhiều bước

Công cụ mã nguồn mở giúp crawl và scrape dữ liệu website thành định dạng Markdown sạch, tối ưu hóa sẵn cho LLM và AI agent. Rất hữu ích cho việc xây dựng các pipeline tự động lấy dữ liệu web.

🅲 hạng C
🧠 Tóm tắt sâu

TL;DR

Crawl4AI là công cụ web crawler và scraper mã nguồn mở hàng đầu tối ưu cho LLM và AI agent, giúp biến mọi website thành định dạng Markdown sạch hoặc JSON có cấu trúc. Công cụ này hỗ trợ đa dạng hình thức triển khai từ thư viện Python, Docker self-hosting cho đến dịch vụ Cloud tích hợp MCP cho AI agent.

Ý chính

  • Crawl4AI là mã nguồn mở web crawler và scraper thiết kế chuyên biệt cho LLM và AI agent, tối ưu hóa đầu ra thành Markdown sạch.
  • Cung cấp 3 cách sử dụng chính: Thư viện Python (`pip install crawl4ai`), Tự host qua Docker container, và sử dụng dịch vụ đám mây (Crawl4AI Cloud) với API key.
  • Hỗ trợ xử lý trang web nặng JavaScript, trang web chống bot (stealth mode, proxy, trình duyệt điều khiển qua CDP), và các kỹ thuật lọc nội dung (PruningContentFilterLXML, BM25).
  • Hỗ trợ trích xuất dữ liệu có cấu trúc bằng CSS/XPath schemas hoặc thông qua LLM (hỗ trợ bất kỳ provider nào qua LiteLLM).
  • Tích hợp Model Context Protocol (MCP) giúp tích hợp trực tiếp vào các AI assistant/agent như Claude Code, Cursor, Codex.
  • Hỗ trợ dòng lệnh CLI (`crwl`) để thực hiện nhanh các tác vụ crawl, deep crawl (BFS/DFS), và trích xuất dữ liệu.

Áp dụng

  • Cài đặt thư viện Python (`pip install -U crawl4ai; crawl4ai-setup`) để trích xuất nội dung website thành Markdown sạch phục vụ cho RAG hoặc fine-tuning LLM.
  • Sử dụng Docker để tự host Crawl4AI Server (port 11235) kèm API token, tích hợp REST API (`/md`, `/html`, `/crawl`) vào hệ thống tự động hoá.
  • Kết nối Crawl4AI với các AI Agent (như Claude Code qua MCP protocol) để Agent có khả năng chủ động tìm kiếm và đọc tài liệu web trực tiếp.
  • Dùng cấu hình trích xuất dữ liệu cấu trúc bằng CSS Schema (`JsonCssExtractionStrategy`) hoặc LLM Schema (`LLMExtractionStrategy`) để thu thập dữ liệu tự động từ các trang web động (JavaScript-heavy).

Đánh giá

Rất đáng đầu tư thời gian cho các lập trình viên đang xây dựng RAG, AI Agent, hoặc hệ thống tự động hóa cần thu thập dữ liệu web chất lượng cao và nhanh chóng.
28
Armur-Ai/Pentest-Swarm-AI
🐞 Bug Bounty GitHub Trending (daily/go) 33 ngày trước ⭐ 2,971 +20 Go 📄 không có license

🧩 Chức năng: Khung/chương trình AI agent tự làm việc nhiều bước

Autonomous penetration testing using a swarm of AI agents. Orchestrates recon, classification, exploitation, and reporting specialists with ReAct reasoning — supports bug bounty, continuous monitoring, and CTF modes. Built with Go and 7+ native security tools.

🅲 hạng C
🧠 Tóm tắt sâu

TL;DR

Pentest Swarm AI là công cụ pentesting open-source thực sự với kiến trúc swarm (hàng chục agent AI) thay vì pipeline đơn thuần, cho phép tấn công ở tốc độ máy. Dễ dàng tự host tại chỗ, hỗ trợ nhiều nhà cung cấp LLM và phù hợp cho pentester, bug bounty hunter, red teamer và nghiên cứu an ninh.

Ý chính

  • Kiến trúc swarm thật sự: hàng chục agent AI hoạt động đồng thời thông qua một blackboard chung có cơ chế pheromone để ưu tiên đường tấn công theo thời gian thực
  • Hỗ trợ đa nhà cung cấp LLM: Claude (mặc định), Together AI, OpenAI-compatible, Ollama, LM Studio, OrcaRouter – tất cả đều được kết nối bởi swarm
  • Cài đặt đơn giản: `npm install -g @armurai/pentestswarm` hoặc `curl` script, chạy với `pentestswarm run` (TUI tương tác) hoặc `pentestswarm scan` (scriptable)
  • So sánh với XBOW: Pentest Swarm AI là open-source, self-hosted, trong khi XBOW là closed SaaS
  • Công cụ hỗ trợ: PostgreSQL + pgvector (blackboard), Redis 7 (rate limiting), Next.js 15 + shadcn/ui + tremor (dashboard)

Áp dụng

  • Cài đặt và thử nghiệm nhanh với `pentestswarm run` để trải nghiệm swarm hoạt động từ giao diện TUI
  • Tùy chỉnh provider LLM trong cấu hình dự án (claude, together, ollama, lmstudio, orcarouter) để chọn mô hình phù hợp
  • Sử dụng flags scripting như `--provider together`, `--tui`, `--lab` để tự động hóa quy trình scan trên target đã được ủy quyền
  • Kết nối các công cụ security (subfinder, httpx, nuclei, nmap, nmap) thông qua giao diện TUI hoặc API để tích hợp quy trình
  • Tham gia cộng đồng trên Discord (discord.gg/6qtkhpW8tk) để nhận hỗ trợ, đóng góp tính năng và chia sẻ kinh nghiệm

Lưu ý

  • Cần có quyền truy cập hợp pháp và rõ ràng vào hệ thống mục tiêu trước khi thực hiện scan – sử dụng trái phép là vi phạm luật pháp (CFAA, Computer Misuse Act)
  • Một số tính năng cao cấp (Jev adaptive attack-path scoring, exploit chains, chain forge) vẫn ở trạng thái beta và chưa hoàn thiện
  • Yêu cầu tài nguyên phần cứng đáng kể: Go binary, PostgreSQL + pgvector, Redis 7 – không phù hợp cho môi trường nhỏ hoặc không khí air-gapped nếu không có GPU
  • Phải tuân thủ điều khoản AGPL-3.0: không được bán thành phần mềm SaaS thương mại mà không chia sẻ mọi sửa đổi và cải tiến
  • Tính năng mới trên roadmap (Wave 2-3) như fine-tuned model, benchmark, và MCP server chưa sẵn sàng

Đánh giá

Có đáng đầu tư thời gian – đây là một công cụ pentesting open-source tiên tiến với kiến trúc swarm thực sự, giúp tăng hiệu suất tấn công đáng kể so với các giải pháp pipeline truyền thống. Nếu bạn làm nghề pentest, bug bounty hay nghiên cứu an ninh, đây là công cụ đáng cân nhắc mạnh mẽ.