cập nhật 59 phút trước

⏱ Độ trễ thật của tab này: trung bình 6.8 giờ sau khi CVE được công bố (n = 5486, sớm nhất 0.1 giờ). Số âm nghĩa là ta thấy trước ngày công bố.

31
sybil-solutions/inference-optimisation-skill
🤖 AI Agent / MCP GitHub mới (#llm) 2 ngày trước ⭐ 1,059 +216 Python 📄 MIT

🧩 Chức năng: Công cụ quanh mô hình ngôn ngữ (prompt/agent)

Bộ kỹ năng cho AI agent giúp tối ưu hóa tốc độ suy luận của LLM chạy cục bộ (local LLM) bằng thuật toán leo đồi (hill-climbing) trên mọi phần cứng và kiểu lượng tử hóa. Hữu ích cho việc tăng tốc decode, prefill và giảm thời gian TTFT.

🅲 hạng C