36
sybil-solutions/inference-optimisation-skill
🧩 Chức năng: Công cụ quanh mô hình ngôn ngữ (prompt/agent)
Bộ kỹ năng cho AI agent giúp tối ưu hóa tốc độ suy luận của LLM chạy cục bộ (local LLM) bằng thuật toán leo đồi (hill-climbing) trên mọi phần cứng và kiểu lượng tử hóa. Hữu ích cho việc tăng tốc decode, prefill và giảm thời gian TTFT.
🅲 hạng C