Giới thiệu bộ benchmark AgentPhishing để đo độ nhạy cảm của các LLM email agent trước các cuộc tấn công phishing thích nghi. Bộ dữ liệu mở rộng các kịch bản lừa đảo, giúp đánh giá không chỉ khả năng phát hiện mà còn phản ứng của agent.
⏱ Độ trễ thật của tab này: trung bình 1.9 giờ sau khi CVE được công bố (n = 12, sớm nhất 0.3 giờ). Số âm nghĩa là ta thấy trước ngày công bố.
27
AgentPhishing: A Benchmark of LLM Email Agents Under Adaptive Attack
🅲 hạng C
26
Evaluating and improving AI agents for sequencing protocol understanding
Bài báo giới thiệu LibStructBench – một benchmark tài liệu cho phép đánh giá khả năng LLM agent tái cấu trúc cấu trúc thư viện trình tự DNA theo kịch bản mẫu. Kết quả cho thấy các agent hiện đại có thể tái tạo đúng một phần nhưng vẫn thiếu độ chính xác tuyệt đối, đặc biệt trong biểu diễn trạng thái phân tử. Đây là bước tiến quan trọng trong việc phát triển AI cho công nghệ sinh học.
🅲 hạng C