Bài báo giới thiệu Role Grounding Attack (RGA), một phương pháp tấn công khiến các LLM agent ghi nhận sai sở thích của người dùng thông qua tương tác xã hội, đồng thời đề xuất các biện pháp phòng ngừa.
⏱ Độ trễ thật của tab này: trung bình 6.8 giờ sau khi CVE được công bố (n = 5468, sớm nhất 0.1 giờ). Số âm nghĩa là ta thấy trước ngày công bố.
Nghiên cứu kiểm tra LLM agent trả lời dữ liệu trên Knowledge Graph bằng cách sử dụng ontology làm bộ kiểm tra. Phân tích hiệu quả của các ontology được curate, tự tạo bằng LLM và khai thác dữ liệu. Kết quả cho thấy bộ kiểm tra có thể sai lệch, đặt câu hỏi cho việc dùng ontology như công cụ đánh giá.
Bài báo giới thiệu LibStructBench – một benchmark tài liệu cho phép đánh giá khả năng LLM agent tái cấu trúc cấu trúc thư viện trình tự DNA theo kịch bản mẫu. Kết quả cho thấy các agent hiện đại có thể tái tạo đúng một phần nhưng vẫn thiếu độ chính xác tuyệt đối, đặc biệt trong biểu diễn trạng thái phân tử. Đây là bước tiến quan trọng trong việc phát triển AI cho công nghệ sinh học.
GARDEN đề xuất một khung học tập đa-agent tự động, trong đó LLM được sử dụng để tự động thiết kế hàm phần thưởng dựa trên dữ liệu dẫn chứng. Phương pháp giúp các nhóm robot hay xe tự hành phối hợp một cách hiệu quả hơn mà không cần thiết kế phần thưởng thủ công. Thí nghiệm cho thấy GARDEN có thể học được các chính sách hợp tác tốt hơn trong môi trường đa-agent.
FilingLoop là một benchmark tương tác để đánh giá và cải thiện agent LLM trong việc xem xét và chỉnh sửa các báo cáo công ty trên EDGAR. Hệ thống cho phép agent phát hiện thiếu sót, thu thập dữ liệu và xác nhận các sửa đổi. Nghiên cứu chứng minh tính khả thi của việc tự động hoá quá trình kiểm tra tài chính.
Giới thiệu DecompGym, một benchmark mới để đánh giá khả năng của các LLM agent trong việc thiết kế và triển khai các thuật toán phân rã phức tạp như Benders decomposition và column generation. Hữu ích cho việc phát triển AI agent tự động giải quyết các bài toán tối ưu hóa lớn.