Theo Neowin, SuperGLUE được coi là một chuẩn mực khó vì nó kiểm tra nhiều hoạt động khác nhau của NLU như trả lời các câu hỏi khi đưa ra tiền đề, suy luận ngôn ngữ tự nhiên và giải đồng tham chiếu cùng nhiều hoạt động khác. Để giải quyết điểm chuẩn này, Microsoft đã cập nhật mô hình BERT nâng cao giải mã của mình với mô hình Disentangled Attention (DeBERTa) và tăng cường nó để có tổng cộng 48 lớp Transformer với 1,5 tỉ tham số.
Kết quả là, mô hình DeBERTa đơn hiện đạt điểm 89,9 trong SuperGLUE, trong khi mô hình tổng hợp với 3,2 tỉ thông số đạt điểm 90,3. Cả hai điểm số này đều cao hơn một chút so với mức cơ bản của con người là 89,8, có nghĩa là mô hình AI của Microsoft đã hoạt động tốt hơn con người.
Điều quan trọng cần lưu ý rằng đây không phải là mô hình đầu tiên vượt qua mức cơ sở của con người. Trước đó vào ngày 5.1, mô hình “T5 + Meena” do nhóm Google Brain phát triển đã đạt điểm 90,2, nhưng DeBERTa của Microsoft thậm chí còn vượt trội hơn so với “T5 + Meena” khi kết quả nói trên được thực hiện vào ngày 6.1.
Microsoft lưu ý họ đang tích hợp DeBERTa vào mô hình biểu diễn ngôn ngữ tự nhiên Microsoft Turing (Turing NLRv4), có nghĩa là sau đó nó sẽ được khách hàng sử dụng trên Bing, Office, Dynamics và Azure Cognitive Services. Công ty cho biết mô hình của họ sử dụng ít tham số hơn so với giải pháp của Google, có nghĩa là nó tiết kiệm năng lượng hơn và dễ bảo trì.
Bình luận (0)