Tinh chỉnh mô hình ViT5 trong bài toán sinh câu hỏi trắc nghiệm tiếng Việt

Tóm tắt

Bài báo này giải quyết nhu cầu sinh câu hỏi tự động trong lĩnh vực EdTech, khắc phục hạn chế của các mô hình hiện tại trong việc sinh dữ liệu có cấu trúc JSON để tích hợp hệ thống. Tác giả đề xuất phương pháp tinh chỉnh mô hình ViT5 trên bộ dữ liệu Custom MCQ gồm 13.342 mẫu, được xây dựng với chiến lược cân bằng theo thang đo Bloom và quy trình chống rò rỉ dữ liệu nghiêm ngặt. Các phát hiện chính từ thực nghiệm chỉ ra rằng cơ chế tách từ SentencePiece của ViT5 vượt trội hơn hẳn cơ chế tách từ âm tiết của BARTpho trong việc bảo toàn tính toàn vẹn cú pháp JSON. Dựa trên cơ sở này, nghiên cứu áp dụng kỹ thuật Label Smoothing để đa dạng hóa phương án nhiễu và chiến lược dừng sớm Early Stopping để xác định điểm hội tụ tối ưu tại epoch 6. Kết quả thực nghiệm cuối cùng ghi nhận mô hình đạt điểm METEOR 45.59, khẳng định tính khả thi trong ứng dụng thực tiễn.