Fine-Tuning Pre-Trained language models for Vietnamese: A comparative study of full fine-tuning and Lora

Tóm tắt

Các mô hình ngôn ngữ tiền huấn luyện đã mang lại những cải tiến đáng kể cho các bài toán xử lý ngôn ngữ tự nhiên tiếng Việt. Tuy nhiên, việc tinh chỉnh toàn phần (Full Fine-tuning – FFT) các mô hình lớn này đòi hỏi nhiều tài nguyên và gây khó khăn trong các môi trường có hạn chế về tính toán. Bài báo này trình bày một nghiên cứu so sánh giữa FFT và LoRA – một phương pháp tinh chỉnh hiệu quả về tham số – với trọng tâm là sự đánh đổi giữa hiệu năng mô hình và mức tiêu thụ tài nguyên. Thực nghiệm được tiến hành trên hai nhiệm vụ NLP cốt lõi là phân tích cảm xúc và nhận dạng thực thể có tên, sử dụng các bộ dữ liệu chuẩn cùng các mô hình tiền huấn luyện phổ biến như PhoBERT, BARTpho và ViT5. Kết quả cho thấy LoRA đạt độ chính xác tương đương với FFT trong khi giảm đáng kể chi phí huấn luyện, đặc biệt trên các kiến trúc Transformer. Những phát hiện này cho thấy LoRA là một lựa chọn khả thi và hiệu quả cho việc tinh chỉnh PLM tiếng Việt trong bối cảnh hạn chế tài nguyên. Công trình cung cấp những hiểu biết thực nghiệm và bộ kết quả tham chiếu hữu ích nhằm hỗ trợ việc lựa chọn chiến lược tinh chỉnh trong các ứng dụng NLP tiếng Việt.