LuanVan.vnLuận Văn
Gửi thư

TÌM HIỂU MÔ HÌNH ELECTRA VÀ ỨNG DỤNG

Khoá luận tốt nghiệp · Đại học · năm 2021 · đề tài tham khảo

Loại tài liệuKhoá luận tốt nghiệp
Bậc họcĐại học
NgànhCông nghệ thông tin
Tác giảNguyễn Thị Mỹ Quyên
Người hướng dẫnTrần Công Án
Cơ sở đào tạoTrường Đại học Cần Thơ
Năm2021
NguồnThư viện số Trường Đại học Cần Thơ · trang gốc

Tóm tắt

ELECTRA là một mô hình ngôn ngữ được huấn luyện trước, nó sử dụng một phương pháp pretrain mới mang tên “replaced token detection”. Phương pháp này tận dụng được lợi thế của BERT nhưng học hiệu quả hơn. Theo như công bố trên bài báo của Google các tác giả đã cho thấy ELECTRA vượt trội hơn các kỹ thuật hiện tại với cùng nguồn lực tính toán. Ví dụ, ELECTRA đạt kết quả của RoBERTa và XLNet trên bộ dữ liệu chuẩn GLUE dù sử dụng ít hơn 25% tài nguyên tính toán và đạt kết quả state-of-the-art trên bộ dữ liệu chuẩn SQuAD. Đó là những kết quả trên xử lý ngôn ngữ tiếng Anh, chúng ta chưa có nghiên cứu chính thức nào về hiệu quả của ELECTRA đối với các bài toán xử lý tiếng Việt. Luận văn này thực hiện tìm hiểu mô hình ELECTRA và áp dụng vào 3 bài toán phân loại sắc thái bình luận, nhận dạng thực thể được đặt tên và trả lời câu hỏi. Với bài toán phân loại sắc thái bình luận mô hình sẽ học để nhận biết bình luận mang sắc thái tích cực hay tiêu cực. Với bài toán nhận dạng thực thể được đặt tên, mô hình sẽ học để nhận biết các thực thể liên quan đến bệnh nhân COVID19 xuất hiện trong văn bản. Còn với bài toán trả lời câu hỏi mô hình sẽ học để tìm ra đáp án cho câu hỏi từ một đoạn văn cho trước. Độ chính xác của mô hình được đánh giá bằng các độ đo Precision, Recall, F1-score và EM (dùng cho bài toán trả lời câu hỏi). Các kết quả về độ chính xác trung bình của mô hình được thể hiện như sau: - Bài toán phân loại cảm xúc bình luận: Mô hình được huấn luyện và đánh giá trên tập dữ liệu hơn 16000 bình luận. Các kết quả thu được lần lượt là: Precision 89.63%, Recall 90.33%, F1-score 89.89%. - Bài toán nhận dạng thực thể được đặt tên: Mô hình được huấn luyện và đánh giá trên bộ dữ liệu với gần 35000 thực thể trên 10000 câu. Các kết quả thu được lần lượt là: Precision 80.93%, Recall 82.43%, F1-score 81.63%. - Bài toán trả lời câu hỏi: Mô hình được huấn luyện và đánh giá trên bộ dữ liệu gồm gần 3000 câu hỏi đáp tiếng Việt và hơn 60000 câu được dịch sang tiếng Việt từ bộ dữ liệu chuẩn SquAD v2.0 tiếng Anh. Các kết quả thu được lần lượt là: F1-score 74.92% và EM 68.09%. Kết quả thực nghiệm cho thấy mặc dù lượng dữ liệu cho huấn luyện mô hình còn tương đối ít nhưng hiệu quả của mô hình khá tốt. Nếu được huấn luyện với nguồn dữ liệu đủ nhiều và có chất lượng tốt ELECTRA sẽ mang đến những kết quả đáng mong đợi.
Bản toàn văn lưu tại thư viện Trường Đại học Cần Thơ

Thông tin và tóm tắt ở trên lấy từ kho số mở của thư viện trường. Bản toàn văn do thư viện trường quản lý — có nơi cho đọc trực tuyến, có nơi cần tài khoản bạn đọc của trường.

Mở tại thư viện trường ↗
Dùng tài liệu tham khảo cho đúng
  • Đọc để hiểu cách người trước đặt câu hỏi, chọn phương pháp, trình bày số liệu — rồi tự làm với dữ liệu và bối cảnh của bạn.
  • Ý, số liệu, bảng biểu lấy từ tài liệu này phải trích dẫn (tác giả, năm, tên đề tài, cơ sở đào tạo).
  • Đề tài trùng tên vẫn làm được nếu khác đơn vị khảo sát, thời gian hoặc cách tiếp cận — nêu rõ điểm khác trong phần mở đầu.

Hướng dẫn chọn đề tài, cấu trúc và số liệu cho ngành này: Luận văn công nghệ thông tin · Hỏi đáp từng chương với người hướng dẫn số: Học Giả Số · Công cụ số: Luận Văn Số.

Đề tài cùng ngành

Tác giả muốn gỡ, sửa thông tin hoặc bổ sung bản toàn văn: gửi yêu cầu qua trang Liên hệ, kèm đường dẫn trang này.