TÌM HIỂU MÔ HÌNH ELECTRA VÀ ỨNG DỤNG
Khoá luận tốt nghiệp · Đại học · năm 2021 · đề tài tham khảo
| Loại tài liệu | Khoá luận tốt nghiệp |
|---|---|
| Bậc học | Đại học |
| Ngành | Công nghệ thông tin |
| Tác giả | Nguyễn Thị Mỹ Quyên |
| Người hướng dẫn | Trần Công Án |
| Cơ sở đào tạo | Trường Đại học Cần Thơ |
| Năm | 2021 |
| Nguồn | Thư viện số Trường Đại học Cần Thơ · trang gốc |
Tóm tắt
ELECTRA là một mô hình ngôn ngữ được huấn luyện trước, nó sử dụng một phương pháp pretrain mới mang tên “replaced token detection”. Phương pháp này tận dụng được lợi thế của BERT nhưng học hiệu quả hơn. Theo như công bố trên bài báo của Google các tác giả đã cho thấy ELECTRA vượt trội hơn các kỹ thuật hiện tại với cùng nguồn lực tính toán. Ví dụ, ELECTRA đạt kết quả của RoBERTa và XLNet trên bộ dữ liệu chuẩn GLUE dù sử dụng ít hơn 25% tài nguyên tính toán và đạt kết quả state-of-the-art trên bộ dữ liệu chuẩn SQuAD. Đó là những kết quả trên xử lý ngôn ngữ tiếng Anh, chúng ta chưa có nghiên cứu chính thức nào về hiệu quả của ELECTRA đối với các bài toán xử lý tiếng Việt. Luận văn này thực hiện tìm hiểu mô hình ELECTRA và áp dụng vào 3 bài toán phân loại sắc thái bình luận, nhận dạng thực thể được đặt tên và trả lời câu hỏi. Với bài toán phân loại sắc thái bình luận mô hình sẽ học để nhận biết bình luận mang sắc thái tích cực hay tiêu cực. Với bài toán nhận dạng thực thể được đặt tên, mô hình sẽ học để nhận biết các thực thể liên quan đến bệnh nhân COVID19 xuất hiện trong văn bản. Còn với bài toán trả lời câu hỏi mô hình sẽ học để tìm ra đáp án cho câu hỏi từ một đoạn văn cho trước. Độ chính xác của mô hình được đánh giá bằng các độ đo Precision, Recall, F1-score và EM (dùng cho bài toán trả lời câu hỏi). Các kết quả về độ chính xác trung bình của mô hình được thể hiện như sau: - Bài toán phân loại cảm xúc bình luận: Mô hình được huấn luyện và đánh giá trên tập dữ liệu hơn 16000 bình luận. Các kết quả thu được lần lượt là: Precision 89.63%, Recall 90.33%, F1-score 89.89%. - Bài toán nhận dạng thực thể được đặt tên: Mô hình được huấn luyện và đánh giá trên bộ dữ liệu với gần 35000 thực thể trên 10000 câu. Các kết quả thu được lần lượt là: Precision 80.93%, Recall 82.43%, F1-score 81.63%. - Bài toán trả lời câu hỏi: Mô hình được huấn luyện và đánh giá trên bộ dữ liệu gồm gần 3000 câu hỏi đáp tiếng Việt và hơn 60000 câu được dịch sang tiếng Việt từ bộ dữ liệu chuẩn SquAD v2.0 tiếng Anh. Các kết quả thu được lần lượt là: F1-score 74.92% và EM 68.09%. Kết quả thực nghiệm cho thấy mặc dù lượng dữ liệu cho huấn luyện mô hình còn tương đối ít nhưng hiệu quả của mô hình khá tốt. Nếu được huấn luyện với nguồn dữ liệu đủ nhiều và có chất lượng tốt ELECTRA sẽ mang đến những kết quả đáng mong đợi.
Bản toàn văn lưu tại thư viện Trường Đại học Cần Thơ
Thông tin và tóm tắt ở trên lấy từ kho số mở của thư viện trường. Bản toàn văn do thư viện trường quản lý — có nơi cho đọc trực tuyến, có nơi cần tài khoản bạn đọc của trường.
Mở tại thư viện trường ↗
Dùng tài liệu tham khảo cho đúng
- Đọc để hiểu cách người trước đặt câu hỏi, chọn phương pháp, trình bày số liệu — rồi tự làm với dữ liệu và bối cảnh của bạn.
- Ý, số liệu, bảng biểu lấy từ tài liệu này phải trích dẫn (tác giả, năm, tên đề tài, cơ sở đào tạo).
- Đề tài trùng tên vẫn làm được nếu khác đơn vị khảo sát, thời gian hoặc cách tiếp cận — nêu rõ điểm khác trong phần mở đầu.
Hướng dẫn chọn đề tài, cấu trúc và số liệu cho ngành này: Luận văn công nghệ thông tin · Hỏi đáp từng chương với người hướng dẫn số: Học Giả Số · Công cụ số: Luận Văn Số.
Đề tài cùng ngành
- ỨNG DỤNG THỊ GIÁC MÁY TÍNH TRONG THIẾT KẾ TRÒ CHƠI TƯƠNG TÁC CHIẾU HÌNH
- XÂY DỰNG HỆ THỐNG QUẢN LÝ PHÒNG KHÁM TÍCH HỢP AI HỖ TRỢ CHẨN ĐOÁN
- HỆ THỐNG HỖ TRỢ QUẢN LÝ TÌM KIẾM NHÀ TRỌ
- XÂY DỰNG WEBSITE KINH DOANH SẢN PHẨM PHẦN MỀM
- XÂY DỰNG HỆ THỐNG KINH DOANH SẢN PHẨM ĐIỆN TỬ TRỰC TUYẾN
- HỆ THỐNG QUẢN LÝ ĐẢNG VIÊN SINH HOẠT NƠI CƯ TRÚ CỦA TRƯỜNG CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG
- XÂY DỰNG WEBSITE KINH DOANH KÍNH THỜI TRANG TÍCH HỢP GỢI Ý SẢN PHẨM
- WEBSITE QUẢN LÝ VÀ TRUY XUẤT THÔNG TIN CỰU SINH VIÊN QUA ẢNH
Tác giả muốn gỡ, sửa thông tin hoặc bổ sung bản toàn văn: gửi yêu cầu qua trang Liên hệ, kèm đường dẫn trang này.