ABSTRACTIVE TEXT SUMMARIZATION USING BART WITH MIXTURE OF EXPERTS
Khoá luận tốt nghiệp · Đại học · năm 2024 · đề tài tham khảo
| Loại tài liệu | Khoá luận tốt nghiệp |
|---|---|
| Bậc học | Đại học |
| Ngành | Công nghệ thông tin |
| Tác giả | Nguyễn Phúc Trường Giang |
| Người hướng dẫn | Lâm Nhựt Khang |
| Cơ sở đào tạo | Trường Đại học Cần Thơ |
| Năm | 2024 |
| Nguồn | Thư viện số Trường Đại học Cần Thơ · trang gốc |
Tóm tắt
Text summarization remains a vital challenge in natural language processing and artificial intelligence. With the advancement of deep learning, large language models such as BART (Bidirectional and Auto-Regressive Transformer) have demonstrated substantial success in abstractive summarization by combining bidirectional encoding with autoregressive decoding. This research explores the integration of Mixture of Experts (MoE) into the BART architecture to enhance its flexibility and efficiency in summarizing text. By replacing the feed-forward network in BART with MoE, the model dynamically routes information through specialized “experts”, optimizing both computational resources and the quality of the generated summaries. The study involves fine-tuning this modified BART model on the CNN/Daily Mail dataset and evaluating its performance using the ROUGE metric. . The results show that the baseline BART model achieved F1-scores of 36.89 (ROUGE-1), 16.24 (ROUGE-2), and 27.60 (ROUGE-L), while the MoE-enhanced BART model achieved scores of 37.24 (ROUGE-1), 16.60 (ROUGE-2), and 28.51 (ROUGE-L). These results highlight improvements in certain aspects of accuracy and robustness for the MoE-enhanced BART configuration. The findings not only underscore the potential of MoE-enhanced BART in addressing the inherent complexities of text summarization but also contribute to the ongoing development of more adaptive and powerful large language models for NLP applications.
Bản toàn văn lưu tại thư viện Trường Đại học Cần Thơ
Thông tin và tóm tắt ở trên lấy từ kho số mở của thư viện trường. Bản toàn văn do thư viện trường quản lý — có nơi cho đọc trực tuyến, có nơi cần tài khoản bạn đọc của trường.
Mở tại thư viện trường ↗
Dùng tài liệu tham khảo cho đúng
- Đọc để hiểu cách người trước đặt câu hỏi, chọn phương pháp, trình bày số liệu — rồi tự làm với dữ liệu và bối cảnh của bạn.
- Ý, số liệu, bảng biểu lấy từ tài liệu này phải trích dẫn (tác giả, năm, tên đề tài, cơ sở đào tạo).
- Đề tài trùng tên vẫn làm được nếu khác đơn vị khảo sát, thời gian hoặc cách tiếp cận — nêu rõ điểm khác trong phần mở đầu.
Hướng dẫn chọn đề tài, cấu trúc và số liệu cho ngành này: Luận văn công nghệ thông tin · Hỏi đáp từng chương với người hướng dẫn số: Học Giả Số · Công cụ số: Luận Văn Số.
Đề tài cùng ngành
- HỆ THỐNG TRA CỨU CÂY THUỐC NAM
- XÂY DỰNG WEBSITE BÁN SÁCH
- XÂY DỰNG MỘT TRANG WEB NHẬN DẠNG BỆNH CÂY TRỒNG DÙNG GIẢI THUẬT CÂY QUYẾT ĐỊNH
- XÂY DỰNG WEBSITE TRUNG TÂM ANH NGỮ RIVER
- CHUYỂN ĐỔI SỐ CÔNG TÁC QUẢN LÝ LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC NGÀNH KHOA HỌC MÁY TÍNH
- XÂY DỰNG WEBSITE C2C CHO DỊCH VỤ SỬA CHỮA VÀ BẢO TRÌ TẠI NHÀ
- HỆ THỐNG QUẢN LÝ CỬA HÀNG BÁN GẠO THÔNG MINH
- XÂY DỰNG HỆ THỐNG TƯỚI TỰ ĐỘNG TRÊN NỀN TẢNG IOT VÀ LẬP TRÌNH NHÚNG (PHÂN HỆ ỨNG DỤNG WEB CHO NGƯỜI QUẢN LÍ VÀ CHUYÊN GIA TRÊN NỀN GIAO THỨC MQTT)
Tác giả muốn gỡ, sửa thông tin hoặc bổ sung bản toàn văn: gửi yêu cầu qua trang Liên hệ, kèm đường dẫn trang này.