Chuyển giao kiến thức từ mô hình ngôn ngữ lớn sang mô hình nhỏ
Đồ án tốt nghiệp · Đại học · năm 2025 · đề tài tham khảo
| Loại tài liệu | Đồ án tốt nghiệp |
|---|---|
| Bậc học | Đại học |
| Ngành | Xã hội, ngôn ngữ, y dược |
| Tác giả | Nguyễn Sỹ Trọng |
| Người hướng dẫn | Nguyễn Kiêm Hiếu |
| Cơ sở đào tạo | Đại học Bách khoa Hà Nội |
| Năm | 2025 |
| Nguồn | Thư viện số Đại học Bách khoa Hà Nội · trang gốc |
Tóm tắt
Nghiên cứu tập trung vào bài toán chuyển giao tri thức từ mô hình ngôn ngữ lớn sang mô hình ngôn ngữ nhỏ nhằm giảm yêu cầu tài nguyên tính toán nhưng vẫn duy trì chất lượng suy luận. Giải pháp đề xuất phương pháp Multi Cost Knowledge Distillation (MC-KD), kết hợp nhiều ma trận chi phí trong không gian phân phối đầu ra và không gian biểu diễn ẩn cuối cùng để tăng khả năng tiếp nhận tri thức của mô hình học sinh. Phương pháp sử dụng Optimal Transport, khoảng cách Wasserstein và thuật toán Sinkhorn để xây dựng hàm mất mát hiệu quả. Kết quả thực nghiệm cho thấy MC-KD vượt trội so với các phương pháp chuyển giao tri thức hiện có, đồng thời duy trì tính ổn định trên nhiều tập dữ liệu và cặp mô hình khác nhau. Nghiên cứu góp phần phát triển các mô hình ngôn ngữ nhỏ có hiệu năng cao và khả năng triển khai thực tế tốt.
Bản toàn văn lưu tại thư viện Đại học Bách khoa Hà Nội
Thông tin và tóm tắt ở trên lấy từ kho số mở của thư viện trường. Bản toàn văn do thư viện trường quản lý — có nơi cho đọc trực tuyến, có nơi cần tài khoản bạn đọc của trường.
Mở tại thư viện trường ↗
Dùng tài liệu tham khảo cho đúng
- Đọc để hiểu cách người trước đặt câu hỏi, chọn phương pháp, trình bày số liệu — rồi tự làm với dữ liệu và bối cảnh của bạn.
- Ý, số liệu, bảng biểu lấy từ tài liệu này phải trích dẫn (tác giả, năm, tên đề tài, cơ sở đào tạo).
- Đề tài trùng tên vẫn làm được nếu khác đơn vị khảo sát, thời gian hoặc cách tiếp cận — nêu rõ điểm khác trong phần mở đầu.
Hướng dẫn chọn đề tài, cấu trúc và số liệu cho ngành này: Luận văn xã hội, ngôn ngữ, y dược · Hỏi đáp từng chương với người hướng dẫn số: Học Giả Số · Công cụ số: Luận Văn Số.
Đề tài cùng ngành
- Nghiên cứu và tối ưu hóa mô hình mạng tích chập đồ thị nhận dạng ngôn ngữ kí hiệu tiếng việt
- Nghiên cứu và thiết kế hệ thống định vị bệnh nhân trong phòng cấp cứu
- Tính toán thiết kế hệ thống lái cho xe du lịch 7 chỗ
- Enhancing Continual Event Detection Using Large Language Models
- Nghiên cứu hệ protein nước tiểu bệnh nhân ghép thận có biến chứng thải ghép cấp tính
- Nghiên cứu, phát triển kinh tế du lịch theo hướng bền vững trên địa bàn tỉnh Tuyên Quang
- Nghiên cứu so sánh liều phóng xạ tại cơ quan nguy cấp (OAR) trong kỹ thuật xạ trị IMRT và VMAT trên bệnh nhân ung thư cổ tử cung
- Phát hiện và ngăn chặn bất thường ở mạng học liên kết trong bối cảnh y tế
Tác giả muốn gỡ, sửa thông tin hoặc bổ sung bản toàn văn: gửi yêu cầu qua trang Liên hệ, kèm đường dẫn trang này.