Enhancing Large Language Models Performance via Structured Pruning and Knowledge Distillation
Đồ án tốt nghiệp · Đại học · năm 2025 · đề tài tham khảo
| Loại tài liệu | Đồ án tốt nghiệp |
|---|---|
| Bậc học | Đại học |
| Ngành | Công nghệ thông tin |
| Tác giả | Phan Hoàng Nam |
| Người hướng dẫn | Ngô Văn Linh |
| Cơ sở đào tạo | Đại học Bách khoa Hà Nội |
| Năm | 2025 |
| Nguồn | Thư viện số Đại học Bách khoa Hà Nội · trang gốc |
Tóm tắt
Nghiên cứu và thiết kế khung cắt tỉa có cấu trúc ba cấp nhằm giảm độ phức tạp của mô hình ngôn ngữ lớn trong khi vẫn duy trì chất lượng xử lý ngôn ngữ. Phân tích thực trạng các mô hình ngôn ngữ lớn yêu cầu tài nguyên tính toán và bộ nhớ rất cao, gây khó khăn cho triển khai trên các hệ thống hạn chế phần cứng. Đề xuất giải pháp cắt tỉa ở mức phần tử, mức lớp và mức khối kết hợp chưng cất tri thức lai giúp truyền tải tri thức từ mô hình lớn sang mô hình đã được thu gọn. Kết luận khẳng định phương pháp đạt hiệu quả nén tham số cao, duy trì trên chín mươi phần trăm độ chính xác và cải thiện tốc độ suy luận trong môi trường tài nguyên hạn chế.
Bản toàn văn lưu tại thư viện Đại học Bách khoa Hà Nội
Thông tin và tóm tắt ở trên lấy từ kho số mở của thư viện trường. Bản toàn văn do thư viện trường quản lý — có nơi cho đọc trực tuyến, có nơi cần tài khoản bạn đọc của trường.
Mở tại thư viện trường ↗
Dùng tài liệu tham khảo cho đúng
- Đọc để hiểu cách người trước đặt câu hỏi, chọn phương pháp, trình bày số liệu — rồi tự làm với dữ liệu và bối cảnh của bạn.
- Ý, số liệu, bảng biểu lấy từ tài liệu này phải trích dẫn (tác giả, năm, tên đề tài, cơ sở đào tạo).
- Đề tài trùng tên vẫn làm được nếu khác đơn vị khảo sát, thời gian hoặc cách tiếp cận — nêu rõ điểm khác trong phần mở đầu.
Hướng dẫn chọn đề tài, cấu trúc và số liệu cho ngành này: Luận văn công nghệ thông tin · Hỏi đáp từng chương với người hướng dẫn số: Học Giả Số · Công cụ số: Luận Văn Số.
Đề tài cùng ngành
- Phát triển thuật toán ước lượng sóng tới trong hệ thống thông tin vô tuyến điện thế hệ tiếp theo
- Phát triển thuật toán khai phá tập thường xuyên dựa vào sự gom cụm dữ liệu
- Mạng cảm biến không dây và ứng dụng trong mạng lưới điện thông minh
- Ứng dụng Wiki ngữ nghĩa trong phát triển hệ thống quản lý thông tin khóa luận tốt nghiệp tại trường Đại học Hùng Vương
- Phân tích và đánh giá hệ thống phát hiện xâm nhập IDS
- Multitasking evolutionary algorithm with adaptive knowledge tranfer for minimizing routing costs in decntralized clustering networks = Tiến hóa đa nhiệm với chuyển giao tri thức tự thích ứng giải bài toán tối thiểu chi phí định tuyến trong mạng phân cụm phi tập trung
- Applying machine learning and epidemiological models to forecast the number of Covid-19 infections
- Hệ thống thông tin di động W-CDMA và hành trình từ GSM lên 3G
Tác giả muốn gỡ, sửa thông tin hoặc bổ sung bản toàn văn: gửi yêu cầu qua trang Liên hệ, kèm đường dẫn trang này.