XÂY DỰNG HỆ THỐNG CHUYỂN ĐỔI GIỌNG NÓI TIẾNG ANH SANG VĂN BẢN TIẾNG VIỆT THEO THỜI GIAN THỰC
Khoá luận tốt nghiệp · Đại học · năm 2026 · đề tài tham khảo
| Loại tài liệu | Khoá luận tốt nghiệp |
|---|---|
| Bậc học | Đại học |
| Ngành | Công nghệ thông tin |
| Tác giả | Lý Trí Khải |
| Người hướng dẫn | Lưu Tiến Đạo |
| Cơ sở đào tạo | Trường Đại học Cần Thơ |
| Năm | 2026 |
| Nguồn | Thư viện số Trường Đại học Cần Thơ · trang gốc |
Tóm tắt
Trong môi trường giao tiếp hiện nay, tiếng Anh đã trở thành một ngôn ngữ toàn cầu, đóng vai trò quan trọng và không thể thiếu trong việc trao đổi thông tin. Tuy nhiên, với nhiều người Việt Nam, việc tiếp nhận và xử lý thông tin trực tiếp bằng tiếng Anh vẫn còn nhiều khó khăn. Đề tài "Xây dựng hệ thống chuyển đổi giọng nói tiếng Anh sang văn bản tiếng Việt theo thời gian thực" được thực hiện nhằm cung cấp một công cụ hỗ trợ người dùng theo dõi nội dung hội thoại tiếng Anh. Hệ thống này không chỉ giúp người dùng hiểu rõ hơn về nội dung cuộc trò chuyện mà còn tạo điều kiện thuận lợi cho việc ghi chép và lưu trữ thông tin quan trọng. Về phương pháp, hệ thống được phát triển bằng Python và thư viện PyQt6 kết hợp cơ sở dữ liệu SQLite, tích hợp Faster-Whisper cho tác vụ nhận dạng giọng nói cục bộ. Mô hình Whisper Tiny được tinh chỉnh (fine-tuning) theo chiến lược đóng băng Encoder và tinh chỉnh LoRA, trên tập dữ liệu kết hợp LibriSpeech (100h), VoxPopuli và WhissleAI Medical. Tính năng dịch thuật sang tiếng Việt được tích hợp qua Google Translate API và sử dụng Groq API để thay đổi đầu ra như tóm tắt văn bản, sơ đồ tư duy, biên bản. Ngoài ra, chức năng nhận diện người nói (Speaker Diarization) cũng được tích hợp nhằm hỗ trợ gán nhãn người nói cho từng đoạn hội thoại. Kết quả thực nghiệm được đánh giá trên GPU cho thấy mô hình Whisper Tiny.en sau tinh chỉnh với LoRA (r=32) đạt WER 5.29% trên tập LibriSpeech, cải thiện 0.52% so với mô hình gốc (5.81%). Trên tập VoxPopuli, mô hình đạt WER 11.09%, cải thiện 2.19% so với mô hình gốc (13.28%). Đáng chú ý, mô hình Whisper Tiny.en sau tinh chỉnh với LoRA (r=8) đạt WER 12.99% trên tập dữ liệu y tế, so với Whisper Small không qua tinh chỉnh (WER 14.87%), đồng thời duy trì RTF 0.0122, đảm bảo yêu cầu xử lý thời gian thực. Từ khóa: Nhận dạng giọng nói tự động, Whisper, Faster-Whisper, thời gian thực, tinh chỉnh mô hình, nhận diện người nói. In today’s communication landscape, English has become a global language, playing an important and indispensable role in the exchange of information. However, for many Vietnamese people, receiving and processing information directly in English remains a significant challenge. The project "Building a Real-Time English Speech-to-Vietnamese Text Conversion System" was carried out to provide a tool that helps users follow English conversations. The system not only helps users better understand the content of conversations but also facilitates the recording and storage of important information. In terms of methodology, the system was developed using Python and the PyQt6 library combined with an SQLite database, integrating Faster-Whisper for local speech recognition. The Whisper Tiny model was fine-tuned using an Encoder-freezing and LoRA fine-tuning strategy on a combined dataset of LibriSpeech (100h), VoxPopuli, and WhistleAI Medical. Vietnamese translation is integrated via the Google Translate API, and the Groq API is used to transform outputs into formats such as text summaries, mind maps, and meeting minutes. In addition, Speaker Diarization functionality was also integrated to support speaker labeling for each conversational segment. Experimental results evaluated on GPU show that the Whisper Tiny.en model finetuned with LoRA (r=32) achieves a WER of 5.29% on LibriSpeech, an improvement of 0.52% over the baseline (5.81%). On VoxPopuli, the model achieves a WER of 11.09%, an improvement of 2.19% over the baseline (13.28%). The Whisper Tiny.en model finetuned with LoRA (r=8) achieves a WER of 12.99% on the medical dataset, compared to the untuned Whisper Small (WER 14.87%), while maintaining an RTF of 0.0122, ensuring real-time processing requirements. Keywords: Automatic speech recognition, Whisper, Faster-Whisper, real-time, model finetuning, speaker diarization.
Bản toàn văn lưu tại thư viện Trường Đại học Cần Thơ
Thông tin và tóm tắt ở trên lấy từ kho số mở của thư viện trường. Bản toàn văn do thư viện trường quản lý — có nơi cho đọc trực tuyến, có nơi cần tài khoản bạn đọc của trường.
Mở tại thư viện trường ↗
Dùng tài liệu tham khảo cho đúng
- Đọc để hiểu cách người trước đặt câu hỏi, chọn phương pháp, trình bày số liệu — rồi tự làm với dữ liệu và bối cảnh của bạn.
- Ý, số liệu, bảng biểu lấy từ tài liệu này phải trích dẫn (tác giả, năm, tên đề tài, cơ sở đào tạo).
- Đề tài trùng tên vẫn làm được nếu khác đơn vị khảo sát, thời gian hoặc cách tiếp cận — nêu rõ điểm khác trong phần mở đầu.
Hướng dẫn chọn đề tài, cấu trúc và số liệu cho ngành này: Luận văn công nghệ thông tin · Hỏi đáp từng chương với người hướng dẫn số: Học Giả Số · Công cụ số: Luận Văn Số.
Đề tài cùng ngành
- XÂY DỰNG WEBSITE QUẢN LÝ QUÁN CÀ PHÊ VỚI ASP.NET, WEB API, ANGULARJS
- XÂY DỰNG HỆ THỐNG ĐẶT TOUR DU LỊCH
- HỆ THỐNG QUẢN LÝ BỆNH ÁN ĐIỆN TỬ PHÂN HỆ: CHIA SẺ THÔNG TIN BỆNH ÁN BUILDING AN LECTRONIC
- TÍCH HỢP GỢI Ý VÀ CHATBOT VÀO HỆ THỐNG BÁN HÀNG TRỰC TUYẾN CỦA CÔNG TY HOA TƯƠI CẦN THƠ
- XÂY DỰNG WEBSITE HỖ TRỢ DẠY VÀ HỌC TRỰC TUYẾN STEM
- XÂY DỰNG WEBSITE TRA CỨU DƯỢC LIỆU SỬ DỤNG LARAVEL FRAMEWORK VÀ GOOGLE MAP API
- XÂY DỰNG ỨNG DỤNG CHIA SẺ SUẤT ĂN TỪ THIỆN
- HỆ THỐNG QUẢN LÝ CÔNG TÁC ĐOÀN TRƯỜNG ĐẠI HỌC CẦN THƠ
Tác giả muốn gỡ, sửa thông tin hoặc bổ sung bản toàn văn: gửi yêu cầu qua trang Liên hệ, kèm đường dẫn trang này.