PHÁT TRIỂN ỨNG DỤNG DI ĐỘNG ĐỂ NHẬN DẠNG NGÔN NGỮ KÝ HIỆU TẠI VIỆT NAM
Khoá luận tốt nghiệp · Đại học · năm 2026 · đề tài tham khảo
| Loại tài liệu | Khoá luận tốt nghiệp |
|---|---|
| Bậc học | Đại học |
| Ngành | Công nghệ thông tin |
| Tác giả | Ngô Đại Kỳ |
| Người hướng dẫn | Huỳnh Gia Khương |
| Cơ sở đào tạo | Trường Đại học Cần Thơ |
| Năm | 2026 |
| Nguồn | Thư viện số Trường Đại học Cần Thơ · trang gốc |
Tóm tắt
Giao tiếp là rào cản lớn nhất đối với cộng đồng người khiếm thính tại Việt Nam do sự hạn chế của ngôn ngữ ký hiệu đối với những người nghe nói bình thường. Hầu hết các giải pháp hỗ trợ hiện nay đều gặp khó khăn trong việc xử lý tính liên tục của cử chỉ và diễn đạt lại thành câu hoàn chỉnh mang ngữ nghĩa tự nhiên. Để giải quyết vấn đề này, đề tài “Phát triển ứng dụng di động để nhận dạng ngôn ngữ ký hiệu tại Việt Nam” được thực hiện nhằm mục đích chuyển đổi tự động các cử chỉ tay thành văn bản tiếng Việt theo thời gian thực. Hệ thống đề xuất sử dụng thư viện MediaPipe để trích xuất đặc trưng không gian (tọa độ các khớp xương) từ video đầu vào, sau đó phân tích chuỗi thời gian bằng các mô hình mạng nơ-ron hồi quy. Đề tài tập trung huấn luyện và đánh giá so sánh hiệu năng của ba kiến trúc học sâu bao gồm: BiRNN, BiGRU và BiLSTM. Nhằm nâng cao tính tự nhiên trong giao tiếp, hệ thống ứng dụng mô hình ngôn ngữ lớn (LLM - thông qua API của Groq) để dịch các từ khóa nhận diện được thành câu văn hoàn chỉnh, kết hợp cùng cơ chế từ điển cục bộ để đảm bảo độ ổn định khi không có kết nối mạng. Về mặt thực nghiệm, đề tài đã thu thập và gán nhãn thành công bộ dữ liệu ngôn ngữ ký hiệu Việt Nam bao gồm hơn 4000 video cử chỉ thuộc 31 từ vựng tiếng Việt. Kết quả huấn luyện cho thấy mô hình BiLSTM đạt hiệu năng vượt trội nhất, khắc phục hiệu quả hiện tượng tiêu biến đạo hàm của BiRNN, với độ chính xác (Accuracy) đạt 98% và điểm F1-Score đạt 99%. Ứng dụng di động được xây dựng hoàn thiện, tối ưu hóa luồng suy luận trực tiếp để đáp ứng tốt nhu cầu nhận dạng thời gian thực qua camera, mở ra hướng đi triển vọng trong việc hỗ trợ người khiếm thính hòa nhập cộng đồng. Communication remains the greatest barrier for the deaf community in Vietnam due to the limitations of sign language for individuals who rely on spoken language. Most existing assistive solutions struggle to process the continuity of gestures and convert them into complete, naturally meaningful sentences. To address this issue, the project titled “Development of a Mobile Application for Vietnamese Sign Language Recognition” aims to automatically translate hand gestures into Vietnamese text in real time. The proposed system utilizes the MediaPipe library to extract spatial features (joint coordinates) from input video streams, followed by temporal sequence analysis using recurrent neural network models. The study focuses on training and evaluating the performance of three deep learning architectures: BiRNN, BiGRU, and BiLSTM. To enhance the naturalness of communication, the system integrates a large language model (LLM – via Groq’s API) to convert recognized keywords into coherent sentences, supplemented by a local dictionary mechanism to ensure stability in offline scenarios. Experimentally, the project successfully collected and annotated a Vietnamese sign language dataset comprising over 4000 gesture videos across 31 vocabulary items. Training results indicate that the BiLSTM model outperforms others, effectively mitigating the vanishing gradient problem of BiRNNs, achieving an accuracy of 98% and an F1-score of 99%. The mobile application has been fully developed, optimizing the direct inference pipeline to effectively support real-time recognition via camera, offering a promising solution for empowering the deaf community to integrate into society.
Bản toàn văn lưu tại thư viện Trường Đại học Cần Thơ
Thông tin và tóm tắt ở trên lấy từ kho số mở của thư viện trường. Bản toàn văn do thư viện trường quản lý — có nơi cho đọc trực tuyến, có nơi cần tài khoản bạn đọc của trường.
Mở tại thư viện trường ↗
Dùng tài liệu tham khảo cho đúng
- Đọc để hiểu cách người trước đặt câu hỏi, chọn phương pháp, trình bày số liệu — rồi tự làm với dữ liệu và bối cảnh của bạn.
- Ý, số liệu, bảng biểu lấy từ tài liệu này phải trích dẫn (tác giả, năm, tên đề tài, cơ sở đào tạo).
- Đề tài trùng tên vẫn làm được nếu khác đơn vị khảo sát, thời gian hoặc cách tiếp cận — nêu rõ điểm khác trong phần mở đầu.
Hướng dẫn chọn đề tài, cấu trúc và số liệu cho ngành này: Luận văn công nghệ thông tin · Hỏi đáp từng chương với người hướng dẫn số: Học Giả Số · Công cụ số: Luận Văn Số.
Đề tài cùng ngành
- XÂY DỰNG WEBSITE BÁN QUẦN ÁO NAM
- XÂY DỰNG WEBSITE QUẢN LÝ QUÁN COFFEE VỚI ASP.NET CORE, BLAZOR (BUILDING A WEBSITE TO COFFEE SHOP MANAGEMENT USING ASP.NET CORE, BLAZOR).
- ỨNG DỤNG DI ĐỘNG QUẢN LÍ SỨC KHỎE GIA ĐÌNH TÍCH HỢP NHẬN DẠNG TỰ ĐỘNG TOA THUỐC
- TRỰC QUAN HÓA KẾT HỢP VỚI XAI ĐỂ PHÂN TÍCH DỮ LIỆU METAGENOMMIC CHO Y HỌC CÁ THỂ HÓA
- ỨNG DỤNG HỌC SÂU XÂY DỰNG CHATBOT HỖ TRỢ QUẢNG BÁ CÁC MÓN ĂN ĐẶC SẢN CỦA ĐỒNG BẰNG SÔNG CỬU LONG
- HỆ THỐNG PHẦN MỀM HỖ TRỢ QUẢN LÝ VÀ ĐẶT VÉ XEM PHIM
- XÂY DỰNG WEBSITE KINH DOANH ĐIỆN THOẠI TRỰC TUYẾN - SMARTSTORE
- ỨNG DỤNG ĐỘ ĐO FRÉCHET VÀO LỰA CHỌN MẪU SINH RA TỪ MẠNG GAN ĐỂ CÂN BẰNG DỮ LIỆU
Tác giả muốn gỡ, sửa thông tin hoặc bổ sung bản toàn văn: gửi yêu cầu qua trang Liên hệ, kèm đường dẫn trang này.