CTU.SIGNBRIDGE: DEVELOPING A TWO-STAGE SIGN LANGUAGE TO NATURAL LANGUAGE CONVERSION MODEL USING MACHINE LEARNING AND LARGE LANGUAGE MODELS (LLMS)
Khoá luận tốt nghiệp · Đại học · năm 2026 · đề tài tham khảo
| Loại tài liệu | Khoá luận tốt nghiệp |
|---|---|
| Bậc học | Đại học |
| Ngành | Công nghệ thông tin |
| Tác giả | Võ Trần Vũ Khoa |
| Người hướng dẫn | Trương Minh Thái |
| Cơ sở đào tạo | Trường Đại học Cần Thơ |
| Năm | 2026 |
| Nguồn | Thư viện số Trường Đại học Cần Thơ · trang gốc |
Tóm tắt
Vietnamese Sign Language (VSL) recognition systems typically output isolated glosses or discrete vocabulary tokens, which do not directly correspond to grammatically complete and natural Vietnamese sentences. This thesis presents the design and implementation of a two-stage sign-to-sentence translation pipeline within CTU.SignBridge, a mobile application that translates Vietnamese Sign Language into complete Vietnamese sentences in real time. Building upon a Temporal Convolutional Network (TCN) model that recognizes individual signs from hand landmark sequences, this work focuses on the second stage of the translation process: transforming a continuous stream of recognized discrete vocabulary into coherent, natural-sounding sentences using a Large Language Model (LLM). A TokenAccumulator module is introduced to buffer recognized signs and determine sentence boundaries through timeout-based segmentation, addressing the asynchronous and variable-rate nature of real-time sign recognition. The accumulated tokens are then passed to an LLM-based sentence reconstruction service, which is designed with a modular provider architecture supporting a locally hosted Ollama LLM model (Qwen2.5-7B-Instruct). The proposed pipeline is implemented as a React Native mobile application, integrating the sign recognition model, the LLM-based sentence reconstruction service, and the supporting user interface into a unified real-time translation experience. Experimental results demonstrate that the proposed two-stage approach effectively bridges the gap between discrete sign recognition output and natural language communication, contributing toward a more accessible and practically usable Vietnamese Sign Language translation system for education, communication, and assistive applications in Vietnam. Các hệ thống nhận dạng Ngôn ngữ Ký hiệu Việt Nam (Vietnamese Sign Language – VSL) thường tạo ra các gloss rời rạc hoặc các token từ vựng riêng biệt, vốn không trực tiếp tương ứng với những câu tiếng Việt hoàn chỉnh và tự nhiên về mặt ngữ pháp. Luận văn này trình bày việc thiết kế và triển khai một quy trình dịch từ ngôn ngữ ký hiệu sang câu gồm hai giai đoạn trong CTU.SignBridge, một ứng dụng di động có khả năng chuyển đổi Ngôn ngữ Ký hiệu Việt Nam thành các câu tiếng Việt hoàn chỉnh theo thời gian thực. Dựa trên mô hình Mạng Tích chập Thời gian (Temporal Convolutional Network – TCN) dùng để nhận dạng từng ký hiệu riêng lẻ từ chuỗi điểm mốc bàn tay, nghiên cứu này tập trung vào giai đoạn thứ hai của quá trình dịch: chuyển đổi một luồng liên tục các từ vựng rời rạc đã được nhận dạng thành các câu mạch lạc và tự nhiên bằng Mô hình Ngôn ngữ Lớn (Large Language Model – LLM). Một mô-đun TokenAccumulator được xây dựng để lưu tạm các ký hiệu đã nhận dạng và xác định ranh giới câu thông qua cơ chế phân đoạn dựa trên thời gian chờ, qua đó xử lý đặc tính bất đồng bộ và tốc độ thay đổi của quá trình nhận dạng ký hiệu theo thời gian thực. Các token được tích lũy sau đó được chuyển đến dịch vụ tái cấu trúc câu dựa trên LLM, được thiết kế theo kiến trúc nhà cung cấp mô-đun và hỗ trợ mô hình LLM Qwen2.5-7B-Instruct được triển khai cục bộ thông qua Ollama. Quy trình đề xuất được triển khai dưới dạng một ứng dụng di động React Native, tích hợp mô hình nhận dạng ký hiệu, dịch vụ tái cấu trúc câu dựa trên LLM và giao diện người dùng hỗ trợ vào một trải nghiệm dịch theo thời gian thực thống nhất. Kết quả thực nghiệm cho thấy phương pháp hai giai đoạn được đề xuất có khả năng thu hẹp khoảng cách giữa đầu ra nhận dạng ký hiệu rời rạc và giao tiếp bằng ngôn ngữ tự nhiên, qua đó góp phần xây dựng một hệ thống dịch Ngôn ngữ Ký hiệu Việt Nam dễ tiếp cận và có tính ứng dụng thực tế hơn trong giáo dục, giao tiếp và các ứng dụng hỗ trợ tại Việt Nam.
Bản toàn văn lưu tại thư viện Trường Đại học Cần Thơ
Thông tin và tóm tắt ở trên lấy từ kho số mở của thư viện trường. Bản toàn văn do thư viện trường quản lý — có nơi cho đọc trực tuyến, có nơi cần tài khoản bạn đọc của trường.
Mở tại thư viện trường ↗
Dùng tài liệu tham khảo cho đúng
- Đọc để hiểu cách người trước đặt câu hỏi, chọn phương pháp, trình bày số liệu — rồi tự làm với dữ liệu và bối cảnh của bạn.
- Ý, số liệu, bảng biểu lấy từ tài liệu này phải trích dẫn (tác giả, năm, tên đề tài, cơ sở đào tạo).
- Đề tài trùng tên vẫn làm được nếu khác đơn vị khảo sát, thời gian hoặc cách tiếp cận — nêu rõ điểm khác trong phần mở đầu.
Hướng dẫn chọn đề tài, cấu trúc và số liệu cho ngành này: Luận văn công nghệ thông tin · Hỏi đáp từng chương với người hướng dẫn số: Học Giả Số · Công cụ số: Luận Văn Số.
Đề tài cùng ngành
- TÓM TẮT TÓM LƯỢC VĂN BẢN SỬ DỤNG MÔ HÌNH BART – EDU
- XÂY DỰNG ỨNG DỤNG CHỈNH SỬA ẢNH TRÊN ANDROID STUDIO
- CHUYỂN ĐỔI GIỌNG NÓI TIẾNG VIỆT VỚI MÔ HÌNH KHUẾCH TÁN
- DRIVER’S LICENSE EXAM PREPARATION MOBILE APPLICATION
- Chuỗi thời gian với phần mềm R
- QUAN TRẮC CHẤT LƯỢNG NƯỚC VỚI MÁY TÍNH CÔNG NGHIỆP MATRIX
- MỞ RỘNG TỰ ĐỘNG QUY MÔ ỨNG DỤNG WEB VỚI KUBERNETES: MUA SẮM TRỰC TUYẾN
- PHÁT TRIỂN HỆ THỐNG PHÁT HIỆN VƯỢT ĐÈN ĐỎ CHO GIAO THÔNG
Tác giả muốn gỡ, sửa thông tin hoặc bổ sung bản toàn văn: gửi yêu cầu qua trang Liên hệ, kèm đường dẫn trang này.