MULTIMEDIA DEEPFAKE DETECTION (VIDEO AND AUDIO) WITH CROSS-MODAL INCONSISTENCY.
Khoá luận tốt nghiệp · Đại học · năm 2026 · đề tài tham khảo
| Loại tài liệu | Khoá luận tốt nghiệp |
|---|---|
| Bậc học | Đại học |
| Ngành | Công nghệ thông tin |
| Tác giả | Đặng Nhật Tường |
| Người hướng dẫn | Phạm Thế Phi |
| Cơ sở đào tạo | Trường Đại học Cần Thơ |
| Năm | 2026 |
| Nguồn | Thư viện số Trường Đại học Cần Thơ · trang gốc |
Tóm tắt
Rapid advances in generative artificial intelligence have made manipulated talkingface videos increasingly realistic, inexpensive, and accessible. Such content may alter facial motion, speech, or both while preserving a convincing identity and overall appearance, creating risks for digital forensics, online trust, personal privacy, and the credibility of audio-visual evidence. Lip-sync manipulation is particularly difficult to detect because modifications are often concentrated around the mouth, while the remaining facial appearance, head movement, and background remain largely unchanged. Compression and post-processing may further weaken visible artifacts. In addition, the visual and acoustic streams may appear individually plausible even when subtle inconsistencies exist between speech and facial articulation. This thesis proposes a region-aware multimodal framework for detecting manipulated talking-face videos. Each input video is divided into synchronized threesecond windows containing head, face, and lip sequences together with the corresponding speech waveform. A shared EfficientNet-B3 encoder extracts regional visual representations, while Wav2Vec2-Base produces contextual acoustic representations. The framework combines local region-aware audio-visual interaction, global cross-modal attention, and explicit relation features to preserve visual, acoustic, and cross-modal manipulation evidence. Training is guided by the main binary classification objective, modality-specific auxiliary supervision, region-awareness regularization, and a realalignment contrastive objective. The decision threshold is selected exclusively from development data and remains fixed during final evaluation. The proposed system is designed to detect visual-only, audio-only, and joint audiovisual manipulations while producing a single Real or Fake decision. On the untouched test sets, the framework achieved ROC-AUC values of 91.20% on AVLips and 99.33% on FakeAVCeleb, with Balanced Accuracy values of 82.87% and 94.42%, respectively. The corresponding macro-average ROC-AUC, Balanced Accuracy, and EER were 95.27%, 88.65%, and 10.51%. The system also supports complete-video inference through temporal window aggregation and evidence visualization. Nevertheless, its outputs should be interpreted as model-based forensic evidence rather than definitive proof of manipulation, and further evaluation is required under broader real-world conditions. Sự phát triển của Generative AI làm gia tăng rủi ro từ các video nói chuyện bị giả mạo (talking-face deepfake), đặc biệt là giả mạo nhép môi (lip-sync) vốn khó phát hiện do biến đổi chỉ tập trung ở vùng miệng. Luận văn này đề xuất một khung phát hiện đa phương thức chú trọng vùng không gian (region-aware multimodal framework). Hệ thống chia video thành các cửa sổ 3 giây, sử dụng EfficientNet-B3 để trích xuất đặc trưng hình ảnh theo vùng và Wav2Vec2-Base cho âm thanh, kết hợp với các cơ chế chú ý liên phương thức (cross-modal attention) để phát hiện sự mất bất cân thích giữa hình ảnh và âm thanh. Trên dữ liệu thử nghiệm, mô hình đạt kết quả ấn tượng với ROC-AUC trung bình 95.27%, Balanced Accuracy 88.65% và EER 10.51% trên hai tập dữ liệu AVLips và FakeAVCeleb, hỗ trợ phân loại Real/Fake cũng như trực quan hóa bằng chứng giả mạo cho toàn bộ video.
Bản toàn văn lưu tại thư viện Trường Đại học Cần Thơ
Thông tin và tóm tắt ở trên lấy từ kho số mở của thư viện trường. Bản toàn văn do thư viện trường quản lý — có nơi cho đọc trực tuyến, có nơi cần tài khoản bạn đọc của trường.
Mở tại thư viện trường ↗
Dùng tài liệu tham khảo cho đúng
- Đọc để hiểu cách người trước đặt câu hỏi, chọn phương pháp, trình bày số liệu — rồi tự làm với dữ liệu và bối cảnh của bạn.
- Ý, số liệu, bảng biểu lấy từ tài liệu này phải trích dẫn (tác giả, năm, tên đề tài, cơ sở đào tạo).
- Đề tài trùng tên vẫn làm được nếu khác đơn vị khảo sát, thời gian hoặc cách tiếp cận — nêu rõ điểm khác trong phần mở đầu.
Hướng dẫn chọn đề tài, cấu trúc và số liệu cho ngành này: Luận văn công nghệ thông tin · Hỏi đáp từng chương với người hướng dẫn số: Học Giả Số · Công cụ số: Luận Văn Số.
Đề tài cùng ngành
- WEBSITE HỖ TRỢ QUẢN LÝ ĐOÀN THANH NIÊN TÍCH HỢP CHỨC NĂNG NHẬP LIỆU THÔNG QUA GIỌNG NÓI
- XÂY DỰNG WEBSITE CHIA SẼ KINH NGHIỆM LẬP TRÌNH VỚI ASP.NET MVC
- XÂY DỰNG WEBSITE ĐIỀU HÀNH CÔNG VIỆC TẠI KHOA CNTT & TT TRÊN NỀN TẢNG LARAVEL FRAMEWORK
- PHÁT TRIỂN HỆ THỐNG PHÁT HIỆN VƯỢT ĐÈN ĐỎ CHO GIAO THÔNG
- XÂY DỰNG HỆ THỐNG LẤY TIN VÀ PHÂN LOẠI TIN TỰ ĐỘNG PHÂN HỆ I HỆ THỐNG LẤY TIN
- QUAN TRẮC CHẤT LƯỢNG NƯỚC VỚI MÁY TÍNH CÔNG NGHIỆP MATRIX
- Chuỗi thời gian với phần mềm R
- ỨNG DỤNG HỖ TRỢ NGHIỆP VỤ Ở MỘT PHÒNG KHÁM NHA KHOA TRÊN DESKTOP
Tác giả muốn gỡ, sửa thông tin hoặc bổ sung bản toàn văn: gửi yêu cầu qua trang Liên hệ, kèm đường dẫn trang này.