LuanVan.vnLuận Văn
Gửi thư

MULTIMEDIA DEEPFAKE DETECTION (VIDEO AND AUDIO) WITH CROSS-MODAL INCONSISTENCY.

Khoá luận tốt nghiệp · Đại học · năm 2026 · đề tài tham khảo

Loại tài liệuKhoá luận tốt nghiệp
Bậc họcĐại học
NgànhCông nghệ thông tin
Tác giảĐặng Nhật Tường
Người hướng dẫnPhạm Thế Phi
Cơ sở đào tạoTrường Đại học Cần Thơ
Năm2026
NguồnThư viện số Trường Đại học Cần Thơ · trang gốc

Tóm tắt

Rapid advances in generative artificial intelligence have made manipulated talkingface videos increasingly realistic, inexpensive, and accessible. Such content may alter facial motion, speech, or both while preserving a convincing identity and overall appearance, creating risks for digital forensics, online trust, personal privacy, and the credibility of audio-visual evidence. Lip-sync manipulation is particularly difficult to detect because modifications are often concentrated around the mouth, while the remaining facial appearance, head movement, and background remain largely unchanged. Compression and post-processing may further weaken visible artifacts. In addition, the visual and acoustic streams may appear individually plausible even when subtle inconsistencies exist between speech and facial articulation. This thesis proposes a region-aware multimodal framework for detecting manipulated talking-face videos. Each input video is divided into synchronized threesecond windows containing head, face, and lip sequences together with the corresponding speech waveform. A shared EfficientNet-B3 encoder extracts regional visual representations, while Wav2Vec2-Base produces contextual acoustic representations. The framework combines local region-aware audio-visual interaction, global cross-modal attention, and explicit relation features to preserve visual, acoustic, and cross-modal manipulation evidence. Training is guided by the main binary classification objective, modality-specific auxiliary supervision, region-awareness regularization, and a realalignment contrastive objective. The decision threshold is selected exclusively from development data and remains fixed during final evaluation. The proposed system is designed to detect visual-only, audio-only, and joint audiovisual manipulations while producing a single Real or Fake decision. On the untouched test sets, the framework achieved ROC-AUC values of 91.20% on AVLips and 99.33% on FakeAVCeleb, with Balanced Accuracy values of 82.87% and 94.42%, respectively. The corresponding macro-average ROC-AUC, Balanced Accuracy, and EER were 95.27%, 88.65%, and 10.51%. The system also supports complete-video inference through temporal window aggregation and evidence visualization. Nevertheless, its outputs should be interpreted as model-based forensic evidence rather than definitive proof of manipulation, and further evaluation is required under broader real-world conditions. Sự phát triển của Generative AI làm gia tăng rủi ro từ các video nói chuyện bị giả mạo (talking-face deepfake), đặc biệt là giả mạo nhép môi (lip-sync) vốn khó phát hiện do biến đổi chỉ tập trung ở vùng miệng. Luận văn này đề xuất một khung phát hiện đa phương thức chú trọng vùng không gian (region-aware multimodal framework). Hệ thống chia video thành các cửa sổ 3 giây, sử dụng EfficientNet-B3 để trích xuất đặc trưng hình ảnh theo vùng và Wav2Vec2-Base cho âm thanh, kết hợp với các cơ chế chú ý liên phương thức (cross-modal attention) để phát hiện sự mất bất cân thích giữa hình ảnh và âm thanh. Trên dữ liệu thử nghiệm, mô hình đạt kết quả ấn tượng với ROC-AUC trung bình 95.27%, Balanced Accuracy 88.65% và EER 10.51% trên hai tập dữ liệu AVLips và FakeAVCeleb, hỗ trợ phân loại Real/Fake cũng như trực quan hóa bằng chứng giả mạo cho toàn bộ video.
Bản toàn văn lưu tại thư viện Trường Đại học Cần Thơ

Thông tin và tóm tắt ở trên lấy từ kho số mở của thư viện trường. Bản toàn văn do thư viện trường quản lý — có nơi cho đọc trực tuyến, có nơi cần tài khoản bạn đọc của trường.

Mở tại thư viện trường ↗
Dùng tài liệu tham khảo cho đúng
  • Đọc để hiểu cách người trước đặt câu hỏi, chọn phương pháp, trình bày số liệu — rồi tự làm với dữ liệu và bối cảnh của bạn.
  • Ý, số liệu, bảng biểu lấy từ tài liệu này phải trích dẫn (tác giả, năm, tên đề tài, cơ sở đào tạo).
  • Đề tài trùng tên vẫn làm được nếu khác đơn vị khảo sát, thời gian hoặc cách tiếp cận — nêu rõ điểm khác trong phần mở đầu.

Hướng dẫn chọn đề tài, cấu trúc và số liệu cho ngành này: Luận văn công nghệ thông tin · Hỏi đáp từng chương với người hướng dẫn số: Học Giả Số · Công cụ số: Luận Văn Số.

Đề tài cùng ngành

Tác giả muốn gỡ, sửa thông tin hoặc bổ sung bản toàn văn: gửi yêu cầu qua trang Liên hệ, kèm đường dẫn trang này.