LuanVan.vnLuận Văn
Gửi thư

PHÂN TÍCH CẢM XÚC ĐA PHƯƠNG THỨC TRÊN ẢNH VÀ VĂN BẢN VỚI CLIP VÀ CƠ CHẾ CHÚ Ý CHÉO

Khoá luận tốt nghiệp · Đại học · năm 2026 · đề tài tham khảo

Loại tài liệuKhoá luận tốt nghiệp
Bậc họcĐại học
NgànhCông nghệ thông tin
Tác giảPhan Nhật Kha
Người hướng dẫnPhạm Thế Phi
Cơ sở đào tạoTrường Đại học Cần Thơ
Năm2026
NguồnThư viện số Trường Đại học Cần Thơ · trang gốc

Tóm tắt

Trong những năm gần đây, sự phát triển nhanh chóng của các nền tảng mạng xã hội đã tạo ra một lượng lớn dữ liệu đa phương thức, trong đó hình ảnh và văn bản thường được kết hợp để thể hiện quan điểm và cảm xúc của người dùng. Các phương pháp phân tích cảm xúc truyền thống chỉ khai thác một phương thức dữ liệu còn nhiều hạn chế trong việc nắm bắt thông tin ngữ nghĩa bổ sung giữa các nguồn dữ liệu khác nhau. Xuất phát từ thực tế đó, luận văn đề xuất một phương pháp phân tích cảm xúc đa phương thức dựa trên sự kết hợp giữa mô hình CLIP và cơ chế chú ý chéo nhằm tăng cường khả năng tương tác ngữ nghĩa giữa đặc trưng hình ảnh và văn bản. Luận văn trước hết nghiên cứu cơ sở lý thuyết về phân tích cảm xúc đa phương thức, mô hình CLIP và cơ chế chú ý chéo, đồng thời khảo sát các nghiên cứu tiêu biểu trong lĩnh vực. Trên cơ sở đó, một mô hình phân loại cảm xúc đa phương thức được xây dựng, trong đó CLIP ViT-B/32 được sử dụng để trích xuất đặc trưng của hình ảnh và văn bản, còn cơ chế chú ý chéo được áp dụng để hợp nhất hiệu quả hai phương thức trước khi thực hiện phân loại cảm xúc. Mô hình được huấn luyện và đánh giá trên bộ dữ liệu MVSA-Single với ba lớp cảm xúc gồm tích cực, trung lập và tiêu cực. Kết quả thực nghiệm cho thấy mô hình đề xuất đạt độ chính xác là 76,77% và chỉ số F1 là 75,60%, vượt trội so với nhiều phương pháp phân tích cảm xúc đa phương thức tiêu biểu trên cùng bộ dữ liệu. Những kết quả này khẳng định rằng việc kết hợp CLIP với cơ chế chú ý chéo giúp nâng cao khả năng học biểu diễn đa phương thức và cải thiện hiệu quả phân loại cảm xúc. Từ khóa: Phân tích cảm xúc đa phương thức, CLIP, Cơ chế chú ý chéo, Mô hình thị giác - ngôn ngữ, MVSA-Single. ABSTRACT In recent years, the rapid growth of social media platforms has led to an increasing amount of multimodal data, where images and text are often combined to express users' opinions and emotions. Traditional sentiment analysis methods that rely on a single modality are limited in their ability to capture the complementary semantic information contained in different data sources. Motivated by this challenge, this thesis proposes a multimodal sentiment analysis approach that integrates the Contrastive Language–Image Pre-training (CLIP) model with a CrossAttention mechanism to enhance semantic interaction between visual and textual features. The study first investigates the theoretical foundations of multimodal sentiment analysis, CLIP, and Cross-Attention, followed by a review of representative related works. Based on these foundations, a multimodal sentiment classification model is developed in which CLIP ViT-B/32 is employed to extract feature representations from both images and text, while the Cross-Attention module is used to effectively fuse the two modalities before sentiment classification. The proposed model is trained and evaluated on the MVSA-Single dataset, which consists of three sentiment categories: positive, neutral, and negative. Experimental results demonstrate that the proposed model achieves an Accuracy of 76.77% and an F1-score of 75.60%, outperforming several representative multimodal sentiment analysis methods on the same dataset. These results confirm that the combination of CLIP and Cross-Attention effectively improves multimodal representation learning and enhances sentiment classification performance. Keywords: Multimodal Sentiment Analysis, CLIP, Cross-Attention, Vision -Language Model, MVSA-Single.
Bản toàn văn lưu tại thư viện Trường Đại học Cần Thơ

Thông tin và tóm tắt ở trên lấy từ kho số mở của thư viện trường. Bản toàn văn do thư viện trường quản lý — có nơi cho đọc trực tuyến, có nơi cần tài khoản bạn đọc của trường.

Mở tại thư viện trường ↗
Dùng tài liệu tham khảo cho đúng
  • Đọc để hiểu cách người trước đặt câu hỏi, chọn phương pháp, trình bày số liệu — rồi tự làm với dữ liệu và bối cảnh của bạn.
  • Ý, số liệu, bảng biểu lấy từ tài liệu này phải trích dẫn (tác giả, năm, tên đề tài, cơ sở đào tạo).
  • Đề tài trùng tên vẫn làm được nếu khác đơn vị khảo sát, thời gian hoặc cách tiếp cận — nêu rõ điểm khác trong phần mở đầu.

Hướng dẫn chọn đề tài, cấu trúc và số liệu cho ngành này: Luận văn công nghệ thông tin · Hỏi đáp từng chương với người hướng dẫn số: Học Giả Số · Công cụ số: Luận Văn Số.

Đề tài cùng ngành

Tác giả muốn gỡ, sửa thông tin hoặc bổ sung bản toàn văn: gửi yêu cầu qua trang Liên hệ, kèm đường dẫn trang này.