IMPROVING IMAGE CAPTION USING CLIP
Khoá luận tốt nghiệp · Đại học · năm 2024 · đề tài tham khảo
| Loại tài liệu | Khoá luận tốt nghiệp |
|---|---|
| Bậc học | Đại học |
| Ngành | Công nghệ thông tin |
| Tác giả | Dương Thị Yến Nhi |
| Người hướng dẫn | Trần Công Án |
| Cơ sở đào tạo | Trường Đại học Cần Thơ |
| Năm | 2024 |
| Nguồn | Thư viện số Trường Đại học Cần Thơ · trang gốc |
Tóm tắt
Image captioning, the task of generating textual descriptions for visual content, has seen significant advancements with the integration of pre-trained vision-language models. This work explores the application of CLIP’s robust cross-modal embeddings in a CLIPbased captioning framework. The proposed method employs CLIP as a foundational model and fine-tunes a lightweight transformer-based decoder on top of CLIP embeddings. By retaining the pre-trained weights of CLIP and adjusting only the "Prefix" and "Decoder" modules, the framework ensures efficient and contextually rich caption generation. The model is evaluated using standard datasets to assess its performance. The integration of CLIP-based embeddings addresses the limitations of traditional image captioning models, such as the need for extensive task-specific training. By exploiting pre-trained representations, this approach reduces computational requirements while enhancing descriptive accuracy and semantic relevance. The method achieves competitive results on standard metrics like CIDEr, BLEU, and SPICE, demonstrating substantial improvements in caption quality and relevance. This research highlights the potential of CLIP-based architectures for building efficient and high-performing image captioning systems. Secifically, the ROUGE-L, CIDEr, SPICE and training time of CLIP + GPT2 using Conceptual captions are 26.71, 87.26, 18.5 and 65 hours. For COCO Captions the B@4, METER, CIDEr, SPICE and training time of CLIP + GPT2; transformer are 33.53, 28.43, 113.08, 21.05 and 6 hours.
Bản toàn văn lưu tại thư viện Trường Đại học Cần Thơ
Thông tin và tóm tắt ở trên lấy từ kho số mở của thư viện trường. Bản toàn văn do thư viện trường quản lý — có nơi cho đọc trực tuyến, có nơi cần tài khoản bạn đọc của trường.
Mở tại thư viện trường ↗
Dùng tài liệu tham khảo cho đúng
- Đọc để hiểu cách người trước đặt câu hỏi, chọn phương pháp, trình bày số liệu — rồi tự làm với dữ liệu và bối cảnh của bạn.
- Ý, số liệu, bảng biểu lấy từ tài liệu này phải trích dẫn (tác giả, năm, tên đề tài, cơ sở đào tạo).
- Đề tài trùng tên vẫn làm được nếu khác đơn vị khảo sát, thời gian hoặc cách tiếp cận — nêu rõ điểm khác trong phần mở đầu.
Hướng dẫn chọn đề tài, cấu trúc và số liệu cho ngành này: Luận văn công nghệ thông tin · Hỏi đáp từng chương với người hướng dẫn số: Học Giả Số · Công cụ số: Luận Văn Số.
Đề tài cùng ngành
- ỨNG DỤNG DI ĐỘNG GIÁM SÁT VÀ ĐÁNH GIÁ CHẤT LƯỢNG DỊCH VỤ VỆ SINH TRONG TÒA NHÀ
- PHÁT TRIỂN HỆ THỐNG QUẢN LÝ KHO HÀNG TÍCH HỢP DỊCH VỤ XÁC THỰC TẬP TRUNG (OAuth2 Google, JWT) THEO KIẾN TRÚC MICROSERVICE
- TỐI ƯU VÀ ỨNG DỤNG GAUSSIAN SPLATTING TRONG XÂY DỰNG MÔ HÌNH 3D TỪ DỮ LIỆU 2D
- TEACHING AND LEARNING MANAGEMENT SYSTEM FOR ENGLISH LANGUAGE CENTERS
- HỆ THỐNG GIỚI THIỆU NHÀ TRẺ THUỘC THÀNH PHỐ CẦN THƠ
- XÂY DỰNG GAME ĐUA XE VỚI BỘ CÔNG CỤ UNITY
- A MANAGEMENT SYSTEM FOR FAST FOOD SHOPS
- WEBSITE KINH DOANH VẢI TÍCH HỢP CHỨC NĂNG TÌM KIẾM QUA HÌNH ẢNH DỰA TRÊN GIẢI THUẬT PHÂN LỚP
Tác giả muốn gỡ, sửa thông tin hoặc bổ sung bản toàn văn: gửi yêu cầu qua trang Liên hệ, kèm đường dẫn trang này.