LuanVan.vnLuận Văn
Gửi thư

COOKING RECIPE GENERATION FROM FOOD IMAGES USING VISIONLANGUAGE MODEL

Khoá luận tốt nghiệp · Đại học · năm 2024 · đề tài tham khảo

Loại tài liệuKhoá luận tốt nghiệp
Bậc họcĐại học
NgànhCông nghệ thông tin
Tác giảLê Phương Trung; Ngũ Công Khanh
Người hướng dẫnLâm Nhựt Khang
Cơ sở đào tạoTrường Đại học Cần Thơ
Năm2024
NguồnThư viện số Trường Đại học Cần Thơ · trang gốc

Tóm tắt

Computer vision and natural language processing are becoming more popular and dominating deep learning field, tackling real practical problems. Specifically, with the advances of large language models, those models can handle almost as many as the most difficult tasks in deep learning such as computer vision, and among others. The current problem with image-to-recipe methods is retrieval-based and their success are heavily due to the dataset’s quantitative and qualitative attributes, as well as the quality of learned embeddings. Meanwhile, the introduction of powerful attention-based vision and language models presents a promising avenue for accurate and generalizable recipe generation, which has yet to be extensively explored. The idea is to leverage the BLIP model to extract and generate titles, take advantage of a collection of open-sourced multimodal large language models Llama 3.2, Mistral and Llama 3.2-Vision in various scale, optimizing for specialized tasks such as visual recognition, image captioning, reasoning, and instruction. Empirical results demonstrate the effectiveness of our approach, underscoring the potential for future developments in this field. Our models achieved notable BLEU and ROUGE scores, with Mistral 7B and Llama 3.2 8B finetuned versions generating clear and effective cooking instructions. Mistral 7B scored 0.38 and Llama 3.2 8B scored 0.353 in BLEU, respectively. The Llama 3 Vision model, with prompt engineering techniques, achieved the highest BLEU score of 0.5. Additionally, CIDEr scores further reflect the models’ alignment with human judgment, with Llama 3 Vision achieving the highest score of 1.076, underscoring its strong performance in generating semantically accurate and human-like recipe descriptions.
Bản toàn văn lưu tại thư viện Trường Đại học Cần Thơ

Thông tin và tóm tắt ở trên lấy từ kho số mở của thư viện trường. Bản toàn văn do thư viện trường quản lý — có nơi cho đọc trực tuyến, có nơi cần tài khoản bạn đọc của trường.

Mở tại thư viện trường ↗
Dùng tài liệu tham khảo cho đúng
  • Đọc để hiểu cách người trước đặt câu hỏi, chọn phương pháp, trình bày số liệu — rồi tự làm với dữ liệu và bối cảnh của bạn.
  • Ý, số liệu, bảng biểu lấy từ tài liệu này phải trích dẫn (tác giả, năm, tên đề tài, cơ sở đào tạo).
  • Đề tài trùng tên vẫn làm được nếu khác đơn vị khảo sát, thời gian hoặc cách tiếp cận — nêu rõ điểm khác trong phần mở đầu.

Hướng dẫn chọn đề tài, cấu trúc và số liệu cho ngành này: Luận văn công nghệ thông tin · Hỏi đáp từng chương với người hướng dẫn số: Học Giả Số · Công cụ số: Luận Văn Số.

Đề tài cùng ngành

Tác giả muốn gỡ, sửa thông tin hoặc bổ sung bản toàn văn: gửi yêu cầu qua trang Liên hệ, kèm đường dẫn trang này.