LuanVan.vnLuận Văn
Gửi thư

A SYSTEM FOR GENERATING RECIPES FROM FOOD IMAGES BASED ON VISION-LANGUAGE MODELS

Khoá luận tốt nghiệp · Đại học · năm 2025 · đề tài tham khảo

Loại tài liệuKhoá luận tốt nghiệp
Bậc họcĐại học
NgànhCông nghệ thông tin
Tác giảPhạm Thị Ngọc Thơ
Người hướng dẫnLâm Nhựt Khang
Cơ sở đào tạoTrường Đại học Cần Thơ
Năm2025
NguồnThư viện số Trường Đại học Cần Thơ · trang gốc

Tóm tắt

Generating complete cooking recipes from food images is a challenging multimodal problem that requires not only accurate visual understanding but also grounded reasoning to infer ingredients, quantities, and cooking procedures. The task is inherently ambiguous, as a single food image may correspond to multiple valid recipes, and existing vision-language models often suffer from hallucination, producing ingredients or steps that are not visually supported. These limitations significantly reduce the reliability of such systems for real-world culinary applications. This thesis investigates the problem of image-to-recipe generation by systematically comparing two fundamentally different approaches. The first approach employs an end-to-end vision-language model based on LLaVA, fine-tuned on a curated dataset of 9,489 food image-recipe pairs, enabling direct generation of recipe titles, ingredients, and cooking steps from visual input. The second approach proposes a modular retrieval-augmented generation (RAG) pipeline, which integrates a fine-tuned BLIP model for visual feature extraction, a vector-based datastore for retrieving semantically relevant recipe information, and a GPT - based language model for composing the final recipe grounded in retrieved evidence. To evaluate the effectiveness of both approaches, a comprehensive experimental framework is established. Quantitative evaluation includes CLIPScore to measure image - text semantic alignment, along with BLEU, ROUGE, and METEOR scores to assess linguistic quality and content overlap with reference recipes. In addition, qualitative error analysis is conducted to examine hallucination patterns, ingredient omission, and step inconsistency. The results indicate that while the fine-tuned LLaVA model produces more fluent and coherent text, it exhibits a higher tendency to hallucinate ingredients and cooking actions. In contrast, the BLIP+RAG pipeline demonstrates stronger grounding capabilities, yielding more accurate and visually consistent ingredient lists and procedural steps. Overall, this study highlights the limitations of purely end-to-end multimodal generation for complex reasoning tasks such as recipe synthesis and demonstrates that retrieval - augmented architectures can significantly reduce hallucination and improve factual consistency. The findings suggest that modular, grounded pipelines provide a more reliable and interpretable solution for practical image-to-recipe generation systems, with potential applications in smart cooking assistants, dietary recommendation platforms, and accessible culinary technologies.
Bản toàn văn lưu tại thư viện Trường Đại học Cần Thơ

Thông tin và tóm tắt ở trên lấy từ kho số mở của thư viện trường. Bản toàn văn do thư viện trường quản lý — có nơi cho đọc trực tuyến, có nơi cần tài khoản bạn đọc của trường.

Mở tại thư viện trường ↗
Dùng tài liệu tham khảo cho đúng
  • Đọc để hiểu cách người trước đặt câu hỏi, chọn phương pháp, trình bày số liệu — rồi tự làm với dữ liệu và bối cảnh của bạn.
  • Ý, số liệu, bảng biểu lấy từ tài liệu này phải trích dẫn (tác giả, năm, tên đề tài, cơ sở đào tạo).
  • Đề tài trùng tên vẫn làm được nếu khác đơn vị khảo sát, thời gian hoặc cách tiếp cận — nêu rõ điểm khác trong phần mở đầu.

Hướng dẫn chọn đề tài, cấu trúc và số liệu cho ngành này: Luận văn công nghệ thông tin · Hỏi đáp từng chương với người hướng dẫn số: Học Giả Số · Công cụ số: Luận Văn Số.

Đề tài cùng ngành

Tác giả muốn gỡ, sửa thông tin hoặc bổ sung bản toàn văn: gửi yêu cầu qua trang Liên hệ, kèm đường dẫn trang này.