معرفی جلسه

در جلسه ششم با مفهوم RAG (Retrieval-Augmented Generation) آشنا شدیم و دیدیم که یک سیستم RAG معمولاً از چهار مرحله اصلی تشکیل می‌شود:

Chunking → Embedding → Retrieval → Generation

در آن جلسه، دو مرحله نخست را به‌صورت عملی پیاده‌سازی کردیم. ابتدا سند را به بخش‌های کوچک‌تر (Chunk) تقسیم کردیم و سپس برای هر بخش یک Embedding ساختیم.

با این حال، سیستم ما هنوز کامل نبود؛ زیرا فقط داده‌ها را برای جستجو آماده کرده بودیم و هنوز نمی‌توانستیم بر اساس سؤال کاربر، اطلاعات مرتبط را پیدا کرده و پاسخ مناسبی تولید کنیم.

در جلسه هفتم، ادامه همین مسیر را دنبال می‌کنیم و دو مرحله پایانی RAG را نیز پیاده‌سازی خواهیم کرد. تمرکز اصلی این جلسه بر این است که چگونه از Embedding‌های ذخیره‌شده برای یافتن مرتبط‌ترین بخش‌های سند استفاده کنیم، آن‌ها را به‌عنوان Context در اختیار مدل قرار دهیم و در نهایت با کمک یک LLM پاسخ دقیق و مبتنی بر منبع تولید کنیم.

موضوعات این جلسه

۱. Retrieval (بازیابی اطلاعات)

یاد می‌گیریم چگونه با استفاده از Cosine Similarity (یا معیارهای مشابه)، میزان شباهت بین Embedding سؤال کاربر و Embedding‌های ذخیره‌شده را محاسبه کنیم و مرتبط‌ترین بخش‌های سند (Top-K Chunks) را پیدا کنیم.

۲. Prompt Augmentation

بررسی می‌کنیم که چگونه Context بازیابی‌شده را همراه با سؤال کاربر داخل یک Prompt قرار دهیم تا مدل فقط بر اساس همان اطلاعات، پاسخ تولید کند.

۳. Generation (تولید پاسخ)

یاد می‌گیریم چگونه از یک مدل زبانی بزرگ (LLM) مانند Ollama یا Gemini برای تولید پاسخ نهایی استفاده کنیم؛ پاسخی که بر اساس اطلاعات بازیابی‌شده از سند باشد، نه بر اساس حدس یا دانش عمومی مدل.