افزایش دقت پاسخ‌ها در سیستم‌های RAG

درباره این جلسه

در جلسات ششم و هفتم، مراحل اصلی ساخت یک سیستم RAG را تکمیل کردیم؛ از تقسیم‌بندی اسناد (Chunking) و ساخت جاسازی‌ها (Embeddings) گرفته تا بازیابی اطلاعات مرتبط (Retrieval) و تولید پاسخ (Generation). در پایان این مرحله، محصلان یک سیستم RAG کامل در اختیار دارند که می‌تواند بر اساس محتوای اسناد به پرسش‌ها پاسخ دهد.

اما داشتن یک سیستم RAG به‌تنهایی کافی نیست. حتی زمانی که مدل به اطلاعات درست دسترسی دارد، ممکن است از آن‌ها پیروی نکند و بر اساس دانش عمومی یا حدس خود پاسخ تولید کند؛ پدیده‌ای که به آن  (Hallucination)  گفته می‌شود. به همین دلیل، در این جلسه تمرکز ما بر طراحی بهتر  Prompt خواهد بود تا مدل یاد بگیرد تنها بر اساس اطلاعات موجود در  (Context) پاسخ دهد و از ارائه پاسخ‌های حدسی خودداری کند.

موضوعات این جلسه

۱. بررسی پروژه‌های محصلان

در ابتدای جلسه، پروژه‌های RAG محصلان را بررسی می‌کنیم و عملکرد سیستم هر محصل را مرور خواهیم کرد. در این بخش، به چند سؤال مهم پاسخ می‌دهیم:

• آیا سیستم فقط مرتبط‌ترین بخش‌های سند (Top-K) را به مدل ارسال می‌کند یا تمام (Chunk) ها را؟

• آیا Prompt به مدل می‌گوید که فقط از Context استفاده کند؟

• آیا مدل در صورت نبود پاسخ، از حدس زدن خودداری می‌کند؟

• آیا خروجی نهایی فقط پاسخ مدل است یا کل شیء (Object) برگشت داده می‌شود؟

در پایان این بخش، نقاط قوت و بخش‌های قابل بهبود هر پروژه مشخص خواهد شد.

۲. طراحی Prompt مبتنی بر منبع (Grounded Prompt Design)

در این بخش یاد می‌گیریم چگونه یک System Prompt طراحی کنیم که مدل را ملزم کند تنها بر اساس Context ارائه‌شده پاسخ دهد و از استفاده از دانش عمومی خودداری کند.

همچنین دو قانون ساده اما بسیار مهم را به Prompt اضافه می‌کنیم:

• فقط بر اساس Context پاسخ بده.

• اگر پاسخ در Context وجود ندارد، صادقانه اعلام کن که پاسخ در سند موجود نیست و از حدس زدن خودداری کن.

همچنین ساختار ساده و مؤثر یک Prompt مناسب برای سیستم‌های RAG را بررسی خواهیم کرد:

• Rules

• Context

• Question

۳. بهبود کیفیت بازیابی با(Top-K) 

در ادامه بررسی می‌کنیم که چرا ارسال تمام Chunkهای سند همیشه بهترین انتخاب نیست و چگونه استفاده از     (Top-K Retrieval) می‌تواند کیفیت پاسخ‌ها را افزایش دهد.

در این جلسه، سیستم را طوری تغییر می‌دهیم که فقط سه Chunk با بیشترین شباهت (Top-K = 3) به مدل ارسال شوند تا Context کوتاه‌تر، مرتبط‌تر و دقیق‌تر باشد.

در پایان، سیستم را با دو سؤال آزمایش خواهیم کرد:

1. یک سؤال که پاسخ آن در سند وجود دارد.

2. یک سؤال که پاسخ آن در سند وجود ندارد.

پایان جلسه

تا پایان این جلسه، محصلان سیستم RAG خود را از نظر کیفیت پاسخ بهبود خواهند داد. آن‌ها یاد می‌گیرند که تنها داشتن بازیابی اطلاعات کافی نیست؛ بلکه طراحی صحیح Prompt و انتخاب Top-K مناسب نیز نقش مهمی در تولید پاسخ‌های دقیق و قابل اعتماد دارد.