استكشف تطور وتقدم أنظمة الجيل المعزز بالاسترجاع (RAG). تعلم كيف يعزز RAG نماذج اللغة الكبيرة (LLMs) بالمعرفة الخارجية.
مقدمة
يبرز الجيل المعزز بالاسترجاع (RAG) كحل واعد لمواجهة التحديات الكامنة في العمل مع نماذج اللغة الكبيرة (LLMs)، بما في ذلك الفجوات المعرفية في المجالات المتخصصة، مشكلات الدقة الواقعية، والهلوسة. من خلال دمج مصادر المعرفة الخارجية مثل قواعد البيانات، يعزز RAG نماذج LLMs، مما يجعلها ذات قيمة خاصة في البيئات الغنية بالمعرفة أو التطبيقات الخاصة بالمجالات التي تتطلب معرفة محدثة. على عكس الطرق الأخرى، لا يتطلب RAG إعادة تدريب نماذج LLMs لمهام محددة، وهي ميزة كبيرة. شعبيته الأخيرة، خاصة في وكلاء المحادثة، تؤكد على أهميته.
يقدم استطلاع حديث أجراه Gao et al. (2023) رؤى قيمة حول النتائج الرئيسية لـ RAG، والتطبيقات العملية، والنهج المتطورة. يتعمق الاستطلاع في المكونات المختلفة لأنظمة RAG، بما في ذلك تقنيات الاسترجاع والتوليد والتعزيز، ويدرس منهجيات التقييم والتطبيقات والتقنيات المرتبطة بها.
ما هو RAG
يعزز الجيل المعزز بالاسترجاع (RAG) أداء نماذج اللغة الكبيرة من خلال دمج مراجع من قواعد المعرفة الخارجية الموثوقة، مما يكمل بيانات التدريب الواسعة للنموذج. تستفيد نماذج اللغة الكبيرة (LLMs) من مجموعات البيانات الضخمة ومليارات المعلمات لتوليد ردود لمهام مثل الإجابة على الأسئلة، الترجمة اللغوية، وإكمال النص. يوسع RAG قدرات نماذج LLMs من خلال تخصيصها لمجالات محددة أو قواعد المعرفة الداخلية للمؤسسات، دون الحاجة إلى إعادة تدريب النموذج. يوفر هذا النهج وسيلة فعالة من حيث التكلفة لتعزيز مخرجات LLM لضمان ملاءمتها ودقتها وفائدتها عبر سياقات متنوعة.
المكونات الرئيسية لـ RAG
يمكننا تقسيم العملية إلى الخطوات/المكونات التالية:
- المدخلات: يشير هذا إلى السؤال المقدم لنظام LLM. بدون RAG، يستجيب LLM مباشرة لهذا السؤال.
- الفهرسة: عند استخدام RAG، يتم فهرسة مجموعة من المستندات ذات الصلة. يتضمن ذلك تقسيم المستندات إلى أجزاء، إنشاء تمثيلات متجهة (embeddings) لهذه الأجزاء، ثم فهرستها في مخزن متجه. أثناء الاستدلال، يتم تضمين الاستعلام بطريقة مماثلة.
- الاسترجاع: يتم استرجاع المستندات ذات الصلة من خلال مقارنة الاستعلام مع المتجهات المفهرسة، مما يؤدي إلى اختيار “المستندات ذات الصلة”.
- التوليد: يتم دمج المستندات المسترجعة مع المطالبة الأصلية لتوفير سياق إضافي. يتم إدخال هذا النص المدمج والمطالبة إلى النموذج لتوليد الرد، مما ينتج عنه المخرجات النهائية المقدمة للمستخدم.
في مثال معين، قد يفشل الاعتماد فقط على النموذج دون RAG في الاستجابة بشكل كافٍ بسبب نقص المعرفة المحدثة. على العكس، فإن استخدام RAG يمكّن النظام من الوصول إلى المعلومات اللازمة للإجابة على السؤال بدقة.
نماذج RAG
في السنوات الأخيرة، حدث تطور في أنظمة RAG، وتقدمًا من RAG البسيط (Naive RAG) إلى RAG المتقدم (Advanced RAG) و RAG المعياري (Modular RAG). يهدف هذا التقدم إلى التغلب على تحديات محددة تتعلق بالأداء والتكلفة والكفاءة.
RAG البسيط (Naive RAG)
يعمل RAG البسيط من خلال العملية التقليدية للفهرسة والاسترجاع والتوليد كما هو موضح سابقًا. باختصار، يستخدم مدخلات المستخدم للاستعلام عن المستندات ذات الصلة، والتي يتم دمجها بعد ذلك مع مطالبة وتقديمها إلى النموذج لتوليد رد نهائي. إذا كان التطبيق يتضمن تفاعلات محادثة متعددة الأدوار، يمكن دمج تاريخ المحادثة في المطالبة.
ومع ذلك، فإن RAG البسيط له حدوده، بما في ذلك مشكلات الدقة المنخفضة (مما يؤدي إلى أجزاء مسترجعة غير متوافقة) وانخفاض معدل الاسترجاع (الفشل في استرجاع جميع الأجزاء ذات الصلة). هناك أيضًا خطر تغذية LLM بمعلومات قديمة، وهي مشكلة رئيسية تهدف أنظمة RAG إلى معالجتها في البداية. يمكن أن يؤدي ذلك إلى مشكلات الهلوسة وتوليد ردود ضعيفة وغير دقيقة.
بالإضافة إلى ذلك، عند تنفيذ التعزيز، قد تظهر مخاوف بشأن التكرار والتكرار. يتضمن التعامل مع عدة مقاطع مسترجعة اعتبارات تتعلق بالترتيب والتوفيق بين الأسلوب والنبرة. علاوة على ذلك، يكمن التحدي الكبير في ضمان عدم اعتماد مهمة التوليد بشكل مفرط على المعلومات المعززة، مما قد يؤدي إلى قيام النموذج بمجرد تكرار المحتوى المسترجع.
RAG المتقدم (Advanced RAG)
يقدم RAG المتقدم حلولاً لأوجه القصور الملاحظة في RAG البسيط، خاصة من خلال تعزيز جودة الاسترجاع. يشمل هذا التحسين تحسين العمليات قبل الاسترجاع، وأثناء الاسترجاع، وبعد الاسترجاع.
تتضمن مرحلة ما قبل الاسترجاع تحسين فهرسة البيانات من خلال خمس مراحل رئيسية: تحسين دقة البيانات، تحسين هياكل الفهرس، إضافة البيانات الوصفية، تحسين التوافق، والاسترجاع المختلط. تهدف هذه الإجراءات إلى رفع جودة البيانات المفهرسة.
يمكن تحقيق تحسين إضافي في مرحلة الاسترجاع من خلال تحسين نموذج التضمين نفسه. يؤثر هذا التحسين مباشرة على جودة أجزاء السياق. قد تشمل الاستراتيجيات ضبط التضمينات لتحسين صلة الاسترجاع أو استخدام تضمينات ديناميكية تلتقط الفروق الدقيقة في السياق بشكل أفضل (على سبيل المثال، نموذج embeddings-ada-02 من OpenAI).
يركز تحسين ما بعد الاسترجاع على تجنب قيود حجم نافذة السياق وإدارة المعلومات المشوشة أو المشتتة. إعادة الترتيب هي نهج شائع لمواجهة هذه التحديات، ويتضمن تقنيات مثل نقل السياق ذي الصلة إلى حواف المطالبة أو إعادة حساب التشابه الدلالي بين الاستعلام وأجزاء النص ذات الصلة. قد تساعد تقنيات ضغط المطالبة أيضًا في إدارة هذه المشكلات.
RAG المعياري (Modular RAG)
يعمل RAG المعياري، كما يشير اسمه، على تحسين وحدات الوظائف داخل إطار التوليد المعزز بالاسترجاع. يتضمن دمج وحدات مثل وحدة البحث للاسترجاع القائم على التشابه وتطبيق الضبط الدقيق في المسترجع. يمكن اعتبار كل من RAG البسيط و RAG المتقدم حالات محددة من RAG المعياري، حيث يتكونان من وحدات ثابتة. ومع ذلك، يقدم RAG الموسع وحدات إضافية مثل البحث والذاكرة والدمج والتوجيه والتنبؤ ومحول المهام، وكل منها يعالج تحديات متميزة. يمكن إعادة تكوين هذه الوحدات للتكيف مع سياقات المهام المحددة، مما يوفر لـ RAG المعياري تنوعًا ومرونة أكبر. تتيح هذه المرونة إضافة الوحدات أو استبدالها أو تعديلها بناءً على متطلبات المهمة.
مع زيادة المرونة في بناء أنظمة RAG، تم اقتراح تقنيات تحسين متنوعة لتحسين خطوط أنابيب RAG:
- استكشاف البحث المختلط: يجمع هذا النهج بين تقنيات البحث مثل البحث المستند إلى الكلمات المفتاحية والبحث الدلالي لاسترجاع معلومات ذات صلة وغنية بالسياق، وهو مفيد بشكل خاص لمعالجة أنواع الاستعلامات المتنوعة واحتياجات المعلومات.
- الاسترجاع التكراري ومحرك الاستعلام: يتضمن ذلك عملية استرجاع تكراري تبدأ بأجزاء دلالية صغيرة وتستعيد تدريجيًا أجزاء أكبر لإثراء السياق، مما يحقق توازنًا بين الكفاءة وثراء السياق.
- مطالبة التراجع (StepBack-prompt): تسمح تقنية المطالبة هذه لنماذج LLM بتجريد المفاهيم والمبادئ، وتوجيه التفكير نحو ردود أكثر رسوخًا. اعتماد هذه التقنية ضمن إطار RAG يمكّن نماذج LLM من تجاوز الحالات المحددة والتفكير بشكل أوسع عند الضرورة.
- الاستعلامات الفرعية: يمكن استخدام استراتيجيات استعلام مختلفة، مثل استعلامات الشجرة أو الاستعلام التسلسلي للأجزاء، لسيناريوهات مختلفة. على سبيل المثال، يقدم LlamaIndex محرك استعلام فرعي، يقسم الاستعلام إلى أسئلة متعددة تستخدم مصادر بيانات ذات صلة مختلفة.
- التضمينات الافتراضية للمستندات (HyDE): يقوم HyDE بتوليد إجابة افتراضية لاستعلام، ويقوم بتضمينها، ويستخدمها لاسترجاع مستندات مشابهة للإجابة الافتراضية بدلاً من استخدام الاستعلام مباشرة.
إطار عمل RAG
يقدم هذا القسم ملخصًا للتقدم الكبير في المكونات التي تشكل نظام RAG: الاسترجاع، التوليد، والتعزيز.
الاسترجاع
يتضمن الاسترجاع داخل نظام RAG استرجاع سياق عالي الصلة من مسترجع، والذي يمكن تعزيزه من خلال وسائل مختلفة:
تعزيز التمثيلات الدلالية:
يعد تحسين استراتيجيات التقسيم أمرًا بالغ الأهمية لاختيار استراتيجية التقسيم الأنسب بناءً على المحتوى ومتطلبات التطبيق. قد تتفوق النماذج المختلفة بأحجام كتل مختلفة، مثل محولات الجمل (sentence transformers) للجمل الفردية و text-embedding-ada-002 للكتل التي تحتوي على 256 أو 512 رمزًا (token). من الشائع تجربة استراتيجيات التقسيم المختلفة لتحسين الاسترجاع في نظام RAG، مع مراعاة عوامل مثل طول سؤال المستخدم والتطبيق وحدود الرموز.
قد يكون ضبط نماذج التضمين ضروريًا للمجالات المتخصصة لضمان فهم استعلامات المستخدم بدقة. يمكن ضبط نماذج التضمين مثل BGE-large-EN من BAAI للمعرفة الخاصة بالمجال أو المهام النهائية المحددة لتحسين صلة الاسترجاع.
مواءمة الاستعلامات والمستندات:
تركز تقنيات إعادة كتابة الاستعلام، مثل Query2Doc و ITER-RETGEN و HyDE، على تحسين الاستعلامات التي تفتقر إلى المعلومات الدلالية أو تحتوي على صياغة غير دقيقة.
يعمل تحويل التضمين على تحسين تضمينات الاستعلام لمواءمتها مع مساحة كامنة أكثر ارتباطًا بالمهمة المطروحة.
مواءمة المسترجع و LLM:
يستخدم ضبط المسترجعات إشارات التغذية الراجعة من نماذج LLM لتحسين نماذج الاسترجاع. تشمل الأمثلة المسترجع المحسن بالتكيف (AAR) و REPLUG و UPRISE.
يساعد دمج المحولات الخارجية، مثل PRCA و RECOMP و PKG، في عملية المواءمة بين المسترجعات ونماذج LLM.
التوليد
يلعب المولد داخل نظام RAG دورًا محوريًا في تحويل المعلومات المسترجعة إلى نص متماسك، مكونًا المخرجات النهائية للنموذج. غالبًا ما تتضمن هذه العملية بيانات إدخال متنوعة، مما يستلزم جهودًا لتحسين تكييف نموذج اللغة مع الإدخال المشتق من الاستعلامات والمستندات. يمكن تحقيق هذه التحسينات من خلال عمليات ما بعد الاسترجاع والضبط الدقيق:
ما بعد الاسترجاع مع LLM المجمد: يركز هذا النهج على تعزيز جودة نتائج الاسترجاع دون تعديل LLM نفسه. يتم استخدام عمليات مثل ضغط المعلومات وإعادة ترتيب النتائج. يساعد ضغط المعلومات في تقليل الضوضاء، ومعالجة قيود طول السياق، وتعزيز تأثيرات التوليد، بينما تعيد إعادة الترتيب ترتيب المستندات لإعطاء الأولوية للعناصر الأكثر صلة في الأعلى.
ضبط LLM لـ RAG: يضمن التحسين أو الضبط الدقيق للمولد أن النص المولد طبيعي ويستفيد بشكل فعال من المستندات المسترجعة، مما يحسن الأداء العام لنظام RAG.
التعزيز
يشمل التعزيز عملية دمج السياق من المقاطع المسترجعة مع مهمة التوليد الجارية بسلاسة. قبل التعمق أكثر في عملية التعزيز، بما في ذلك مراحلها وبياناتها، دعنا أولاً نؤسس تصنيفًا للمكونات الأساسية لـ RAG.
يمكن تطبيق التعزيز بالاسترجاع في مراحل مختلفة، بما في ذلك التدريب المسبق، الضبط الدقيق، والاستدلال.
مراحل التعزيز: على سبيل المثال، يوضح RETRO نظامًا يستخدم التعزيز بالاسترجاع للتدريب المسبق على نطاق واسع من الصفر من خلال دمج مشفر إضافي يعتمد على المعرفة الخارجية. يمكن أيضًا دمج الضبط الدقيق مع RAG لتعزيز وتحسين أنظمة RAG. خلال مرحلة الاستدلال، يتم استخدام العديد من التقنيات لدمج المحتوى المسترجع بشكل فعال لتلبية متطلبات المهام المحددة وتحسين عملية RAG بشكل أكبر.
مصدر التعزيز: تعتمد فعالية نموذج RAG بشكل كبير على اختيار مصادر بيانات التعزيز. يمكن تصنيف هذه المصادر إلى بيانات غير منظمة، منظمة، وبيانات متموّلة بواسطة LLM.
عملية التعزيز: لمعالجة المشكلات المعقدة مثل التفكير متعدد الخطوات، تم اقتراح طرق مختلفة:
- الاسترجاع التكراري: يتضمن إجراء دورات استرجاع متعددة لإثراء عمق المعلومات وملاءمتها. تشمل النهج البارزة التي تستفيد من هذه الطريقة RETRO و GAR-meets-RAG.
- الاسترجاع التكراري المتسلسل: يبني بشكل متكرر على ناتج خطوة استرجاع واحدة كمدخل لخطوة أخرى، مما يتيح استكشافًا أعمق للمعلومات ذات الصلة للاستعلامات المعقدة (مثل البحث الأكاديمي وتحليل القضايا القانونية). تشمل النهج البارزة IRCoT و Tree of Clarifications.
- الاسترجاع التكيفي: يخصص عملية الاسترجاع وفقًا لمتطلبات محددة من خلال تحديد اللحظات والمحتوى الأمثل للاسترجاع. تشمل النهج البارزة التي تستفيد من هذه الطريقة FLARE و Self-RAG.
يوفر الشكل أدناه تمثيلًا شاملاً لأبحاث RAG، يوضح جوانب التعزيز المختلفة، بما في ذلك المراحل والمصادر والعمليات.
تقييم RAG
يعد تقييم أداء نماذج RAG عبر سيناريوهات التطبيق المختلفة أمرًا بالغ الأهمية لفهم وتحسين فعاليتها. تقليديًا، ركز تقييم أنظمة RAG على قياس أدائها في المهام النهائية باستخدام مقاييس خاصة بالمهمة مثل F1 و EM. يبرز RaLLe كإطار بارز يستخدم لتقييم نماذج اللغة الكبيرة المعززة بالاسترجاع في المهام كثيفة المعرفة.
تشمل أهداف التقييم في RAG كلاً من الاسترجاع والتوليد، بهدف تقييم جودة كل من السياق المسترجع والمحتوى المولد. المقاييس الشائعة المستخدمة لتقييم جودة الاسترجاع مستمدة من مجالات مثل أنظمة التوصية واسترجاع المعلومات، بما في ذلك NDCG و Hit Rate. في الوقت نفسه، يتضمن تقييم جودة التوليد تقييم جوانب مثل الصلة والضرر للمحتوى غير الموسوم أو الدقة للمحتوى الموسوم. قد تشمل طرق تقييم RAG كلاً من الأساليب اليدوية والآلية.
يركز تقييم إطار RAG عادةً على ثلاث درجات جودة أساسية وأربع قدرات. تشمل درجات الجودة قياس صلة السياق (دقة وخصوصية السياق المسترجع)، إخلاص الإجابة (إخلاص الإجابات للسياق المسترجع)، وصلة الإجابة (صلة الإجابات بالأسئلة المطروحة). بالإضافة إلى ذلك، تساعد أربع قدرات في قياس قدرة نظام RAG على التكيف والكفاءة: متانة الضوضاء، الرفض السلبي، تكامل المعلومات، والمتانة ضد الافتراضات المضادة. فيما يلي ملخص للمقاييس المستخدمة لتقييم الجوانب المختلفة لنظام RAG:
يتم استخدام معايير مختلفة، مثل RGB و RECALL، لتقييم نماذج RAG. تم إنشاء أدوات مثل RAGAS و ARES و TruLens لأتمتة عملية تقييم أنظمة RAG. تستخدم بعض هذه الأنظمة نماذج LLM لتحديد درجات جودة معينة كما هو محدد أعلاه.
التحديات ومستقبل RAG
في هذه النظرة العامة، استكشفنا جوانب بحثية مختلفة لـ RAG واستراتيجيات مختلفة لتعزيز مكونات الاسترجاع والتعزيز والتوليد. فيما يلي العديد من التحديات التي أبرزها Gao et al., 2023، بينما نواصل تطوير وتحسين أنظمة RAG:
- طول السياق: مع استمرار نماذج LLM في توسيع حجم نافذة السياق، يشكل تكييف RAG لضمان التقاط سياق عالي الصلة وحاسم تحديات.
- المتانة: معالجة المعلومات المضادة للواقع والعدائية أمر بالغ الأهمية لقياس وتعزيز متانة أنظمة RAG.
- النهج الهجينة: يهدف البحث الجاري إلى فهم أفضل لكيفية تحسين استخدام كل من RAG والنماذج المضبوطة بدقة.
- توسيع أدوار LLM: هناك اهتمام متزايد بزيادة دور وقدرات نماذج LLM لتعزيز أنظمة RAG بشكل أكبر.
- قوانين القياس: لا يزال التحقيق في قوانين قياس LLM وتطبيقها على أنظمة RAG مجالًا يحتاج إلى مزيد من الفهم.
- RAG الجاهز للإنتاج: يتطلب تطوير أنظمة RAG بدرجة إنتاجية التميز الهندسي عبر مجالات مختلفة، بما في ذلك الأداء والكفاءة وأمن البيانات والخصوصية.
- RAG متعدد الوسائط: بينما ركزت أبحاث RAG بشكل أساسي على المهام النصية، هناك اهتمام متزايد بتوسيع الوسائط لدعم نطاق أوسع من المجالات مثل الصورة والصوت والفيديو والكود.
- التقييم: يتطلب بناء تطبيقات معقدة باستخدام RAG مقاييس وأدوات تقييم دقيقة لتقييم الصلة السياقية والإبداع وتنوع المحتوى والواقعية والمزيد. بالإضافة إلى ذلك، هناك حاجة إلى تحسين أبحاث وأدوات قابلية التفسير لـ RAG.
كيفية دمج RAG مع نماذج اللغة الكبيرة
يتضمن تنفيذ الجيل المعزز بالاسترجاع (RAG) مع نماذج اللغة الكبيرة (LLMs) عدة خطوات، بما في ذلك إعداد مجموعة البيانات ودمجها في إعداد LLM. تمكن هذه العملية LLM من الاستفادة من تقنيات الاسترجاع وتوليد إجابات أكثر دقة وملاءمة من الناحية السياقية.
شاهد كيفية دمج LLM الخاص بك مع تقنية RAG في مدونتنا: دليل خطوة بخطوة لدمج الجيل المعزز بالاسترجاع (RAG) مع نماذج اللغة الكبيرة
المصدر: novita.ai
الخلاصة
باختصار، كان تطور أنظمة RAG سريعًا، تميز بظهور نماذج متقدمة تقدم التخصيص وتعزز الأداء والفائدة عبر مجالات متنوعة. أدى الطلب المتزايد على تطبيقات RAG إلى تطوير طرق لتحسين مكوناتها المختلفة. من المنهجيات الهجينة إلى الاسترجاع الذاتي، يتم حاليًا استكشاف مجموعة واسعة من مجالات البحث في نماذج RAG الحديثة.
novita.ai، المنصة الشاملة للإبداع غير المحدود التي تمنحك الوصول إلى أكثر من 100 واجهة برمجة تطبيقات (API). بدءًا من توليد الصور ومعالجة اللغة إلى تحسين الصوت ومعالجة الفيديو، الدفع حسب الاستخدام بتكلفة منخفضة، يحررك من متاعب صيانة وحدة معالجة الرسوميات (GPU) أثناء بناء منتجاتك الخاصة. جربه مجانًا.
قراءة موصى بها
محرك استدلال نماذج LLM من Novita AI: أكبر إنتاجية وأرخص استدلال متاح
