كيف نجعل نماذج اللغة الكبيرة أفضل في الترجمة؟

مقدمة

في هذه المدونة، نتعمق في عالم نماذج اللغة الكبيرة (LLMs) الرائع وقدراتها في أداء مهام الترجمة. مستوحاة من الورقة الأكاديمية بعنوان “الترجمة الآلية التكيفية باستخدام نماذج اللغة الكبيرة”، سنستكشف الأسئلة التالية:

• كيف تؤدي نماذج اللغة الكبيرة الترجمة دون أي تدريب إضافي أو ضبط دقيق؟
• ما الاستراتيجيات التي يمكن استخدامها لتعزيز أدائها في الترجمة؟
• كيف يمكننا تبني هذه الاستراتيجيات لجعل نموذج اللغة الكبيرة الخاص بنا ماهرًا في الترجمة؟
• ما الاتجاهات المستقبلية الواعدة لتحسين الترجمة باستخدام نماذج اللغة الكبيرة؟

إذا كنت مهتمًا، فقط استمر في القراءة!

كيف تؤدي نماذج اللغة الكبيرة مهام الترجمة؟

ما قبل التدريب:

تبدأ نماذج اللغة الكبيرة بمرحلة تسمى ما قبل التدريب، حيث تتعرض لكمية هائلة من البيانات النصية بلغات متعددة. يساعدها ذلك على تعلم الأنماط والقواعد والمفردات والعلاقات بين الكلمات والعبارات عبر اللغات.

فهم السياق:

عند إعطاء جملة للترجمة، يستخدم نموذج اللغة الكبيرة فهمه للسياق لتفسير معنى الكلمات وبنية الجملة الكلية.

توليد التسلسل:

ثم يولد النموذج ترجمة من خلال التنبؤ بأكثر تسلسل كلمات احتمالاً في اللغة الهدف يتوافق مع جملة الإدخال.

الطبيعة التلقائية الانحدار:

غالبًا ما تستخدم نماذج اللغة الكبيرة نهجًا تلقائيًا انحدارياً، حيث تتنبأ بالكلمة التالية في التسلسل بناءً على الكلمات المولدة سابقًا. يستمر هذا حتى يولد النموذج رمز نهاية الجملة أو يصل إلى طول محدد مسبقًا.

بحث الشعاع:

لتحسين جودة الترجمة، قد تستخدم نماذج اللغة الكبيرة تقنيات مثل بحث الشعاع، الذي يوسع فرضيات ترجمة متعددة في وقت واحد ويختار الأكثر احتمالاً بناءً على دالة تسجيل.

معالجة الغموض:

صُممت نماذج اللغة الكبيرة للتعامل مع الغموض في اللغة عن طريق اختيار ترجمات أكثر احتمالاً إحصائياً بالنظر إلى السياق، حتى إذا كانت الترجمات المتعددة صحيحة نحويًا.

ما بعد المعالجة:

بعد توليد الترجمة، قد تطبق بعض النماذج خطوات ما بعد المعالجة لتحسين المخرجات، مثل تصحيح القواعد، أو تعديل ترتيب الكلمات، أو حل أي حالات شاذة.

كيف يمكن لنماذج اللغة الكبيرة أداء مهام الترجمة بشكل أفضل؟

أُجريت التجارب في الورقة “الترجمة الآلية التكيفية باستخدام نماذج اللغة الكبيرة” باستخدام نموذج GPT-3.5 textdavinci-003 عبر واجهة برمجة التطبيقات الرسمية الخاصة به. تضمن الإعداد معلمات مختلفة مثل top-p=1، وضبط درجة الحرارة، ومضاعفات طول الرمز للغات المختلفة. تم استخدام مجموعة بيانات السياق TICO-19، التي تحتوي على 3070 مقطعًا فريدًا، لمحاكاة سيناريوهات خاصة بالمجال. تضمنت الدراسة خمسة أزواج لغوية متنوعة: الإنجليزية-العربية، الإنجليزية-الصينية، الإنجليزية-الفرنسية، الإنجليزية-الكينيارواندية، والإنجليزية-الإسبانية.

تستكشف الورقة عدة استراتيجيات لتحسين أداء نماذج اللغة الكبيرة في مهام الترجمة:

الترجمة الآلية التكيفية مع التطابقات الضبابية:

• الهدف: تقييم قدرة نماذج اللغة الكبيرة على تكييف الترجمات في الوقت الفعلي من خلال الاستفادة من السياق من مقاطع مماثلة تمت ترجمتها سابقًا (التطابقات الضبابية).
• الطريقة: استخدام استرجاع قائم على تشابه التضمين لاستخراج التطابقات الضبابية من مجموعة بيانات وعرضها جنبًا إلى جنب مع جملة جديدة ليتم ترجمتها.
• مثال: إذا كانت الجملة الجديدة المطلوب ترجمتها هي “The quick brown fox jumps over the lazy dog”، فقد يسترجع النظام جملًا مماثلة من مجموعة البيانات ويستخدمها للتأثير على أسلوب الترجمة.

المقارنة مع نماذج الترجمة الآلية المشفر-المفكك:

• الهدف: تقييم جودة ترجمة GPT-3.5 مقابل نماذج المشفر-المفكك الراسخة.
• الطريقة: مقارنة مخرجات الترجمة من GPT-3.5 مع تلك من واجهات برمجة تطبيقات ونماذج مختلفة باستخدام نفس النص المصدر.
• مثال: بالنسبة لجملة معينة بالإنجليزية، يقوم كل نموذج (GPT-3.5، DeepL، Google Cloud، إلخ) بتوليد ترجمة باللغة الهدف، ومقارنة مقاييس الجودة (spBLEU، chrF++، إلخ).

دمج الترجمة الآلية المشفر-المفكك:

• الهدف: استكشاف ما إذا كان دمج مخرجات نماذج المشفر-المفكك (مثل DeepL) مع التعلم السياقي لنماذج اللغة الكبيرة يمكن أن يعزز جودة الترجمة.
• الطريقة: إلحاق الترجمة من نموذج مشفر-مفكك بالتطابقات الضبابية المستخدمة في موجه السياق لـ GPT-3.5.
• مثال: إذا تم توفير التطابقات الضبابية والمقطع الجديد المراد ترجمته إلى GPT-3.5، يتم أيضًا تضمين الترجمات من نموذج مشفر-مفكك لتلك المقاطع لإثراء السياق.

استخراج المصطلحات ثنائية اللغة:

• الهدف: استخراج واستخدام المصطلحات الخاصة بالمجال تلقائيًا لتحسين اتساق الترجمات ودقتها.
• الطريقة: تدريب GPT-3.5 على تحديد واستخراج المصطلحات الرئيسية من أزواج الجمل ثم استخدام هذه المصطلحات لتقييد الترجمات.
• مثال: بالنظر إلى زوج جمل يحتوي على مصطلحات طبية، يستخرج GPT-3.5 مصطلحات مثل “influenza” و"vaccination" ويضمن استخدام هذه المصطلحات باستمرار في الترجمة.

الترجمة الآلية المقيدة بالمصطلحات:

• الهدف: دمج المصطلحات الخاصة بالمجال في عملية الترجمة لتحسين الالتزام بأساليب ومفردات محددة.
• الطريقة: استخدام مسرد مصطلحات محدد مسبقًا أو مصطلحات مستخرجة من التطابقات الضبابية لتقييد الترجمات.
• مثال: بالنسبة لجملة يتم ترجمتها في سياق طبي، يستخدم النظام مصطلحات من مسرد طبي، مثل “malignant” أو “benign”، لضمان استخدام الترجمة للمصطلحات الصحيحة.

كم يمكن أن تكون نماذج اللغة الكبيرة أفضل في الترجمة؟

الترجمة الآلية التكيفية مع التطابقات الضبابية:

أظهرت الورقة أن استخدام التطابقات الضبابية (مقاطع مترجمة سابقًا ذات تشابه عالٍ مع النص المصدر) كسياق أدى إلى تحسين كبير في جودة ترجمة نماذج اللغة الكبيرة مثل GPT-3.5.

على سبيل المثال، في الزوج الإنجليزية-العربية (EN-AR)، أدى استخدام تطابق ضبابي واحد إلى تحسين درجات spBLEU من 27.6 (صفرية اللقطة) إلى 36.38. مع تطابقين ضبابيين، زادت الدرجة أكثر إلى 38.41. لوحظت تحسينات مماثلة عبر أزواج لغوية أخرى، مما يظهر فعالية التعلم السياقي مع التطابقات الضبابية.

المقارنة مع نماذج الترجمة الآلية المشفر-المفكك:

تمت مقارنة جودة الترجمة القليلة اللقطة لـ GPT-3.5 مع عدة أنظمة ترجمة آلية مشفر-مفكك، بما في ذلك DeepL وGoogle Cloud Translation API وOPUS وNLLB.

بالنسبة للغات عالية الموارد، تفوق GPT-3.5 مع 5 أو 10 تطابقات ضبابية على الأنظمة التقليدية في بعض أزواج اللغات. على سبيل المثال، في الإنجليزية-الإسبانية (EN-ES)، حقق GPT-3.5 مع ترجمة 5 لقطات درجة spBLEU قدرها 61.77، متجاوزًا درجات الأنظمة الأخرى.

دمج الترجمة الآلية المشفر-المفكك:

من خلال إلحاق الترجمة الآلية للمقطع الجديد من نموذج مشفر-مفكك بالتطابقات الضبابية، لاحظت الورقة تحسينات كبيرة في جودة الترجمة.

على سبيل المثال، في الإنجليزية-العربية، أدى إلحاق ترجمة OPUS MT إلى 5 تطابقات ضبابية إلى تحسين درجة spBLEU من 41.33 إلى 45.9.

استخراج المصطلحات ثنائية اللغة:

تم تكليف GPT-3.5 باستخراج 5 مصطلحات ثنائية اللغة من كل زوج جمل في مجموعة بيانات السياق. أظهر التقييم البشري أن غالبية المصطلحات (أكثر من 95%) التي استخرجها GPT-3 لأزواج EN-AR وEN-ES وEN-FR كانت دقيقة.

الترجمة الآلية المقيدة بالمصطلحات:

وجدت الورقة أن دمج المصطلحات من مسرد في عملية الترجمة أدى إلى تحسين جودة الترجمة، خاصة في السيناريوهات صفرية اللقطة. على سبيل المثال، في الإنجليزية-العربية، أدت الترجمة صفرية اللقطة مع مصطلحات المسرد إلى تحسين درجة spBLEU من 27.6 إلى 35.38.

أظهر التقييم البشري للترجمة الآلية المقيدة بالمصطلحات أن النموذج نجح في نقل مصطلحات المسرد إلى الهدف أكثر من عدم دمج المصطلحات.

نماذج ChatGPT وBLOOM وBLOOMZ:

قارنت الورقة بإيجاز GPT-3.5 مع النماذج الحوارية الأحدث مثل GPT-3.5 Turbo وGPT-4. أظهر GPT-4 جودة ترجمة صفرية اللقطة أفضل، بينما كان GPT-3.5 Turbo أكثر كفاءة ولكن بجودة مماثلة للترجمة القليلة اللقطة.

عند مقارنة GPT-3.5 مع النماذج مفتوحة المصدر متعددة اللغات BLOOM وBLOOMZ، تفوق GPT-3.5 بشكل عام على كليهما في معظم أزواج اللغات، باستثناء الإنجليزية-العربية، حيث أظهر BLOOM أداءً مشابهًا.

كيف أحصل على نموذج لغة كبير ماهر في الترجمة؟

باتباع الأساليب التي قدمها المؤلف، إليك خطوة بخطوة لك!

الخطوة 1 الحصول على وصول إلى واجهة برمجة تطبيقات نموذج لغة كبير:

• سجل للحصول على مفتاح واجهة برمجة تطبيقات للوصول إلى نموذج لغة كبير (LLM). توفر Novita AI LLM API للمطورين الكثير من خيارات LLM الفعالة من حيث التكلفة، بما في ذلك Llama3-8b وLlama3-70b وMythomax-13b وغيرها.

الخطوة 2 إعداد ذاكرة ترجمة خاصة بالمجال ™:

• جمع مجموعة من أزواج الترجمة المعتمدة (تسمى “التطابقات الضبابية”) في مجال اهتمامك.
• تنظيم بيانات TM مع جملة اللغة المصدر متبوعة بجملة اللغة الهدف المقابلة.

الخطوة 3 تنفيذ التعلم السياقي للترجمة:

• عندما تحتاج إلى ترجمة جملة مصدر جديدة، قم بإنشاء موجه لـ LLM يتضمن: 1. جملة المصدر الجديدة باللغة الأصلية التي تريد ترجمتها؛ 2. أزواج الترجمة “التطابق الضبابي” ذات الصلة من TM الخاصة بك
• رتب الموجه مع أزواج اللغة المصدر والهدف بترتيب تنازلي من حيث التشابه مع جملة المصدر الجديدة.
• قم بتمرير هذا الموجه إلى واجهة برمجة تطبيقات LLM واتركه يولد المخرجات المترجمة. سيقوم LLM بتكييف ترجمته لتتناسب مع الأسلوب والمصطلحات المستخدمة في TM.

الخطوة 4 تحسين التعلم السياقي:

• جرب عدد أزواج الترجمة “التطابق الضبابي” المراد تضمينها في الموجه، بهدف الحصول على 5-10 أزواج ذات صلة.
• راقب جودة الترجمة وقم بإجراء تعديلات على تنسيق الموجه وعدد الأمثلة والمعلمات الأخرى لتحقيق أفضل النتائج.

الخطوة 5 الدمج مع نماذج الترجمة الآلية المشفر-المفكك:

• إذا كان متاحًا، قم بدمج مخرجات نموذج ترجمة آلي مشفر-مفكك قوي في الموجه، جنبًا إلى جنب مع أزواج الترجمة “التطابق الضبابي”.
• يمكن أن يساعد ذلك في تحسين جودة الترجمة بشكل أكبر، خاصة بالنسبة لأزواج اللغات حيث قد لا يتطابق أداء LLM وحده مع أداء نموذج المشفر-المفكك.

الخطوة 6 التحسين المستمر وتوسيع TM:

• قم بتحديث TM الخاص بك بأزواج ترجمة معتمدة جديدة أثناء ترجمة المزيد من المحتوى.
• راجع TM وقم بتنظيمه دوريًا لضمان بقائه ذا صلة ودقة لاحتياجات مجالك المحددة.

يمكنك العثور على الرموز الدقيقة للأساليب المذكورة في الورقة (على سبيل المثال، استخراج التطابقات الضبابية) هنا: https://github.com/ymoslem/Adaptive-MT-LLM

ما هي الاتجاهات المستقبلية للترجمة باستخدام نماذج اللغة الكبيرة؟

تقترح الورقة “الترجمة الآلية التكيفية باستخدام نماذج اللغة الكبيرة” عدة اتجاهات مستقبلية للترجمة باستخدام نماذج اللغة الكبيرة (LLMs). فيما يلي بعض المجالات الرئيسية التي تم تحديدها لمزيد من الاستكشاف والتطوير:

اختيار الأمثلة الديناميكية قليلة اللقطة:

بدلاً من استخدام عدد ثابت من التطابقات الضبابية، يمكن أن تكون عملية الاختيار ديناميكية، واختيار التطابقات عالية الجودة فقط فوق درجة تشابه معينة. يمكن أن يعزز ذلك الأداء من خلال توفير سياق أكثر صلة.

دمج مصطلحات المسرد أو مخرجات الترجمة الآلية بناءً على الجودة:

عند دمج المصطلحات من مسرد أو مخرجات الترجمة الآلية من أنظمة أخرى، قد يكون اختيار تلك التي لها خصائص جودة محددة مفيدًا. يمكن أن يؤدي هذا التكامل الانتقائي إلى جودة ترجمة أفضل.

استخراج المصطلحات القائمة على العبارات:

تقترح الورقة استكشاف استخدام العبارات الأطول بدلاً من المصطلحات الفردية لاستخراج المصطلحات. قد يكون هذا مفيدًا بشكل خاص للغات منخفضة الموارد حيث يمكن أن يؤدي السياق الأطول إلى تحسين دقة الترجمة.

الضبط الدقيق للغات منخفضة الموارد والمجالات النادرة:

بينما تركز الورقة على الأداء خارج الصندوق، يمكن أن يتضمن العمل المستقبلي ضبط النماذج بدقة للغات منخفضة الموارد ومجالات محددة. يمكن أن يساعد ذلك في تعزيز كل من جودة وكفاءة الترجمات في هذه المجالات.

التجربة مع نماذج LLM مفتوحة المصدر:

يقترح المؤلفون توسيع التجارب باستخدام نماذج LLM مفتوحة المصدر مثل BLOOM وBLOOMZ لتغطية المزيد من جوانب مهام الترجمة. يمكن أن يوفر ذلك نظرة ثاقبة على أداء هذه النماذج مقارنة بالنماذج الملكية مثل GPT-3.5.

تقدير الجودة والاختيار التلقائي:

يمكن أن يكون تطوير طرق تقدير الجودة التلقائية لاختيار أفضل ترجمة من بدائل متعددة مجالًا قيمًا للبحث. قد يتضمن ذلك مقارنة الترجمات مع وبدون استخدام التطابقات الضبابية و/أو المصطلحات.

تحسين الترميز للغات غير اللاتينية:

قد تكون معالجة مشكلات الترميز للغات غير اللاتينية، كما لوحظ مع GPT-3.5 والعربية، أمرًا بالغ الأهمية لتحسين أداء LLMs عبر المزيد من أزواج اللغات.

التحقيق في النشر على نطاق واسع ودمج ملاحظات المستخدمين:

البحث حول كيفية نشر LLMs بشكل فعال على نطاق واسع في سيناريوهات الترجمة في العالم الحقيقي، بما في ذلك دمج ملاحظات المستخدمين لتحسين الترجمات باستمرار.

استكشاف استخدام المدخلات متعددة الوسائط:

يمكن أن تنظر الأبحاث المستقبلية في استخدام المدخلات متعددة الوسائط (مثل الصور والصوت) جنبًا إلى جنب مع النص لتوفير سياق إضافي لمهام الترجمة، خاصة للمهام التي تتضمن محتوى وصفيًا أو تقنيًا.

الاعتبارات الأخلاقية وتخفيف التحيز:

كما هو الحال مع جميع تطبيقات الذكاء الاصطناعي، سيكون من المهم دراسة ومعالجة المخاوف الأخلاقية المحتملة، بما في ذلك التحيز في الترجمات، وتطوير طرق لتخفيف هذه المشكلات.

المتانة والتعميم:

ضمان أن LLMs يمكنها التعميم بشكل جيد عبر المجالات المختلفة والحفاظ على أداء قوي حتى مع البيانات المحدودة لبعض أزواج اللغات.

الخاتمة

في الختام، الرحلة لتحسين نماذج اللغة الكبيرة لمهام الترجمة متعددة الأوجه وديناميكية. بالتفكير في الرؤى من “الترجمة الآلية التكيفية باستخدام نماذج اللغة الكبيرة”، استكشفنا استراتيجيات وتجارب متنوعة تؤكد على الإمكانية لتحسينات كبيرة في جودة الترجمة. من الاستفادة من التعلم السياقي مع التطابقات الضبابية إلى دمج نماذج المشفر-المفكك واستخراج المصطلحات الخاصة بالمجال، فإن التطورات التي تمت مناقشتها هنا تمهد الطريق لتحسين الدقة والكفاءة في الترجمة اللغوية.

بالنظر إلى المستقبل، فإن اتجاهات البحث المستقبلية الموضحة في الورقة، مثل اختيار الأمثلة الديناميكية والمدخلات متعددة الوسائط والاعتبارات الأخلاقية، تقدم مسارات واعدة لمزيد من الاستكشاف. لا تهدف هذه المساعي فقط إلى تحسين القدرات التقنية لـ LLMs عبر مختلف اللغات والمجالات، ولكن أيضًا لمعالجة الآثار المجتمعية الأوسع وضمان الوصول العادل إلى أدوات الترجمة عالية الجودة.

المراجع

Moslem, Y., Haque, R., Kelleher, J. D., & Way, A. (2023). Adaptive machine translation with large language models. arXiv. https://doi.org/10.48550/arXiv.2301.13294

Novita AI هي المنصة السحابية الشاملة التي تمكّن طموحاتك في الذكاء الاصطناعي. من خلال واجهات برمجة تطبيقات متكاملة بسلاسة، وحوسبة بدون خادم، وتسريع GPU، نوفر الأدوات الفعالة من حيث التكلفة التي تحتاجها لبناء وتوسيع نطاق أعمالك المعتمدة على الذكاء الاصطناعي بسرعة. تخلص من متاعب البنية التحتية وابدأ مجانًا — Novita AI تجعل أحلامك في الذكاء الاصطناعي حقيقة واقعة.