لماذا تتعثر النماذج اللغوية الكبيرة أمام العربية — وكيف تبني ذكاءً اصطناعيًا يعمل فعلًا بالعربية

باختصار: تكسر العربية النماذج اللغوية الكبيرة على أربع طبقات في آن واحد — التقطيع يمزّق الكلمات العربية إلى رموز أكثر بكثير من الإنجليزية، والصرف القائم على الجذر والوزن يفجّر كل كلمة إلى مئات الصور السطحية، ومعظم بيانات التدريب هي فصحى رسمية بينما يكتب العملاء باللهجة الخليجية وبالعربيزي، والنص المختلط الاتجاه من اليمين إلى اليسار يكسر الواجهة. والحل ليس نموذجًا أكبر ولا طبقة ترجمة، بل معاملة العربية كمشكلة هندسية من الدرجة الأولى: تطبيع الاسترجاع وتأصيله بالعربية، والإجابة أصالةً بدلًا من الترجمة، والتقييم على مجموعات اختبار لهجية حقيقية يراجعها متحدثون أصليون.

لماذا تكسر العربية النماذج اللغوية الكبيرة؟

كل فريق جادّ يبني ذكاءً اصطناعيًا موجّهًا للعملاء في الخليج يصطدم بالجدار نفسه. يعمل العرض التوضيحي بروعة بالإنجليزية، ثم يكتب أحدهم جملة عربية عادية فتنهار الجودة انهيارًا حادًا. وليس ذلك لأن النموذج لا يستطيع إنتاج العربية — فالنماذج الحديثة تنتج فصحى سلسة عند الطلب — بل لأن العربية تُجهد أجزاءً من المسار لا تمسّها الإنجليزية أبدًا، وتتراكم تلك الإخفاقات.

لا يوجد خلل واحد يمكن إصلاحه. فالعربية صعبة لأربعة أسباب مستقلة تتراكم: كيفية تقطيع النص إلى رموز، وكيفية بناء الكلمات صرفيًا، وعدد اللغات المختلفة المختبئة تحت اسم "العربية"، وكيفية عرض النص على الشاشة. والاستراتيجية العربية الصادقة للنماذج اللغوية تعالج الأربعة جميعًا عن قصد، لأن تجاوز أي منها يُنتج روبوتًا يبدو رائعًا في العرض ويفشل في الإنتاج.

التقطيع: حيث تخسر العربية قبل أن تبدأ

النموذج اللغوي لا يرى الحروف أبدًا، بل يرى الرموز (tokens) — وهي أجزاء دون الكلمة يُنتجها مقطّع مدرَّب، في كل نموذج رئيسي تقريبًا، على مدوّنة تهيمن عليها الإنجليزية وسائر لغات الحروف اللاتينية. يتعلّم ذلك المقطّع تمثيل الكلمات الإنجليزية الشائعة برمز واحد. أما العربية، الممثَّلة تمثيلًا ناقصًا في بيانات التدريب، فلا تنال هذه الكفاءة: تتفتت الكلمات العربية الشائعة إلى عدة رموز، وكثير من المقطّعات على مستوى البايت تُرمّز كل حرف غير لاتيني بعدة بايتات، ما يضاعف العدد أكثر.

والعواقب ملموسة وقابلة للقياس:

• التكلفة. تكلّف الرسالة نفسها رموزًا أكثر بكثير بالعربية منها بالإنجليزية، فتصبح المحادثات العربية أعلى تكلفةً بنيويًا في تشغيلها، وتتسع الفجوة في السلاسل الطويلة.
• السياق والاقتطاع. كل رمز إضافي يلتهم نافذة السياق. فقاعدة المعرفة وسجل المحادثة والسؤال التي تتّسع بأريحية بالإنجليزية قد تفيض بالعربية، والإخفاق المعتاد هو الاقتطاع الصامت — إذ يفقد النموذج بهدوء أعلى السياق ويجيب من معلومات جزئية.

لا يمكنك إعادة تدريب مقطّع نموذج متقدّم، لكن يمكنك الالتفاف حوله هندسيًا: أبقِ المطالبات العربية موجزة، واسترجِع بضيق كي لا تحشو النافذة، وخصّص ميزانية للسياق بافتراض أن العربية تكلّف أكثر من المقابل الإنجليزي. والفرق الذين يقيسون النافذة على اختبارات إنجليزية ثم يطلقون بالعربية هم من يفاجئهم الاقتطاع.

الصرف: جذر واحد، مئات الصور السطحية

العربية لغة قالبية قائمة على الجذر والوزن. فمعظم الكلمات مشتقة من جذر ثلاثي، ويتولّد المعنى بإسكان ذلك الجذر في أوزان وبإلحاق سوابق ولواحق ملصوقة مباشرةً بالكلمة. خذ الجذر ك-ت-ب الذي يحمل فكرة الكتابة: تحصل منه على "كتب" و"كتاب" و"مكتب" و"مكتبة" و"كاتب" — جذر واحد وكلمات كثيرة.

ثم تتراكم اللواحق والسوابق. فالكلمة الإملائية الواحدة قد تحمل حرف عطف، وحرف جر، وأداة تعريف، وعلامة زمن، والفعل، وضمير مفعول، كلها معًا — فعبارة "وسيكتبونها" الإنجليزية قد تكون كلمة عربية واحدة. ولهذا تفشل المطابقة والبحث الساذجان أمام العربية:

• البحث بالكلمات المفتاحية يخفق. يسأل العميل عن "الفاتورة" وقد أُلحقت بها أداة التعريف وحرف جر؛ أما فهرسك فخزّن الاسم المجرد؛ فلا تتطابق السلاسل رغم تطابق المعنى تمامًا.
• التمثيلات المتجهة (embeddings) تنحرف. يظهر المفهوم نفسه في عشرات الصور المتصرّفة المثقلة باللواحق، فتضعها التمثيلات المتجهة متعددة اللغات الأضعف أبعد مما ينبغي، فيُرجع الاسترجاع المقطع الخطأ. كما قد تكتسب الأسماء ورموز المنتجات أدوات ملحقة يقرؤها محلّل هشّ كجزء من الرمز.

والجواب الهندسي هو التطبيع والتقطيع الصرفي قبل أن تفهرس أو تُمثّل أي شيء. فالأدوات المخصصة للعربية مثل CAMeL Tools أو Farasa تستطيع تجريد اللواحق، وتطبيع المتغيرات، وتقطيع الكلمات إلى وحداتها ذات المعنى، بحيث تستقر "الفاتورة" و"فاتورة" في المكان نفسه. أما الأنظمة التي تتجاوز هذا فترث مشكلة الصرف في أسوأ طبقة ممكنة — حيث يقرر النموذج من أي الحقائق يجيب.

الحركات وانحراف الإملاء

تُكتب العربية عادةً دون حركات قصيرة، فقد يمثّل الهيكل الحرفي نفسه عدة كلمات مختلفة، وعلى النموذج أن يفكّ الالتباس من السياق. وفوق ذلك، المدخلات العربية الحقيقية مليئة بالتنوّع الإملائي الذي لا يحمل أي فرق في المعنى لكنه يدمّر المطابقة التامة:

• صور الهمزة والألف المختلفة تُكتب بالتبادل.
• الياء النهائية والألف المقصورة تُبدَّلان، والتاء المربوطة تُكتب هاءً مفردة.
• علامات التطويل (التطويل/الكشيدة) تُضاف للزينة، والأرقام اللاتينية والعربية-الهندية تُستخدم بالتبادل.

هي بالنسبة للإنسان الكلمة نفسها؛ لكنها بالنسبة لفهرس سلاسل غير مطبَّع رموز مختلفة. والمسار العربي الموثوق يطبّق تمريرة تطبيع متسقة — توحيد صور الهمزة والألف، والياء والألف المقصورة، والتاء المربوطة، وتجريد التطويل، وتوحيد الأرقام — على كل من المستندات المخزّنة والاستعلام الوارد، كي يُقارَن الاثنان على قدم المساواة.

العرض من اليمين إلى اليسار والاتجاه المختلط

حتى عندما يصيب النموذج اللغة، قد تخطئ الواجهة في العرض. فالعربية تُعرَض من اليمين إلى اليسار، لكن الرسائل الحقيقية مختلطة الاتجاه: فالجملة العربية التي تحوي اسم منتج إنجليزيًا، أو رقم هاتف، أو رابطًا، تُجبر خوارزمية يونيكود ثنائية الاتجاه على تقرير أين يبدأ كل مقطع وأين ينتهي. أخطئ في ذلك فترى أرقام هاتف معكوسة، أو علامات ترقيم في غير موضعها، أو عبارة إنجليزية تحطّ بترتيب خاطئ داخل عبارة عربية.

هذه مهمة الواجهة الأمامية لا مهمة النموذج، وهي مُهمَلة روتينيًا لأن الفرق ذات الأولوية الإنجليزية لا ترى هذا الإخفاق أبدًا. والبناء الصحيح يختبر الأداة بمحتوى مختلط الاتجاه حقيقي — عربية تلتف حول أسماء علامات تجارية لاتينية وأرقام وروابط — ويضبط اتجاه النص وعزل ثنائية الاتجاه (bidi isolation) كي تُعرَض الأرقام والإنجليزية المضمّنة كما كُتبت. وتتولى قنوات المراسلة مثل WhatsApp Cloud API كثيرًا من هذا، لكن أي أداة ويب مخصّصة يجب التحقق منها عن قصد، لأن الإجابة الدقيقة المعروضة معكوسةً تُقرأ كإجابة معطوبة.

الازدواجية اللغوية: الفصحى مقابل الخليجية والمصرية والشامية

"العربية" ليست لغة واحدة في الاستعمال. فالعربية الفصحى هي المستوى المكتوب الرسمي — الأخبار والعقود والتواصل الرسمي — وهي تهيمن على بيانات تدريب النماذج، ولهذا تجيب النماذج بالفصحى بطلاقة. لكن لا أحد يراسل نشاطًا تجاريًا بالفصحى. بل يكتب الناس باللهجة، واللهجات تبتعد عن الفصحى وعن بعضها: فالعربية الخليجية ليست المصرية، وليست الشامية، وحتى داخل الخليج يختلف الاستعمال الإماراتي عن السعودي مرة أخرى.

ونمط الإخفاق دقيق وخطير: النموذج لا يتوقف عن العمل أمام اللهجة، بل يسيء قراءتها بهدوء ويجيب بثقة، وكلمة تعني شيئًا بالفصحى قد تعني شيئًا آخر بالخليجي. ولهذا تُعدّ معالجة اللغة الخليجية تخصصًا قائمًا بذاته — فبيانات التدريب تميل إلى الرسمية، فيكون الميل الأخير من الموثوقية هو تغطية اللهجة التي لا يمنحك النموذج الأساسي إياها مجانًا. وتسدّ تلك الفجوة بتأصيل الاسترجاع على محتواك المدرك للهجتك، وبمجموعات تقييم مبنية من رسائل خليجية حقيقية، لا بالأمل في أن نموذجًا أكبر قد حفظ صياغات عملائك.

العربيزي والتبديل بين اللغات

هناك أسلوبا إدخال آخران طبيعيان في الخليج وغائبان عن معظم بيانات تدريب المقطّعات. العربيزي هو العربية المكتوبة بحروف لاتينية، مستخدمةً أرقامًا للأصوات التي لا مقابل لاتيني لها — 3 لحرف العين (ع)، و7 لحرف الحاء (ح)، و2 للهمزة، و5 للخاء، و6 للطاء المفخّمة، و9 للصاد، مع أعراف تختلف من كاتب لآخر. فرسالة مثل "متى بتفتح بكرة؟" مكتوبة "mata btfta7 bkra?" أمر اعتيادي تمامًا، والروبوت الأعمى عنها أعمى عن حصة حقيقية من صندوق الوارد.

والتبديل بين اللغات هو الآخر: عملاء الخليج ينتقلون بين العربية والإنجليزية داخل الجملة الواحدة — "hi, 3ndkum appointment bacher evening?" — وعلى النظام أن يفهم الأمر كله ويردّ بمستوى لغوي معقول. ولا يُحلّ أيٌّ منهما بقائمة لغات منسدلة. بل يُحلّان بمعاملة اللغة كخاصية لكل رسالة تُكتشف من النص، وبتضمين كليهما في مجموعات الاختبار، وبتأصيل الإجابات بحيث تأتي الحقائق من مصدر الحقيقة نفسه أيًّا كان الحرف الذي يستخدمه العميل.

لماذا تكون طبقة الترجمة الآلية هي الحل الخاطئ

الاختصار المغري هو بناء نظام إنجليزي وتركيب الترجمة عليه: ترجمة الرسالة العربية إلى الإنجليزية، وتشغيل المسار الإنجليزي، ثم ترجمة الإجابة عودةً. يبدو الأمر إعادة استخدام. لكنه في الإنتاج ضريبة على الموثوقية:

• يفقد اللهجة والمستوى اللغوي. تطبّع الترجمة الخليجي والعربيزي إلى إنجليزية مسطّحة، فتُلقي بالضبط الإشارة التي احتجتها للإجابة جيدًا والرد بالنبرة الصحيحة.
• يضاعف مساحة الخطأ. كل ترجمة خطوة فاقدة، وقد أضفت اثنتين منها حول منطقك الفعلي، فتنتشر ترجمات الأسماء والأرقام والنفي الخاطئة بصمت.
• يزيد زمن الاستجابة والتكلفة. نداءان إضافيان للنموذج في كل دور، فوق عدم كفاءة الرموز التي تحملها العربية أصلًا.
• يكسر العرض والنبرة. العربية بعد الترجمة ذهابًا وإيابًا كثيرًا ما تُقرأ كإنجليزية مترجمة متيبّسة وتسيء التعامل مع تنسيق اليمين إلى اليسار.

والنمط الموثوق هو الإجابة أصالةً: الاسترجاع من قاعدة معرفتك وتوليد الرد بالعربية مباشرةً، مع الحفاظ على لغة العميل ومستواه اللغوي من البداية إلى النهاية. للترجمة موضعها — التسجيل الداخلي، أو تمكين مشرف يتحدث الإنجليزية من قراءة نصّ محادثة — لكن ليس في المسار الحرج لفهم العميل والإجابة عليه.

تأصيل الاسترجاع للعربية

التأصيل — استرجاع النص المصدري وجعل النموذج يجيب منه لا من ذاكرته — هو أكبر رافعة منفردة لموثوقية العربية، لأنه ينقل العبء عن استذكار النموذج المهتزّ للهجة إلى محتوى تتحكم فيه. لكن الاسترجاع لا يفيد إلا إذا أُنجز العمل الخاص بالعربية في كل مرحلة:

• طبّع قبل أن تُمثّل متجهيًا. طبّق تطبيع الهمزة والألف والياء والتاء المربوطة نفسه على المستندات والاستعلامات كي تتطابق المتغيرات الصرفية والإملائية.
• اختر تمثيلات متجهة مُختبرة على العربية. تتفاوت جودة التمثيلات المتجهة متعددة اللغات تفاوتًا حادًا عبر اللغات؛ فاختر وتحقّق من نموذج يجمّع فعلًا المرادفات العربية معًا، بدلًا من افتراض أن "متعدد اللغات" يعني "قادر على العربية".
• خزّن المصدر أصالةً. أبقِ معرفتك العربية بالعربية. افهرسها في مخزن متجهي مثل pgvector إلى جانب محتواك الإنجليزي، ودَع الاسترجاع عبر اللغات يخدم أي لغة من المصدر الموثوق.
• قطّع مراعيًا الصرف. احترم حدود الجمل والعبارات كي لا تُقطّع العربية المثقلة باللواحق في منتصف الكلمة.

وبهذا الأسلوب تكون الإجابة العربية مرساةً إلى مستند تتحكم فيه، ما يطوي خطر الهلوسة الذي كان عدم يقين اللهجة سيخلقه لولا ذلك. هذا هو العمود الفقري لوكلاء الذكاء الاصطناعي المؤصَّلين بالاسترجاع لدينا: تتقلّص مهمة النموذج من "معرفة كل العربية" إلى "اقرأ هذا المقطع وأجب بلغة العميل"، وهو ما يستطيع فعله جيدًا.

كيف تقيّم جودة العربية فعلًا

معظم الذكاء الاصطناعي العربي يُطلَق دون اختبار، لأن الفريق قاسه بالطريقة التي يقيس بها الإنجليزية. والمقاييس الآلية مثل BLEU لا تخبرك تقريبًا بشيء عن شعور العميل الخليجي بأنه مفهوم. قيّم العربية بشروطها الخاصة:

• ابنِ مجموعات اختبار خاصة بكل لهجة. مجموعات منفصلة للفصحى، واللهجة الخليجية، والعربيزي، والمزيج الإنجليزي-العربي، مستمدة من رسائل حقيقية تلقّاها نشاطك التجاري، لا جملًا مدرسية مخترعة.
• استخدم مراجعة بشرية أصلية. متحدث خليجي أصلي يحكم على ما إذا كانت الإجابة دقيقة وطبيعية ومهذبة بالقدر المناسب يلتقط ما لا يلتقطه أي مقياس. فالعربية السليمة نحويًا قد تظل خاطئة النبرة بالنسبة لعلامتك التجارية.
• شغّل مدخلات عدائية. اختبر عمدًا هجاء العربيزي، والتبديل في منتصف الجملة، وغياب الحركات، ومفردات اللهجة، وسجّل أين يهبط الفهم. وتحقّق من العرض من اليمين إلى اليسار ومن الأرقام والتواريخ في الأداة المباشرة أثناء ذلك.
• قِس لكل لغة. تتبّع معدلات الحل والتصعيد للعربية والإنجليزية على حدة. فإن صعّدت العربية إلى البشر أكثر بكثير، تكون الفجوة ظاهرة في رقم واحد وقابلة للإصلاح بضبط موجّه.

التقييم ليس بوابةً تجتازها مرة واحدة. فجودة العربية تُصان بمراجعة المحادثات العربية الفاشلة وفق جدول منتظم، لأن الصياغات اللهجية الجديدة تظهر في نصوص المحادثات، لا في خطة الاختبار الأصلية.

معاملة موثوقية العربية كتخصص من الدرجة الأولى

لهذا نعامل العربية كمشكلة هندسية قائمة بذاتها، لا كخانة في قائمة ميزات. فالتقطيع، والصرف، والحركات، وعرض ثنائية الاتجاه، والازدواجية اللغوية، والعربيزي، والتبديل بين اللغات، والتأصيل الأصيل، والتقييم المدرك للهجة — كل واحد منها موضع يتدهور فيه النظام ثنائي اللغة بصمت، وكل واحد قابل للمعالجة إن قررت أنه يهم قبل أن تبني. وللخدمات الموجهة للجمهور والخدمات الحكومية، العربية ليست اختيارية، بل هي المتوقَّع.

هذا هو المعيار وراء وكلاء الدعم العرب والإنجليز لدينا وكل روبوت محادثة بالذكاء الاصطناعي ثنائي اللغة نبنيه: الإجابة أصالةً بلغة العميل ومستواه اللغوي، وتأصيل الردود في مستنداتك بحيث لا يتحول عدم يقين اللهجة إلى هراء واثق، والتقييم على عربية خليجية حقيقية يراجعها من يتحدثونها. فالذكاء الاصطناعي القادر على العربية أصبح الحد الأدنى في الخليج الآن؛ أما الذكاء الاصطناعي الموثوق بالعربية فما زال نادرًا. نحدّد متطلبات العربية صراحةً في كل مشروع ونرسل عرضًا بسعر ثابت، لأن الموثوقية التي تحصل عليها بالعربية تحدّدها خيارات تُتّخذ قبل السطر الأول من البناء.