بناء قاعدة معرفة RAG للمؤسسات الإماراتية: دليل هندسي

الخلاصة السريعة: تخزّن قاعدة معرفة RAG إجراءاتك التشغيلية وسياساتك وعقودك ومواصفات منتجاتك في قاعدة بيانات متجهات تسيطر عليها، وتسترجع المقاطع ذات الصلة بكل سؤال فقط، ويجيب نموذج لغوي منها مع استشهادات. وهي تتفوّق على الضبط الدقيق في المعرفة المتغيّرة لأنك تحرّر مستنداً بدلاً من إعادة تدريب نموذج، وتُبقي البيانات الحصرية داخل المنطقة وخارج مجموعات التدريب، وتفرض الوصول لكل مستخدم وقت الاسترجاع. الأجزاء الصعبة ليست النموذج، بل التقطيع وجودة الاسترجاع ومعالجة العربية والتحكم في الوصول والتقييم الأمين.

ما قاعدة معرفة RAG، ولماذا لا نكتفي بالضبط الدقيق؟

يجيب التوليد المعزّز بالاسترجاع (RAG) على الأسئلة من جسم من المعرفة دون وضع تلك المعرفة داخل النموذج. تُفهرَس مستنداتك في مخزن قابل للبحث. وحين يصل سؤال، يسترجع النظام حفنة المقاطع الأشدّ صلةً به، ويضعها في سياق النموذج، فيؤلّف النموذج إجابة مؤسَّسة على تلك المقاطع. تعيش المعرفة في قاعدة بيانات تملكها وتحرّرها؛ ويوفّر النموذج اللغة والاستدلال.

البديل البديهي هو الضبط الدقيق: مواصلة تدريب نموذج أساسي على مجموعة مستنداتك كي تُمتصّ الحقائق في أوزانه. وهو أداة مشروعة لأسلوب أو صيغة ثابتة. أما لقاعدة معرفة مؤسسية فهو غالباً الأداة الخاطئة، لأربعة أسباب.

• معرفتك تتغيّر؛ والأوزان لا تتغيّر بثمن زهيد. حين يُنقَّح إجراء تشغيلي أو يُستبدَل عقد، يعكس RAG ذلك لحظة استبدالك المستند. أما الضبط الدقيق فيحتاج جولة إعادة تدريب لتصحيح حقيقة واحدة، فينحرف النموذج عن راهنيّته.
• الحقائق المضبوطة دقيقاً لا تستطيع الاستشهاد بذاتها. بمجرّد ذوبان المعرفة في مليارات المعاملات، لا يستطيع النموذج الإشارة إلى البند الذي استند إليه. تحمل إجابات RAG مصدراً، وهو ما يجعلها قابلة للتدقيق.
• الضبط الدقيق يخترع حين لا يتيقّن. ما زال نموذج مدرَّب على بياناتك ينتج نصّاً سلساً حين لا يعرف، فيمزج سياسة حقيقية باختلاق معقول. أما النظام المؤسَّس فيمكن توجيهه بالإجابة من النص المُسترجَع فقط والامتناع فيما عدا ذلك.
• الضبط الدقيق لا يعرف من يسأل. المعرفة في الأوزان متاحة لأي أحد. أما RAG فيرشّح ما يُسترجَع لكل مستخدم ودور، فيخدم مساعد واحد مؤسسةً بأكملها دون تسريب عبر حدود الصلاحيات.

القاعدة التي ينبغي الاحتفاظ بها: استخدم الضبط الدقيق لتغيير كيفية سلوك النموذج، وRAG لتغيير ما يعرفه. وبالنسبة للمعرفة الداخلية التي تتغيّر على جدولها الخاص، يكون الاسترجاع الافتراضي السليم.

خط أنابيب RAG، مرحلةً مرحلة

نظام RAG الإنتاجي خطّ أنابيب، وتُحسَم معظم جودته في مراحل لا صلة لها بالنموذج الذي يجيب.

الاستيعاب

تسحب المستندات من حيث تعيش: أقراص مشتركة، ونظام إدارة مستندات، ومستودع عقود، وملفات PDF مصدَّرة. والعمل هو التحليل الموثوق، لأن ملفات PDF تحمل تخطيطات متعددة الأعمدة وجداول وصفحات ممسوحة تحتاج تعرّفاً ضوئيّاً على الحروف (OCR)، والجدول المسطَّح في جدار من الأرقام يُسترجَع بسوء. ويربط الاستيعاب أيضاً البيانات الوصفية التي تصبح لاحقاً العمود الفقري للتحكم في الوصول والاستشهاد: المصدر، والمالك، والقسم، وتاريخ السريان، والإصدار، والحساسية. وليس استيراداً لمرة واحدة، بل خطّ أنابيب يعيد التشغيل مع تغيّر المستندات، لأن قاعدة معرفة لا تُبقى حديثة تصبح خاطئة بثقة.

التقطيع

تُقسَّم المستندات إلى مقاطع، لأنك تسترجع وتستشهد على مستوى المقطع. قطّع كبيراً جداً فتخفّف الصلة وتهدر السياق؛ وقطّع صغيراً جداً فتقطع جملة عن السياق الذي يمنحها معناها. النهج الموثوق يحترم بنية المستند، فيقطّع على العناوين والبنود والفقرات لا على عدّ أعمى للأحرف، مع تداخل قليل كي لا تُيتَّم حقيقة قرب حدّ. وبالنسبة للعقود والسياسات، تحفظ حدود البنود والأقسام الوحدة التي يستشهد بها الشخص فعلاً.

التضمينات

يُحوَّل كل مقطع إلى تضمين، أي متجه عددي يلتقط معناه، كي تجلس المقاطع المتعلّقة بالمفهوم نفسه متقاربةً في فضاء المتجهات حتى إن لم تتشارك كلمات مفتاحية. ونموذج التضمين يهمّ أكثر مما يتوقّع الفِرَق: تتباين الجودة متعددة اللغات بحدّة، وقد تُربك المفردات المتخصّصة نموذجاً عامّاً، والنموذج الذي تفهرس به يجب أن يكون نفسه الذي تستعلم به. وهنا تفشل العربية بصمت إن لم يُتحقَّق من النموذج عليها قط.

مخزن المتجهات

تعيش التضمينات في قاعدة بيانات متجهات مبنية لبحث الجار الأقرب السريع. والخيارات الإنتاجية الشائعة هي pgvector وPinecone وWeaviate. يضيف pgvector نوعاً للمتجهات وفهارس تشابه إلى Postgres، وهو مقنع حين تشغّل Postgres بالفعل وتريد مجموعة المستندات في بنية تحتية تسيطر عليها وداخل المنطقة. أما Pinecone فمُدار بالكامل، يزيل العبء التشغيلي مقابل استقرار بياناتك لدى طرف ثالث. وأما Weaviate فمفتوح المصدر ويمكن استضافته ذاتيّاً أو مُداراً. وبالنسبة لمؤسسة إماراتية، يكون العامل الحاسم عادةً مكان تشغيل المخزن ماديّاً ومن يستطيع لمسه، لا نتيجة قياس، وتُبقي نسخة pgvector أو Weaviate مستضافة ذاتيّاً قاعدة بيانات متجهات داخل المنطقة تحت ضوابطك.

الاسترجاع

وقت الاستعلام يُضمَّن السؤال ويُعيد المخزن أعلى المقاطع بالتشابه. وأعلى-k الساذج هو البداية لا النهاية. يضيف الاسترجاع القوي البحث الهجين، جامعاً تشابه المتجهات الكثيف مع بحث الكلمات المفتاحية كي لا تُفقَد المصطلحات الدقيقة مثل رمز منتج أو رقم بند، ومرحلة إعادة ترتيب تعيد ترتيب المرشّحين حسب الصلة الحقيقية قبل بلوغهم النموذج. وتجري مرشّحات البيانات الوصفية هنا أيضاً، فتقصر الاسترجاع على المستندات التي يجوز للمستخدم رؤيتها وعلى الإصدارات السارية.

التوليد المؤسَّس مع الاستشهادات

تدخل المقاطع المُسترجَعة سياق النموذج مع توجيه بالإجابة منها فقط، وبيان متى لا تكون الإجابة موجودة، والاستشهاد بالمصادر المستخدمة. ولأن كل مقطع يحمل بيانات وصفية من الاستيعاب، يمكن للإجابة أن تسمّي المستند والقسم والإصدار خلف كل ادّعاء. وتلك الاستشهادات ليست زينة. إنها الفارق بين «المساعد قال ذلك» وبين إجابة يستطيع مسؤول الامتثال التحقق منها، والسبب الرئيسي لكون RAG جديراً بالثقة حيث لا يكون روبوت محادثة مجرَّد كذلك.

إبقاء البيانات الحصرية خاصّة وداخل المنطقة

صار RAG البنية الافتراضية للذكاء الاصطناعي المؤسسي في الإمارات لأنه يتيح لك استخدام نموذج قادر دون تسليم مجموعة مستنداتك له. لا تُستخدم مستنداتك قط لتدريب النموذج أو ضبطه دقيقاً. تجلس تضمينات في مخزن متجهات تشغّله، ووقت الاستعلام تدخل شريحة صغيرة عابرة من النص ذي الصلة سياق النموذج فقط. تبقى قاعدة المعرفة الكاملة في قاعدة بيانات في منطقتك، تحت ضوابط وصولك، بينما يعمل النموذج المؤلِّف للإجابة على طبقة مؤسسية أو طبقة API تستثني شروطها مدخلاتك تعاقديّاً من التدريب.

وإتقان هذا يعني رسم خريطة أين تهبط البيانات فعلاً. مخزن المتجهات جزء من بصمة إقامتك؛ وكذلك سجلّات الطلبات والسياق المُسترجَع، التي تنسى الفِرَق روتينيّاً أنها بيانات بذاتها؛ وكذلك كل معالِج فرعي يُستدعى بصمت للتضمينات أو الإشراف. فالنشر الذي يُبقي المجموعة داخل المنطقة لكنه يشحن الطلبات إلى منتج استهلاكي يتدرّب عليها قد سرّبها على أي حال. نعامل رسم تدفّق البيانات هذا بوصفه خطوة التصميم الأولى في أي ارتباط تكامل ذكاء اصطناعي، وقد غطّيناه بعمق في دليلنا عن إقامة بيانات الذكاء الاصطناعي والامتثال لقانون PDPL في الإمارات. الخلاصة الهندسية: أبقِ المخزن في منطقة معتمدة، وأرسل للنموذج أقلّ نص مطلوب، واستخدم طبقة تستثني التدريب على مدخلاتك، وسجّل حيث تنطبق الضوابط نفسها. لا يشكّل ذلك امتثالاً قانونيّاً، فذلك تحديد يعود إلى مستشاريك القانونيين وفي حماية البيانات، لكنه البنية التي تجعل اعتمادهم قابلاً للدفاع عنه.

ضوابط الوصول: مساعد واحد، مستويات صلاحية كثيرة

عادةً ما تمتدّ قاعدة معرفة واحدة عبر مستندات لا ينبغي للجميع رؤيتها: سياسات الموارد البشرية، وعقود مجلس الإدارة، والمواصفات غير المُطلَقة، وسجلّات العملاء. وكون المساعد يجيب بلغة طبيعية لا يخفّف ذلك. المبدأ الحاسم أن الوصول يُفرَض عند الاسترجاع، لا بمطالبة النموذج بحفظ سرّ. فالنموذج المُطالَب بحجب مستند يراه في سياقه ضابط يفشل أول مرة يصيغ فيها أحدهم السؤال بذكاء.

النمط الموثوق يعكس صلاحياتك القائمة في طبقة الاسترجاع. يحمل كل مقطع بيانات وصفية للوصول من الاستيعاب، مثل القسم أو الدور أو التصنيف. ووقت الاستعلام يوثّق النظام المستخدم، ويحسم ما يستحقّه، ويرشّح الاسترجاع إلى تلك المجموعة قبل بلوغ أي مقطع النموذج. فيستطيع محلّل مالية ومدير موارد بشرية عندئذ سؤال المساعد نفسه السؤال نفسه، ويسترجع كلٌّ من مجموعته المسموحة فقط. وحيث تحمل المستندات بالفعل قوائم تحكم في الوصول، تكون تلك القوائم مصدر الحقيقة الذي يُنسَخ لا يُعاد اختراعه، وهذا ما يتيح لنشر واحد أن يخدم مؤسسة بأكملها بدلاً من صومعة لكل قسم.

التعامل مع المحتوى العربي في قاعدة معرفة RAG

تحمل المؤسسات الإماراتية معرفة بالعربية كما بالإنجليزية، مختلطةً غالباً داخل العقد أو السياسة نفسها، وتُدهور العربية خطّ أنابيب RAG بطرق محدّدة قابلة للإصلاح حين تُعامَل كفكرة لاحقة. ونادراً ما يكون الفشل في التوليد؛ فالنماذج الحديثة تكتب عربية سلسة. إنه الاسترجاع الذي يُعيد المقاطع الخاطئة، فيغذّي عندئذ نموذجاً قادراً بسياق غير ذي صلة.

• طبّع قبل أن تُضمِّن وتستعلم. تحمل العربية صوراً إملائية تعني الشيء نفسه لكنها تكسر التطابق: صور الهمزة والألف، والياء النهائية مقابل الألف المقصورة، والتاء المربوطة مقابل الهاء المجرّدة، والتطويل الزخرفي، والأرقام اللاتينية مقابل العربية-الهندية. طبّق التطبيع نفسه على المستندات والاستعلامات كي تُقارَن الصور على قدم المساواة.
• احترم الصرف عند التقطيع. تلصق العربية حروف العطف والجرّ والضمائر مباشرةً بالكلمات، فالشطر المتهاون يقطع سابقة أو لاحقة عن جذرها. قطّع على حدود الجمل والعبارات.
• تحقّق من نموذج التضمين على العربية. تُجمِّع التضمينات متعددة اللغات المرادفات العربية بجودة متفاوتة تفاوتاً هائلاً. اختبر أن نموذجك يضع صياغتَي المفهوم نفسه باللهجة والعربية الفصحى متقاربتين قبل الالتزام.
• خزّن وأجب بالعربية أصلاً. الترجمة إلى الإنجليزية والفهرسة ثم الترجمة عودةً تُهدر اللهجة والمسجَّل، وتضاعف مواضع دخول الأخطاء، وتشوّه العرض من اليمين إلى اليسار. أبقِ المعرفة العربية بالعربية ودع الاسترجاع عبر اللغات يخدم أيّاً من اللغتين.

بهذه الطريقة تكون الإجابة العربية مرتبطةً بمستند حقيقي تسيطر عليه، وهو ما يطوي خطر تحوّل عدم اليقين اللهجي إلى اختراع واثق. والآليات الأعمق مغطّاة في مقالتنا عن لماذا تكسر العربية نماذج اللغة الكبيرة.

تقييم نظام RAG، لأن «يبدو أنه يعمل» ليس مقياساً

تُطلَق معظم أنظمة RAG على بضعة أسئلة عرض مبهرة، وهو تماماً كيف تفشل بصمت في الإنتاج. على التقييم أن يفصل الأمرين اللذين قد يعطلان، لأن لهما إصلاحين مختلفين.

• دقّة الاسترجاع. هل عادت المقاطع الصحيحة أصلاً؟ اقرن أسئلة حقيقية بالمستندات التي ينبغي أن تجيبها، وقِس هل تظهر تلك المستندات في النتائج. إن لم يُسترجَع المقطع الصحيح، فلا نموذج ينقذ الإجابة، وهنا تعيش معظم إخفاقات RAG.
• التأسيس، أو فحوص الهلوسة. بالنظر إلى ما استُرجِع، هل كل ادّعاء في الإجابة مدعوم به؟ قد تكون الإجابة سلسة وواثقة وغير مدعومة. فحص أن كل عبارة ترجع إلى مقطع مُسترجَع يمسك النموذج وهو يحشو الفجوات بالاختراع.
• صحّة الإجابة واكتمالها. إلى جانب كونها مؤسَّسة، هل الإجابة صحيحة وهل تغطّي السؤال؟ قد يستشهد ردّ بمقطع حقيقي ومع ذلك يُغفل الجزء من السياسة الذي احتاجه المستخدم.
• مراجعة بشرية من خبراء الموضوع. ينبغي لأصحاب الإجراءات التشغيلية والعقود أن يحكموا على عيّنة من الإجابات الحيّة من حيث الدقة والنبرة. يساعد النموذج-كحَكَم على النطاق لكنه لا يحلّ محلّ خبير يقرأ نصوصاً حقيقية، خصوصاً في العربية حيث قد يبقى نصّ سليم نحويّاً خاطئاً لعملك.
• القياس لكل لغة. تتبّع الحلّ والتصعيد منفصلين للعربية والإنجليزية. فإن فشلت العربية أكثر، ظهرت الفجوة في رقم واحد وأشارت إلى ضبط الاسترجاع.

ليس التقييم بوابة تجتازها مرة واحدة. تتغيّر المعرفة وتطفو صياغات فشل جديدة في النصوص، فتجري المراجعة على جدول طوال عمر النظام.

أنماط الفشل والحواجز التي تحتويها

قاعدة معرفة تجيب بسلطة خطيرة تحديداً لأن الناس يصدّقونها. سمِّ أنماط الفشل وهندِس ضدّ كلٍّ منها.

• فوات الاسترجاع مع إجابة واثقة. لا يُسترجَع المقطع الصحيح ويجيب النموذج من الذاكرة على أي حال. الحاجز: أجب من السياق المُسترجَع فقط، واضبط عتبة تشابه يقول النظام دونها إنه لا يعرف بدلاً من التخمين.
• معرفة قديمة. تغيّر مستند لكن الفهرس لم يتغيّر، فيقتبس المساعد سياسة مُستبدَلة. الحاجز: إعادة استيعاب تُطلَق بتغيّر المستندات، وبيانات وصفية لتاريخ السريان كي يفضّل الاسترجاع الإصدار الساري.
• مصادر متعارضة أو مكرّرة. يختلف مستندان ويختار النموذج أحدهما بصمت. الحاجز: أظهر التعارض بالاستشهادات بدلاً من حلّه بلا مرئية، وأزل التكرار عند الاستيعاب.
• حقن الطلب من المحتوى المُستوعَب. يحمل مستند، أو نص يلصقه مستخدم، تعليمات تحاول اختطاف النموذج. الحاجز: عامل المحتوى المُسترجَع بوصفه بيانات لا تعليمات، وأبقِ تعليمات النظام وصلاحيات الأدوات بمنأى عن متناول المجموعة.
• تجاوز الوصول. مرشّح صلاحيات مفقود يتيح لمستخدم استرجاع ما لا ينبغي له. الحاجز: افرض ترشيح الوصول في الشيفرة قبل الاسترجاع، لا في الطلب أبداً، واختبره كخاصّية أمنية.
• فيض السياق. يحشو الإفراط في الاسترجاع النافذة فيفقد النموذج المقطع المهمّ، وهو أسوأ في العربية حيث يكلّف النص رموزاً أكثر. الحاجز: استرجع بضيق، وأعد الترتيب، واحصِر السياق عمداً.

وقبل كل شيء، اشترط الاستشهادات وأبقِ إنساناً في الحلقة لأي إجابة تحمل عاقبة حقيقية. المساعد الذي يصوغ ويستشهد، بينما يقرّر شخص، قابل للدفاع عنه. أما الذي يتصرّف ذاتيّاً على استرجاع غير مُتحقَّق منه فمسؤولية ترتدي واجهة محادثة.

متى لا تستخدم RAG

RAG أداة محدّدة، ومعاملته بوصفه جواباً لكل شيء تنتج أنظمة بطيئة هشّة. مُدّ يدك إلى غيره حين:

• المعرفة صغيرة ومستقرّة. إن كان جسم المعرفة كلّه يتّسع مرتاحاً في الطلب ونادراً ما يتغيّر، ضعه مباشرة في تعليمات النظام. خطّ استرجاع لعشرين حقيقة مستقرّة عبء بلا عائد.
• المهمة تحتاج حساباً أو تجميعاً دقيقاً. المجاميع عبر فترة، والعدّات، والتسويات: تُجاب باستعلام بيانات مهيكلة، لا بحثاً دلاليّاً في المستندات. النمط الصحيح استدعاء أداة أو استعلام مقابل قاعدة البيانات المصدر.
• تحتاج إجابة معاملاتية حيّة. حالة طلب، والمخزون الراهن، ورصيد حساب، وحجز اليوم. هذه تخصّ نظام السجلّ، يُبلَغ عبر تكامل يستدعيه في الزمن الحقيقي، لا مخزن مستندات مُفهرَس دوريّاً يصير قديماً لحظة بنائه.
• المشكلة أسلوب أو صيغة، لا حقائق. لجعل نموذج يكتب بنبرة المؤسسة أو ينتج بنية ثابتة، فتلك مشكلة تلقين أو ضبط دقيق. يغيّر RAG ما يعرفه النموذج، لا كيف يعبّر عن نفسه.
• مسار حتمي أكثر موثوقية. إن اختُزل قرار إلى مجموعة واضحة من القواعد، فنموذج أو بحث بسيط أرخص وأسرع وقابل للتدقيق بما لا تكون عليه إجابة توليدية.

الصياغة الأمينة: يؤسّس RAG الإجابات في جسم متغيّر من المعرفة غير المهيكلة. وحين يكون السؤال فعلاً عن بيانات حيّة، أو أرقام دقيقة، أو قواعد ثابتة، يوجّه النظام الأفضل النموذج نحو المصدر عبر تكامل أو يستبدله بمنطق حتمي.

بناؤه على الوجه الصحيح

قاعدة معرفة RAG سهلة العرض ومطلبيّة في جعلها موثوقة، والفجوة كاملةً في الأجزاء التي يقف عندها هذا الدليل: استيعاب حديث، وتقطيع يحترم مستنداتك، وتضمينات مُتحقَّق منها على محتواك بما فيه العربية، ومخزن متجهات موضوع حيث تفرض الإقامة، ووصول مفروض عند الاسترجاع، وتوليد مقيَّد بالاستشهاد بمصادره، وتقييم يجري طوال عمر النظام. أتقِن ذلك فتملك مساعداً يستطيع فريقك ائتمانه على بند عقد أو سياسة امتثال. أغفله فتملك مسؤولية واثقة.

هذا هو المعيار الذي نبني إليه في كل ارتباط وكيل ذكاء اصطناعي مؤسَّس بالاسترجاع وRAG، بالإنجليزية والعربية، مع إبقاء المجموعة في بنية تحتية تسيطر عليها. تعتمد البنية الصحيحة على مستنداتك، وحساسيتك، ولغاتك، فنُحدّد نطاق كل بناء لكل مشروع ونرسل عرضاً بسعر ثابت بدلاً من رقم عنوان. الهندسة هي المنتج، وفي قاعدة معرفة مؤسسية، الهندسة تقرّر إن كانت الإجابات جديرة بالثقة.