ابنِ RAG عربيًا بالجمل لا بالحجم الثابت: الاسترجاع يتحسن أولًا

لبناء مساعد RAG يعتمد على مستندات عربية، ابدأ بتنظيف النص وتقسيمه عند حدود الجمل مع حفظ عنوان القسم وموضع كل مقطع في الأصل. ضمّن المقاطع بنموذج متعدد اللغات، واسترجع المرشحين وأعد ترتيبهم، ثم ولّد إجابة تسند ادعاءاتها إلى المقاطع المستخدمة. في مقارنة تجريبية على ست مجموعات عربية، بلغ متوسط التقييم الكلي للتقطيع الواعي بالجملة 74.78 مقابل 69.41 للتقطيع الثابت، وتقدّم BGE-M3 وMultilingual-E5-large بين نماذج التضمين المختبرة، وحسّنت إضافة bge-reranker-v2-m3 بعض المهام المعقدة.

ابدأ بهذا الترتيب بوصفه إعدادًا أوليًا، ثم اختبره على أسئلة مأخوذة من وثائقك. تفوق طريقة التقطيع في متوسط المقارنة لا يعني أنها الأفضل لكل نوع من المستندات؛ وما يصلح للاسترجاع قد يفشل إذا حذف ترتيب النتائج الدليل الصحيح أو ولّدت الإجابة معلومة لا يسندها النص. لهذا افصل اختبار العثور على المقطع عن اختبار صحة الإجابة وإسنادها.

استخرج النص مع موضعه في المستند

حوّل ملفات PDF وصفحات الويب والملفات المكتبية إلى نص يحتفظ بترتيب الفقرات والعناوين وأرقام الصفحات حيث تتوافر. افحص عينة من كل نوع قبل الفهرسة: اختلاط عمودين في صفحة، أو سقوط حروف في التعرف الضوئي، قد يحوّل جملة صحيحة إلى مقطع مضلل. احتفظ بالنسخة الأصلية والنسخة المهيأة للبحث معًا حتى يعود رابط الاستشهاد إلى الموضع الذي رآه القارئ.

وحّد المسافات وعلامات الترقيم التي أفسدها الاستخراج، واحذف رؤوس الصفحات وتذييلاتها المتكررة إذا كانت ستزاحم المحتوى. لا تسوِّ الهمزات أو التشكيل أو الأرقام في النسخة الأصلية؛ ففي الأسماء والنصوص النظامية قد تحمل هذه العلامات فرقًا لازمًا للتحقق. احفظ لكل مقطع معرّفًا ثابتًا، ومعرّف المستند، وعنوان القسم، والصفحة أو الإزاحة النصية، وتاريخ نسخة المستند وصلاحية الوصول. تساعد هذه الحقول على تحديث الفهرس وحذف النسخ القديمة وعرض الاستشهاد الصحيح.

اجعل الجملة حدًا أوليًا للمقطع

قسّم المستند أولًا بحسب العناوين والفقرات، ثم اجمع جملًا متجاورة في مقطع واحد حتى يصل إلى حد الإدخال المناسب لنموذج التضمين. يتجنب هذا الأسلوب قطع الشرط عن حكمه أو فصل السؤال عن إجابته لمجرد بلوغ عدد ثابت من الحروف. افحص علامات الوقف العربية والقوائم والاختصارات يدويًا في عينة ممثلة؛ فالملفات المستخرجة من PDF قد تفقد النقطة أو تجمع سطرين لا ينتميان إلى الجملة نفسها.

إذا امتد المعنى عبر حد مقطعين، أضف تداخلًا قصيرًا أو ألحق عنوان القسم بكل مقطع، ثم قارن النتيجة مع نسخة بلا تداخل. قد يبقي التداخل الشرط والاستثناء معًا، لكنه يكرر المرشحين ويستهلك مساحة السياق حين يزيد كثيرًا. احتفظ بخريطة تربط كل مقطع بالجمل التي تكوّنه في الأصل، لأن الإحالة إلى صفحة كاملة لا تبين أي عبارة استندت إليها الإجابة. قارن أيضًا بالتقطيع الثابت على وثائقك القصيرة أو المتجانسة؛ فالأفضلية في المتوسط لا تحسم هذه الحالات منفردة.

طابق نوع الوثيقة مع التضمين والفهرسة

اختبر BGE-M3 وMultilingual-E5-large كنقطتي بدء للتضمين العربي، لكن قارن ترتيبهما على أسئلة المستخدمين الفعلية قبل اعتماد أحدهما. طبّق إعدادات النموذج المناسبة على النصوص والأسئلة؛ فبعض النماذج تميّز صيغة الاستعلام عن صيغة المقطع. عند تبديل نموذج التضمين أو طريقة تهيئة النص، أعد بناء متجهات المستندات حتى تنتمي الاستعلامات والمقاطع إلى فضاء تمثيل متوافق. خزّن النص والبيانات الوصفية إلى جانب المتجه، وطبّق صلاحيات الوصول قبل إظهار أي مقتطف.

إذا فضّلت توليد المتجهات داخل خدمة البحث، يبيّن مثال Qdrant مع Cohere Embed 4.0 كيف تستخدم Qdrant Cloud Inference النموذج وتخزّن الناتج، ويذكر دعمه لأكثر من مئة لغة. يستخدم المثال صورًا وتعليقات نصية لإظهار البحث متعدد الوسائط؛ لذلك يحتاج اختيار هذا النموذج لوثائق عربية نصية إلى اختبار على تلك الوثائق.

تختلف وحدة الفهرسة والإشارة اللازمة لإعادة الترتيب بحسب المستند:

• مقالات المعرفة والإجراءات الطويلة: ابدأ بعنوان القسم وجمل متجاورة، واختبر أحد النموذجين المذكورين. أعد الترتيب إذا ظهرت أقسام متشابهة الألفاظ تختلف في الشرط أو الإجراء المطلوب.
• الأسئلة الشائعة والسجلات القصيرة: أبقِ السؤال وجوابه أو السجل المتماسك في مقطع واحد ما دام يناسب حد النموذج. قارن الاسترجاع الدلالي بالمطابقة اللفظية عندما تحمل الأسماء والرموز معنى محددًا.
• السياسات والعقود متعددة المواد: احفظ رقم المادة وعنوانها ونطاقها مع المقطع. اختبر صيغًا بديلة للسؤال، ثم أعطِ إعادة الترتيب نص المادة وموضعها كي يظهر الاستثناء مع الحكم في النتائج.

أعد ترتيب المرشحين ثم ولّد إجابة مسندة

استرجع مرشحين أكثر مما ستضعه في سياق مولد الإجابة، ثم قيّم صلة كل مقطع بالسؤال باستخدام نموذج لإعادة الترتيب مثل bge-reranker-v2-m3. لا ينشئ الترتيب مقطعًا لم يسترجعه البحث الأولي؛ لذا افحص وجود الدليل في قائمة المرشحين قبل ضبط مرحلة الترتيب. اضبط عدد النتائج النهائية على مجموعة تقييم ثابتة، لأن تمرير مقاطع كثيرة متشابهة قد يطغى على العبارة التي تجيب مباشرة عن السؤال.

يعرض مثال موصل Qdrant مع Cohere فهرسة المستندات بنموذج embed-multilingual-v3.0 مع input_type من نوع search_document، وتضمين السؤال بنوع search_query، وإرجاع النتائج إلى Command-R الذي يدعم الاستشهادات. في تطبيقك، أعد مع كل نتيجة معرّف المقطع وعنوان المستند ورابط موضعه، ثم اطلب من المولد إسناد كل معلومة قابلة للتحقق إلى المقطع الذي يحملها. إذا غاب الدليل، اجعل الإجابة تصرّح بأن المستندات المسترجعة لا تكفي، بدل ملء الفراغ من معرفة النموذج العامة.

اختبر العثور على الدليل ثم صحة الجواب

كوّن مجموعة أسئلة تمثل الاستعمال المتوقع: سؤالًا مباشرًا، وصياغة لا تكرر كلمات المستند، وسؤالًا يحتاج أكثر من مقطع، وسؤالًا بلا جواب في القاعدة. اربط كل سؤال بالمقاطع المقبولة وبإجابة مرجعية حين يمكن تحديدها. قارن إعدادات التقطيع والتضمين والترتيب على المجموعة نفسها، وسجّل هل ظهر المقطع الصحيح ضمن المرشحين، وأين وقع بعد إعادة الترتيب، وكم استغرق البحث وكم بلغ السياق المرسل إلى المولد.

راجع الإجابة بمعيارين منفصلين: هل أجابت عن السؤال، وهل يسند النص المستشهد به كل ادعاء فيها؟ افحص يدويًا الحالات الحساسة أو الملتبسة، وتأكد من أن الرابط يفتح النسخة الصحيحة من المستند وأن الصلاحيات تحجب ما لا يحق للمستخدم رؤيته. بعد أي تعديل في التنظيف أو نموذج التضمين، أعد الفهرسة وشغّل الأسئلة المرجعية ذاتها؛ بذلك يظهر إن كان تحسن العثور على المقطع قد انتقل فعلًا إلى إجابة أدق.

اقرأ أيضًا:

• ربح YouTube عربيًا: 500 مشترك للدعم و1000 للإعلانات حاليًا
• Stripe Atlas أم Firstbase؟ السعر الأرخص أولًا قد يكلف أكثر لاحقًا