يرى القارئ العربي «أحمد» و«احمد» اسماً واحداً، ويراهما الحاسوب نصّين مختلفين. التوحيد خطوة صغيرة تسدّ هذه الفجوة قبل البحث أو دمج السجلات المكرّرة أو مطابقة البيانات.
توحيد النص العربي خطوة تعيد كتابة النص العربي بإملاء واحد ثابت قبل البحث فيه أو مقارنته أو فهرسته. فهي تجمع الصيغ التي يعدّها القارئ كلمة واحدة، فتحوّل أ وإ وآ إلى ا، والتاء المربوطة ة إلى ه، والألف المقصورة ى إلى ي، وتحذف التشكيل والتطويل، فيجد البحث عن «احمد» كلمة «أحمد» أيضاً.
تحت هذا الاسم فكرتان متقاربتان. الأولى توحيد يونيكود، المعرّف في UAX #15، ويتعامل مع محارف يمكن ترميزها بأكثر من طريقة: في الصيغة NFKC يصبح الشكل العرضي لام ألف ﻻ الحرفين العاديين لا. والثانية التوحيد الإملائي العربي، وهو يذهب أبعد فيدمج حروفاً يعدّها يونيكود مختلفة فعلاً، كالألف بهمزة والألف المجرّدة. لن تجعل أي صيغة من صيغ يونيكود «أ» مساوية لـ«ا»، ولهذا تضيف شيفرة البحث قواعدها الخاصة فوقها.
وكلتاهما تعمل على نسخة من النص، لا على ما يقرؤه الناس. يحتفظ الأصل بهمزاته وتشكيله للعرض، والنسخة الموحّدة موجودة للمطابقة فقط. ويجب أن تعمل الدالة نفسها على الطرفين: على النص المخزّن عند حفظه، وعلى كل كلمة بحث لحظة وصولها.
| الاسم | ملاحظات | |
|---|---|---|
| بالإنكليزية | Arabic text normalization | وبالتهجئة البريطانية normalisation. ويقول مهندسو البحث أيضاً folding أو orthographic normalization. |
| بالعربية الفصحى | توحيد النص العربي | وأيضاً «توحيد الإملاء» حين يدور الحديث حول صيغ الكتابة. |
| ما يُسمع في سوريا | «توحيد الهمزات» أو normalize | المطوّرون يستخدمون الفعل الإنكليزي غالباً، وقاعدة الهمزات أول ما يذكره الناس عادة. |
| في الشيفرة والمعايير | normalize("NFKC") وUAX #15 | صيغ التوحيد في يونيكود. ودالة مثل normalizeArabic تضيف فوقها قواعد العربية. |
ينشر مؤجّر على تطبيق عقارات في دمشق إعلاناً نصّه «شقّة للإيجار في المزّة»، بشدّة على حرفين وهمزة تحت الألف. ويكتب طالب يبحث عن غرفة على هاتفه «شقه ايجار المزه». كنصّ خام، لا تظهر أي كلمة من كلمات البحث في الإعلان.
مرّر الاثنين على دالة التوحيد ومقسّم الكلمات نفسيهما، فيصبح الإعلان: شقه، ايجار، في، مزه، وتصبح كلمات البحث: شقه، ايجار، مزه. صارت كل كلمة بحث موجودة في الإعلان. ذهبت الشدّتان، وتحوّلت ة إلى ه، وسقطت الهمزة عن الألف، وقُصّت أداة التعريف ال والسابقة لل من أول الكلمات. هذه الخطوة الأخيرة تتجاوز التوحيد بمعناه الدقيق، لكن الدالة المُختبرة تنفّذها في المرور نفسه.
وتبقى صفحة الإعلان تعرض «شقّة للإيجار في المزّة» كما كتبها المؤجّر تماماً.
إعادة كتابة النص العربي بإملاء واحد قبل مطابقته: صيغ الألف بهمزة تصبح ا، والتاء المربوطة تصبح ه، والألف المقصورة تصبح ي، ويُحذف التشكيل والتطويل. ويُطبَّق على نسخة مخصّصة للبحث، لا على النص الذي يقرؤه الناس.
قواعد التوحيد هي نفسها في دالتَي JavaScript وDart المُختبرتين لدينا (Node 24 وflutter test، 16 تشرين الثاني 2026). ومثال تطبيق العقارات مُرّر على دالة JavaScript نفسها.
أرسل لنا بضع عمليات بحث يُفترض أن تنجح، ونريك أي كتابة تقف في طريقها.