المُقطِّع حدود

خريطة قبل القراءة

لا يرى النموذج اللغوي جملتك قط؛ بل يرى سلسلة من الأعداد الصحيحة. والدالة التي تحول إحداهما إلى الأخرى هي المُقطِّع: مفردات ثابتة من مقاطع الحروف، تُتعلَّم مرة من متن التدريب المسبق ثم تُجمَّد. كل ما يأتي بعدها، من الانتباه وقوانين التوسع إلى صفحات التسعير، يرث ذلك القرار الأول.

لأن القرار يُتخذ قبل التدريب، فهو خفي في العرض التجريبي ودائم في الإنتاج. يمكنك ضبط الأوزان، لكنك لا تستطيع عمليًا ضبط الحدود.

ما الذي يفترضه ترميز أزواج البايتات؟

يشترك ترميز أزواج البايتات وأقاربه، مثل WordPiece ونموذج unigram، في حدس واحد: التكرار يستحق مساحة. تُدمج الأزواج المتجاورة الأكثر شيوعًا مرارًا حتى تنفد خانات المفردات. ما يكرره المتن يصبح رمزًا واحدًا رخيصًا، وما يندر فيه يُهجّى شظايا.

هذا حدس معقول وسياسة غير معقولة، لأن المتن لم يكن محايدًا قط. حين يغلب الإنجليزي على نص التدريب، يصبح جدول الدمج قاموسًا لراحة الإنجليزية. كلمة the تحصل على رمز خاص، بينما يحصل الفعل العربي على شظايا.

هندسة الكلمة العربية

الصرف العربي ليس نسخة أطول من الصرف الإنجليزي؛ بل هندسة مختلفة. يسكن المعنى في جذر صامت، غالبًا من ثلاثة أحرف، ويأتي النحو في وزن يُصب حوله. من ك ت ب، جذر الكتابة، تشتق اللغة كَتَبَ هو كتب، و كُتُب كتب، و كاتِب كاتب، و مَكتَب مكتب، و مَكتَبة مكتبة. خمس كلمات من جذر واحد وخمسة أوزان.

ثم تلتحق اللواصق: حروف العطف والجر، وأداة التعريف، وضمائر المفعول. وَسَنَكتُبُها كلمة كتابية واحدة تعني «وسنكتبها». يواجهها جدول دمج قائم على التكرار ومدرّب غالبًا على الإنجليزية كما يواجه موظف جمارك جوازًا غير مألوف: يفككه.

الخصوبة، بالاسم المهذب

الاسم المهذب لهذا الضرر هو الخصوبة: متوسط عدد الرموز التي ينفقها المُقطِّع لكل كلمة. تقترب خصوبة الإنجليزية من واحد ضمن مفردات متمركزة حولها. أما العربية ضمن المفردات نفسها فتشير التدقيقات المنشورة وحساباتي إلى معدل يقارب مرة ونصفًا إلى مرتين ونصفًا من الإنجليزية، ويزداد سوءًا في اللهجات ثم في النص المشكول.

الخصوبة ليست شكوى جمالية. نوافذ السياق تُقاس بالرموز، لذلك يتسع الإطار نفسه لجزء أقل من الوثيقة العربية. وتسعّر الواجهات كل رمز، فتزداد كلفة الفقرة نفسها. كما يتناسب التأخير مع طول السلسلة، فتصل الإجابة نفسها متأخرة. الحدود تجبي الرسوم بالمقطع.

دفتر حساب التشكيل

تحذف الكتابة العربية الحركات القصيرة عادةً. كتب على الصفحة قد تعني كَتَبَ هو كتب، و كُتُب كتبًا، أو كُتِبَ كُتِب؛ ويفك القارئ الالتباس من السياق من دون أن يلاحظ جهده. وغالبًا ما تحذف خطوط المعالجة ما يظهر من حركات، وتعد التشكيل ضوضاء.

أرى أن الحساب يسير في الاتجاه الآخر. الحركات معنى مضغوط، واستعادتها مهمة مساعدة مشروعة: علّم النموذج إعادة الحركات، تكن قد علمته بثمن زهيد قدرًا كبيرًا من النحو والدلالة. الضوضاء هي الاسم الذي نطلقه على إشارة قررنا ألا ندفع ثمنها.

طريق التهريب

في الأثناء، يستمر الاستعمال العربي الحقيقي في مغادرة نقطة التفتيش. تختلف اللهجات عن الفصحى الحديثة في المفردات والتركيب، ويتراجع النموذج المضبوط على الأخبار الفصيحة كلما اتجه الإدخال نحو الخليج أو الشام أو المغرب. وفي الطرف الأبعد تأتي العربيزي، عربية مكتوبة بالحروف اللاتينية وأرقام تقوم مقام الأصوات الغائبة: 3 for ع, 7 for ح, 2 للهمزة.

العربيزي ما تفعله اللغة حين تعجز البنية التحتية عن حملها: تهرّب نفسها بأبجدية غيرها. أي نظام يدعي خدمة مستخدمي العربية ثم يتعثر في 3ala lahjtna إنما يخدم صورة جواز اللغة لا اللغة نفسها.

تسديد فاتورة الاستعارة

ينبغي إصدار فاتورة للاستعارات في الكتابة التقنية، وهذه هي. الحدود تقرر من يعبر بثمن زهيد: والمفردات تقرر أي اللغات تُضغط جيدًا. تُرسم الحدود في مفاوضات لم يحضرها العابرون: ويُثبّت جدول الدمج في التدريب المسبق بقرار من اختار المتن. الحدود تجبي رسومًا: والخصوبة هي الرسم المدفوع من السياق والمال والمللي ثانية. كما تخلق الحدود التهريب: والعربيزي اقتصاد غير رسمي للغة قصّرت البنية الرسمية في خدمتها.

المُقطِّع هو المكان الذي يُكتب فيه دستور النموذج، ومعظم العالم لم يكن في الغرفة.

ما الذي يفيد فعلًا؟

الحدود قرار هندسي، وهذا هو الخبر الجيد؛ فالقرارات الهندسية قابلة لإعادة الصنع. تفيد المفردات المتمركزة حول العربية: تفاوضت نماذج عائلة Jais وALLaM من سدايا على جداول الدمج والعربية حاضرة، وتظهر النتيجة في خصوبة النص العربي. ويفيد التقسيم الواعي بالصرف حين يبقي الجذور واللواصق الشائعة وحدات قابلة للاستعادة لا مصادفات تكرار. كما تفيد معماريات البايت والهجائن الحرفية جزئيًا برفض المفردات الثابتة أصلًا، فتستبدل الرسم بطول السلسلة.

لا شيء من ذلك مجاني، لكنه كله خيارات؛ وهذه هي الفكرة.

تدقيق الحدود

إذا كنت تشتري نماذج لمستخدمي العربية أو تنشرها أو تنظمها، فلا حاجة إلى تصديق أحد. اطلب خمسة أرقام.

المورّد الذي لا يستطيع تقديم هذه الأرقام لم يقسها؛ والذي يرفض تقديمها قد قاسها.

خاتمة من الخبر

@misc{chrouf2026border,
  author = {Chrouf, Sara},
  title  = {The Tokenizer Is a Border},
  year   = {2026},
  url    = {https://sarachrouf.com/ar/journal/the-tokenizer-is-a-border}
}