الأساسيات
ما هي الرموز في الذكاء الاصطناعي؟
الرموز هي الوحدات التي يقرأها نموذج اللغة ويكتبها فعليًا، لا الكلمات ولا الأحرف. كيف يعمل التحويل إلى رموز، وكيف تُحسب رموز الإدخال والإخراج، ولماذا يعطي مُرمِّز النموذج نفسه وحده رقمًا دقيقًا.
كل الشروحات · آخر مراجعة:
الرمز ليس كلمة، وليس حرفًا
يقسّم المُرمِّز النص إلى أجزاء مأخوذة من مفردات ثابتة تعلّمها أثناء التدريب. الكلمة القصيرة الشائعة غالبًا ما تكون رمزًا واحدًا بالضبط؛ والكلمة الأطول أو الأندر قد تنقسم إلى رمزين أو ثلاثة؛ ورمز غريب واحد قد يستهلك بمفرده أكثر من رمز. علامات الترقيم والمسافات وفواصل الأسطر رموز أيضًا وليست مجانية.
لهذا يتحرك عدد الرموز وعدد الكلمات وعدد الأحرف كل بمعزل عن الآخر. جملتان بعدد الكلمات نفسه قد تستهلكان عددًا مختلفًا من الرموز، وإعادة صياغة جملة بكلمات أقصر وأكثر شيوعًا قد تقلّل عدد رموزها من دون أن تجعلها أقصر كنص.
التحويل إلى رموز يختلف باختلاف اللغة والنموذج
يأتي كل نموذج بمُرمِّزه الخاص ومفرداته الثابتة الخاصة، المبنية من النص الذي دُرّب عليه. الصياغات الشائعة في ذلك النص التدريبي تميل إلى الانضغاط في رموز أقل وأطول؛ أما الصياغات النادرة فتميل إلى الانقسام إلى أجزاء أكثر وأقصر.
يترتب على ذلك أمران مباشرة. أولًا، قد تكلّف الجملة نفسها عددًا مختلفًا بشكل ملحوظ من الرموز بحسب اللغة التي كُتبت بها، لأنه لا توجد مفردات تمثّل لغتين بالقدر نفسه من الكفاءة. ثانيًا، قد تكلّف الجملة نفسها عددًا مختلفًا من الرموز على نموذجين مختلفين، لأن لكل منهما مفرداته الخاصة — فحساب مُرمِّز نموذج واحد ليس تقديرًا موثوقًا لنموذج آخر.
الطلب يستهلك رموز إدخال ورموز إخراج
لكل طلب مجمعان من الرموز، يُحسبان وعادةً يُسعَّران بشكل منفصل. رموز الإدخال هي كل ما يُرسَل إلى النموذج: التعليمات، والمحادثة الظاهرة، وأي مستندات مرفقة ونتائج الأدوات. رموز الإخراج هي كل ما يولّده النموذج في المقابل.
رموز الإدخال ليست تكلفة تُدفع مرة واحدة في محادثة متعددة الأدوار. فبما أن كل طلب جديد يعيد إرسال المحادثة حتى تلك النقطة، تُحسب الرسائل السابقة وأي مواد مرفقة مرة أخرى كإدخال في كل دور، لا في الدور الذي أُضيفت فيه أول مرة فقط.
الرموز هي الوحدة التي تُقاس بها نافذة السياق
نافذة السياق ميزانية معبَّر عنها بالرموز، يتقاسمها إدخال طلب واحد وإخراجه. صفحة «ما هي نافذة السياق؟» توضح كيف تتصرف هذه الميزانية عمليًا؛ والمهم هنا هو الوحدة فقط — فالنافذة لا تُقاس بالكلمات ولا الأحرف ولا الرسائل، بل بالرموز، ويسحب الإدخال والإخراج من المجموع نفسه.
تقدير الكلفة من دون رقم ثابت
الكلفة القائمة على الرموز عملية ضرب: الرموز المستهلكة في سعر يحدَّد لكل نموذج. يحدّد المزوّدون هذه الأسعار ويغيّرونها وفق جدولهم الخاص، والنموذج الأقدر يكلّف عادةً أكثر لكل رمز من نموذج أصغر، مع تسعير رموز الإخراج عادةً أعلى من رموز الإدخال. لا شيء من هذا يجعل نشر رقم محدد هنا مفيدًا — فسعر يُطبع في هذه الصفحة سيصبح خاطئًا خلال أشهر.
ما يبقى صحيحًا بصرف النظر عن جدول الأسعار الحالي هو شكل الكلفة: المطالبات الأقصر والأكثر تركيزًا والإجابات الأقصر والأكثر تركيزًا تستهلك رموزًا أقل، وإعادة إرسال مرفقات كبيرة في كل دور من محادثة طويلة واحدة من أكثر الطرق شيوعًا التي ينمو بها استهلاك الرموز من دون أن يقرر أحد ذلك.
الرقم الدقيق يحتاج مُرمِّز النموذج نفسه
قاعدة تقريبية عن الرموز لكل كلمة تقريب صالح للغة واحدة يعالجها مُرمِّز واحد، ولا تنتقل إلى لغة أخرى أو كتابة أخرى أو نموذج آخر. التنسيق أيضًا يغيّر الرقم: الشيفرة وJSON والنص الكثيف الترقيم تميل إلى التحويل إلى رموز بكفاءة أقل من المعلومة نفسها مكتوبة كنثر بسيط.
إذا كان الرقم الدقيق مهمًا — لأن طلبًا يقترب من حد السياق، أو لأن الكلفة يجب توقّعها بدقة — فالطريقة الموثوقة الوحيدة هي تمرير النص الفعلي عبر مُرمِّز النموذج المحدد نفسه أو نقطة حساب يوفّرها قبل الإرسال. التقدير المبني على الكلمات أو الأحرف تخمين متنكّر في هيئة رقم.
أسئلة يطرحها الناس
- هل الرمز هو نفسه الكلمة؟
- لا. الكلمة القصيرة الشائعة غالبًا رمز واحد، لكن الكلمة الأطول أو الأندر قد تنقسم إلى عدة رموز، وعلامات الترقيم والمسافات وفواصل الأسطر تُحسب رموزًا بحد ذاتها. عدد الرموز وعدد الكلمات يتوافقان تقريبًا لا أكثر.
- لماذا تستهلك الجملة نفسها عددًا مختلفًا من الرموز في أدوات مختلفة؟
- كل أداة عادةً تُبلغ عن حساب مُرمِّز نموذج محدد، ولكل نموذج مفرداته الخاصة المبنية من نصه التدريبي الخاص. الحساب الدقيق لمُرمِّز نموذج ما ليس سوى تقدير لنموذج آخر.
- هل التنسيق مثل الشيفرة أو JSON يستهلك رموزًا أكثر من النص العادي؟
- غالبًا نعم. المسافات البادئة وعلامات الترقيم والرموز المتكررة هي نفسها رموز، لذا قد يستهلك التنسيق الشديد التركيب رموزًا أكثر بوضوح من المعلومة نفسها مكتوبة بجمل بسيطة.
- كيف أعرف العدد الدقيق لرموز طلب قبل إرساله؟
- مرّر النص الدقيق عبر مُرمِّز النموذج المحدد نفسه أو نقطة حساب يوفّرها. أي تقدير مبني على عدد الكلمات أو الأحرف تقريبي، ويكبر الخطأ مع اختلاف اللغة والكتابة والتنسيق.
جرّبه بدل أن تقرأ عنه
يحسب ClawAI رموز الإدخال والإخراج التي استهلكها الطلب فعليًا بعد توليد الاستجابة، ويعرض الكلفة والرصيد الذي استُهلك مقابل تلك الإجابة بدل تقدير يُحسب مسبقًا.