هل عندك فكرة إن الـ AI أصلاً مش بيقرا كلامك؟ بمعنى أصح: هو مش شايف الحروف أو الكلمات اللي إنت بتكتبها خالص. هو بيشوف حاجة تانية مختلفة تماماً.
الحاجة دي اسمها الـ Token.
رحلة كلامك جوه عقل الـ AI
قبل ما نتعمق ونعرف يعني إيه Token، خلينا نمشي ورا كلامك خطوة بخطوة من لحظة ما بتدوس Enter وتبعت رسالتك للـ AI.
(كلامك العادي)
(تقطيع لـ توكنز)
(تحويل لأرقام)
(عقل الموديل)
(ترجمة للرد النهائي)
بمجرد ما بتبعت أي نص، الـ AI بيعمل عملية اسمها Tokenization — يعني بيمسك كلامك ويقطعه لحتت صغيرة اسمها التوكنز. التوكنز دي بتتحول لأرقام. الموديل بياخد الأرقام دي، يفهم العلاقة بينها، يحدد إيه الرد المناسب (برضه في شكل أرقام)، وفي النهاية بيحول الأرقام دي تاني لكلمات عشان إنت تقدر تقراها.
دي الرحلة الكاملة.. بتحصل في كل رسالة بتبعتها.
يعني إيه Token أصلاً؟
إنت لما بتقرا جملة، بتقراها كلمة بكلمة. الـ AI مبيعملش كده — هو بيقطّع النص للحتت الصغيرة دي.
مثال عملي: 6 كلمات = 10 توكنز
بص كده على الجملة دي:
| التوكن (Token) | الـ AI شايفها إيه؟ |
|---|---|
Ray | جزء من كلمة مركبة |
- | علامة الناقص (توكن منفصل) |
Ban | الجزء التاني من الكلمة |
Meta | كلمة (لاحظ المسافة اللي قبلها محسوبة معاها) |
Ultra | كلمة |
smart | كلمة |
glasses | كلمة |
for | كلمة |
$ | علامة العملة (توكن منفصل) |
549 | الرقم |
ليه بيقطّع الكلام بالطريقة دي؟
التقنية دي اسمها Subword Tokenization. الموديل بيتدرب إنه يشوف إيه أكتر الحروف والكلمات اللي بتتكرر مع بعضها، وبيديها توكن واحد. أما الكلمات النادرة أو المعقدة، بيضطر يقطعها لحِتت أصغر عشان يقدر يفهمها.
✅ كلمات سهلة → 1 توكن
⚡ كلمات معقدة → كذا توكن
وللأسف، الكلمات العربية بتقع في الكاتيجوري المعقد ده بسبب نقص بيانات التدريب العربية (Training Data) مقارنة بالإنجليزي. بيانات أقل = الموديل مبيعرفش كلمات عربية كاملة كتير = بيضطر يقطّع الكلمات دي لحِتت أكتر.
طريقة التقطيع بتختلف من قاموس للتاني حسب الموديل. الأمثلة اللي فوق للتوضيح، وممكن تختلف في الحقيقة من موديل لآخر.
التأثير الأول: التكلفة (الفلوس)
شركات الـ AI بتحاسبك بالتوكن — مش بالرسالة، ولا بالكلمة. كل توكن له تمن.
دي أسعار أشهر الموديلات (حتى أوائل 2026):
| الموديل (Model) | تكلفة الإدخال (Input) لكل مليون توكن | تكلفة الرد (Output) لكل مليون توكن |
|---|---|---|
| GPT-4o mini | $0.15 | $0.60 |
| Gemini 2.5 Flash | $0.30 | $2.50 |
| Claude Haiku 4.5 | $1.00 | $5.00 |
| GPT-4o | $2.50 | $10.00 |
| Gemini 2.5 Pro | $1.25 | $10.00 |
| Claude Sonnet 4.5 | $3.00 | $15.00 |
| Claude Opus 4.6 | $5.00 | $25.00 |
الأسعار تقريبية. الموديلات بتغير أسعارها باستمرار، ولازم دايماً تراجع الموقع الرسمي للشركة.
لاحظ هنا إن كل موديل بيحاسبك منفصل على الـ Input (السؤال أو الكلام اللي إنت بتبعته) والـ Output (الرد اللي الموديل بيكتبهولك). إنت بتدفع في الاتجاهين! وشايف الفرق في الأسعار؟ لما تكون فاهم يعني إيه توكن، هتعرف تختار الموديل الصح اللي يوفرلك في مشروعك.
الفجوة بين الإنجليزي والعربي
وهنا بتظهر المشكلة الحقيقية لو بتكتب بالعربي:
الفجوة دي بدأت تتحسن مع الموديلات الجديدة زي GPT-4o، لكن نسبة الـ 50% دي متوسط واقعي جداً، والزيادة بتختلف حسب الموديل ونوع النص.
معنى الكلام ده إيه كـ "فلوس بجد"؟
تخيل إنك بتبعت 100 رسالة في اليوم لمدة شهر على موديل متقدم:
🇺🇸 English
100 msg × 30 days × ~1,500 tokens
= 4.5 million tokens / month
🇪🇬 Arabic
100 msg × 30 days × ~2,300 tokens
= 6.9 million tokens / month
تخيل لو بتعمل أبلكيشن بيستقبل 500 أو 1000 رسالة في اليوم، بنتكلم في مئات الدولارات!
التأثير التاني: ذاكرة الـ AI (Context Window)
كل AI Model ليه سقف لعدد التوكنز اللي يقدر يشوفها ويفتكرها في نفس اللحظة. السقف ده بنسميه الـ Context Window — وتقدر تعتبره زي الرامات (RAM) في الكمبيوتر.
بمجرد ما الـ Context window دي تتملي، الـ AI مش بيقدر يستوعب أي كلام جديد، وبيبدأ ينسى أول أجزاء من المحادثة بتاعتك. كل ما الـ Context Window تكبر = الـ AI يفتكر أحسن. بس في نفس الوقت، المحادثات الطويلة بتسحب توكنز أكتر = فاتورة أغلى.
التأثير التالت: السرعة
ودي حاجة أغلب الناس مكنتش عارفاها:
الـ AI مش بيولّد الرد كله مرة واحدة في خبطة واحدة. هو بيكتب (توكن ورا توكن)، وكل توكن بيسلم اللي بعده.
كل موديل ليه القاموس بتاعه
مفيش موديل بيحسب التوكنز زي التاني. كل موديل ليه القاموس الخاص بيه (Vocabulary) — عبارة عن جدول فيه آلاف الأجزاء والكلمات، وكل جزء مربوط بـ (رقم ID) خاص بيه.
يعني كلمة زي "smart" ممكن يكون ليها رقم مختلف تماماً حسب الموديل اللي بتستخدمه:
Model A
"smart" = #10,119
Model B
"smart" = #28,644
شوفها بعينك في الكود (Python)
خلينا نكتب كود بايثون ونستخدم مكتبة tiktoken ونشوف الموضوع ده بيحصل إزاي في قاموس gpt-4o:
%pip install -q tiktoken
import tiktoken
tokenizer = tiktoken.encoding_for_model("gpt-4o")
text_en = "Ray-Ban Meta Ultra smart glasses with 48MP camera"
tokens_en = tokenizer.encode(text_en)
print(f"English token count: {len(tokens_en)}") # ~12
text_ar = "نظارة ذكية خفيفة بكاميرا وترجمة فورية"
tokens_ar = tokenizer.encode(text_ar)
print(f"Arabic token count: {len(tokens_ar)}") # ~15
for t in tokens_en:
print(f" ID {t:>6} → '{tokenizer.decode([t])}'")
ID 27438 → ' Meta' ID 38414 → ' Ultra' ID 8847 → ' smart'
ID 40081 → ' glasses' ID 483 → ' with' ID 3519 → '48'
ID 9125 → 'MP' ID 9427 → ' camera'
٣ طرق توفر بيهم توكنز (وفلوس)
1. اكتب الـ Prompt بالإنجليزي، واطلب الرد بالعربي
كده إنت بتوفر توكنز في مرحلة الـ Input (واللي غالباً بتكون الجزء الأكبر من أي محادثة). الـ AI هيرد عليك بالعربي عادي جداً، بس إنت وفرت في عدد التوكنز اللي استخدمتها عشان تسأله.
2. خليك مباشر ومحدد
البرومبت القصير المباشر أحسن بكتير من البرومبت الطويل المليان رغي — وبيستخدم توكنز أقل. كل جملة بتكتبها بفلوس. برومبت ذكي ومتصمم صح ممكن يوفرلك عشرات الدولارات في الشهر.
3. حدد طول الرد اللي إنت محتاجه
قول للـ AI بالظبط إنت عايز إيه: "رد في 3 نقاط بس" أو "لخّص في سطرين". ده بيتحكم بشكل مباشر في عدد الـ Output Tokens اللي الموديل بيستهلكها وهو بيرد عليك.
الخلاصة
الـ AI مبيفهمش كلام.
الـ AI بيفهم أرقام.
كل كلمة بتكتبها بتتحول لأرقام. الموديل بيدور على الأرقام المناسبة عشان يرد عليك بيها. وبعدين يحول الأرقام دي لكلمات. دي اللعبة كلها — عبارة عن آلة مطابقة أرقام معقدة جداً. بمجرد ما تفهم الفكرة دي، التكلفة، السرعة، والذاكرة.. كل ده هيبدأ يكون منطقي جداً في دماغك، لأنها كلها مجرد قيود على "كمية الأرقام" اللي الموديل يقدر يعالجها في نفس اللحظة.
جربها بنفسك
أحسن طريقة عشان الفكرة تثبت في دماغك، إنك تجربها بإيدك. ادخل على الـ Tokenizer المجاني بتاع OpenAI من هنا: platform.openai.com/tokenizer — حط أي نص وشوفه وهو بيتقطع لتوكنز قدام عينك وكل توكن بياخد لون مختلف.
جرب التحدي ده: اكتب اسمك بالكامل بالعربي، وبعدين اكتبه بالإنجليزي.. وشوف الفرق في عدد التوكنز. لو اسمك طويل شوية.. صدقني هتتخض من النتيجة!
المقال الجاي
الـ Embeddings
السحر اللي بيخلي الـ AI يفهم المعنى من الأرقام دي — وإزاي بيقدر يفهم إن كلمة "نظارة" وكلمة "glasses" ليهم نفس المعنى، رغم إن حروفهم وأرقامهم مفيش بينهم أي شبه!