تقليل تكلفة LLMs بنسبة 97% باستهلاك Tokens أقل

كنت شغال على جزء Optimization لتقليل استهلاك الـ tokens في مشروع بيعتمد على LLMs
الموديل المستخدم كان gpt-5.1، والبروجيكت عبارة عن AI Chat Agents الناس بتدخل تكلمه 💬
الصدمة؟

• من 5000 token للرسالة
• لـ 80 ~ 150 token بس 😳

يعني الفاتورة:

• من 5000$
• لـ 115$ فقط

📉 Cost Reduction = 97.7%

---

🔍 المشكلة ظهرت فين؟​

وأنا ببص على الـ logs لاحظت حاجة مرعبة 😱
أي رسالة من اليوزر حتى: "سلام عليكم"
كانت بتستهلك 5000 token 🤯
قلت أكيد:

• الـ prompt بايظ؟ ❌
• الـ RAG results؟ ❌ (تمام وزي الفل)

فاضل إيه؟ الـ AI Agent نفسه.

---

🛠️ الصدمة: 50 Tool شغالين مع كل رسالة​

دخلت أعمل Debugging ولقيت إن الـ agent عنده:

• 50 Tool
• كل Tool فيها:
  • title
  • description
  • input schema

وكل ده داخل الـ context window في كل رسالة ❌ حتى لو اليوزر كتب كلمة واحدة!

---

❓ طب نعمل إيه من غير ما نمسح الـ Tools؟​

أنا موافق أستخدم الـ 50 Tool كلهم
بس مش موافق يدخلوا كلهم مع كل رسالة 😅
رجعت بقى للصح:

• Papers
• Research
• Articles

ولقيت حل ذكي جدًا معمول قبل كده.

---

🧠 الحل الذكي: Tools Metadata تدخل RAG مش Context​

الفكرة ببساطة 👇
بدل ما:

• title
• description

بتوع الـ Tools يدخلوا مباشرة في الـ context window
نعملهم: Embedding 👉 وندخلهم في RAG 👉
يعني:

• الـ Agent مش شايف كل الـ Tools طول الوقت
• بيشوف بس اللي محتاجه فعلًا

---

🔮 طب الـ Agent هيعرف يستخدم أنهي Tool إزاي؟​

قبل ما نخلق الـ Agent نفسه، بنضيف خطوة صغيرة جدًا ⚡
اسمها: Tool Prediction 👉
الجزء ده:

• بياخد رسالة اليوزر
• يتوقع أنهي Tools محتاجها

---

✨ مثال بسيط​

🟢 رسالة:"سلام عليكم" الـ prediction model هيقول:

• محتاج Tools؟ ❌
• عدد Tools = 0

فالـ agent يشتغل بالـ context الأساسي فقط ➡️ ~90 token

🟢 رسالة:"عايز أعرف انتوا مين وتفاصيلكم" الـ prediction هيقول:

• محتاج Tool اسمها مثلًا: retrieve_knowledge

ساعتها:

• يستخدم Tool واحدة بس
• الاستهلاك يوصل لـ ~150 token
  مش 5000 😎

---

💻 مثال توضيحي (Pseudo Code)​

user_message = "سلام عليكم"

predicted_tools = predict_tools(user_message)

if len(predicted_tools) == 0:
    run_agent(context_only=True)
else:
    run_agent(
        context_only=False,
        tools=predicted_tools
    )

الفكرة بسيطة… لكن تأثيرها على التكلفة ضخم جدًا 💰

---

🚀 النتيجة النهائية​

• نفس الموديل
• نفس الجودة
• نفس الـ Tools

لكن:

• Tokens أقل
• Performance أحسن
• فاتورة أقل بكتير 🔥

---

🔚 الخلاصة​

• أكبر استهلاك tokens مش دايمًا من الـ prompt
• Tools الكتير ممكن تدمّر الميزانية
• Tool Prediction + RAG = حل عبقري
• Optimization مش رفاهية… ده ضرورة

💬 حبيت أشارك التجربة يمكن حد يستفاد
ولو عندك حالة شبه كده أو مشكلة في استهلاك الـ tokens
شاركنا 👇 يمكن نطلع بحل أذكى 💡