One-Hot Encoding أم حذف الأعمدة في تعلم الآلة

هل نستخدم One-Hot Encoding لكل الأعمدة Categorical؟ 🤔
سؤال بيقابل أي Data Scientist أو Machine Learning Engineer بشكل شبه يومي:
هل أعمل One-Hot Encoding لكل الأعمدة اللي نوعها Categorical؟
ولا أسيب بعض الأعمدة وأعملها Drop؟

السؤال شكله بسيط…
بس إجابته هي الفرق بين:
✅ موديل شغال كويس في الـ Production
❌ وموديل شكله حلو بس في الـ Notebook

خلّينا نفهم القرار الصح بطريقة عملية وبسيطة 👇

إمتى نستخدم One-Hot Encoding؟ ✅​

نستخدم One-Hot Encoding لما العمود يكون:

• عدد الفئات فيه قليل (Low Cardinality)
• ليه تأثير حقيقي على الـ Target
• شغالين بنماذج زي Linear Models أو Neural Networks

مثال عملي 👇​

عمود زي NAME_FAMILY_STATUS قيمه بتكون مثلاً:

• Married
• Single
• Divorced

ده عمود مثالي جدًا لـ One-Hot Encoding 👌

كود Python باستخدام Pandas​

import pandas as pd

df = pd.get_dummies(
    df,
    columns=['NAME_FAMILY_STATUS'],
    drop_first=True
)

النتيجة​

• NAME_FAMILY_STATUS_Married
• NAME_FAMILY_STATUS_Single

كده الموديل يقدر يتعامل مع البيانات بسهولة ومن غير لخبطة 👍

---

إمتى نعمل Drop للعمود؟ ❌​

أحيانًا أحسن قرار هو إننا نشيل العمود خالص 😄
وده بيكون لما:

• عدد الفئات كبير جدًا (High Cardinality)
• العمود تأثيره ضعيف على التنبؤ
• بيعمل Noise أو Overfitting

مثال شائع جدًا 👇​

عمود زي ORGANIZATION_TYPE ممكن يحتوي على أكتر من 40 فئة:

• Business Entity Type 1
• School
• University
• Police
• Military
• Other

عمل One-Hot Encoding هنا = انفجار أعمدة 💥

الحل​

لو العمود مش فارق في الأداء:

df.drop(columns=['ORGANIZATION_TYPE'], inplace=True)

📌 مش كل الأعمدة لازم تكمّل - في أعمدة وجودها أسوأ من عدمها 😄

---

حلول ذكية بدل One-Hot أو Drop 🧠​

لو العمود مهم بس فئاته كتير، عندك حلول احترافية جدًا 👇

Frequency Encoding​

كل فئة بنحوّلها لعدد مرات ظهورها

freq_map = df['ORGANIZATION_TYPE'].value_counts()
df['ORG_TYPE_FREQ'] = df['ORGANIZATION_TYPE'].map(freq_map)

📌 ممتاز مع Tree-based Models

---

Target Encoding (احترافي جدًا) 🎯​

كل فئة بتاخد متوسط قيمة الـ Target

target_mean = df.groupby('ORGANIZATION_TYPE')['TARGET'].mean()
df['ORG_TYPE_TARGET_ENC'] = df['ORGANIZATION_TYPE'].map(target_mean)

📌 شغال بقوة مع:

• XGBoost
• LightGBM

⚠️ لازم يتستخدم جوه Cross Validation عشان نتجنب Data Leakage

---

Grouping (دمج الفئات النادرة)​

الفئات اللي بتظهر قليل بنجمعها تحت اسم واحد

rare_categories = df['ORGANIZATION_TYPE'].value_counts()
rare_categories = rare_categories[rare_categories < 100].index

df['ORGANIZATION_TYPE'] = df['ORGANIZATION_TYPE'].replace(
    rare_categories, 'Other'
)

📌 بيقلل التعقيد وبيحافظ على المعلومة المهمة

---

القرار بيعتمد على نوع الموديل 🔥​

Linear Models (Logistic Regression)​

• حساسة جدًا للـ Encoding
• One-Hot Encoding ضروري
• Scaling مهم جدًا

Tree-based Models (XGBoost / LightGBM)​

• أقل حساسية
• Encoding ذكي بيكون أفضل
• LightGBM أحيانًا بيدعم Categorical مباشرة

---

الخلاصة الذهبية 👑​

• ❌ ترميز كل الأعمدة = خطأ
• ❌ حذف كل الأعمدة = خطأ
• ✅ الأعمدة القليلة → One-Hot Encoding
• ✅ الأعمدة الكتير والمهمة → Encoding ذكي
• ❌ الأعمدة الضعيفة → Drop

🎯 الهدف الحقيقي مش زيادة عدد الأعمدة
الهدف هو تحسين أداء الموديل