Big Data: تعرف على البيانات الضخمة واستخدامها

هل تعلم أنك مراقب؟ ​

صح، كل اللي بتعمله على الإنترنت بيتسجل وبيتجمع:
صورك، بياناتك، أكلتك المفضلة، ذوقك في اللبس، كل حاجة! حتى لو كنت عامل حساب باسم مستعار، المعلومات الحقيقية بتاعتك ممكن تُعرف.
ما تقلقش، هنتكلم مع بعض بهدوء عن Big Data وازاي العالم بيستخدمها.

ما هي البيانات الضخمة (Big Data)؟ ​

البيانات الضخمة هي كل المعلومات اللي بيتم إنتاجها يوميًا على مستوى العالم، والفرد الواحد كأنه مصنع بيانات يوميًا.

• بعض الخصائص:
  • حجمها كبير جدًا
  • شكلها مختلف (منظمة وغير منظمة)
  • سرعة إنتاجها عالية

في سنة 2012، الحكومة البريطانية صنفت Big Data كواحدة من أهم 8 تقنيات مستقبلية.

أنواع البيانات الضخمة ​

• 10% بيانات منظمة: مخزنة ومحللة في قواعد بيانات حول العالم
• 90% بيانات غير منظمة: زي رسائل البريد الإلكتروني، الفيديوهات، التغريدات، ومنشورات فيسبوك

أمثلة على قوة البيانات الضخمة ​

الرئيس التنفيذي السابق لجوجل، Eric Schmidt قال:

كمية البيانات اللي أنتجها البشر في سنة 2002 كانت 5 إكسابايت، وفي 2011 تم إنتاج نفس الكمية في يومين، ومن 2013 وإحنا بننتج نفس الكمية كل 10 دقائق!

ده معناه إنك كل يوم جزء من مصنع بيانات ضخم.
حتى محلات زي Walmart بتستخدم Big Data لمعرفة تفاصيل عن زبائنها، زي الحمل أو نوع الجنين، وبناءً عليه تعرض عليهم المنتجات المناسبة.

الفرق بين Data Science و Data Analysis و Big Data ​

Data Science​

مسؤولة عن تجميع كل البيانات المتاحة، سواء منظمة أو لا، لتسهيل الوصول للمعلومة المطلوبة بسرعة.

Data Analysis​

يهتم بتحليل البيانات لاستخراج المعلومات اللي تساعد في فهم أي مشكلة وحلها باستخدام الخوارزميات (Algorithms).

مستقبل وظائف Big Data ​

• وظيفة Big Data Engineer من أعلى الوظائف أجرًا في مجال التكنولوجيا.
• متوسط الرواتب: $129,500 - $183,500 حسب تقرير Glassdoor.

لغات البرمجة المهمة:​

• Python
• SQL
• Scala
• Matlab

مجالات تحت مسمى Big Data ​

• Data Warehousing: فلترة البيانات واستخراج المهم منها
• Data Analysis: تحليل البيانات الناتجة لاستخراج المعلومات القيمة

فيلم يوضح فكرة Big Data ​

لو حابب تشوف الفكرة بشكل ممتع، شوف فيلم “Moneyball” من بطولة براد بيت، اللي بيعرض قصة مدير فريق أوكلاند وكيف استخدم التحليل الإحصائي لبناء فريق ناجح.