- بواسطة x32x01 ||
صديقى هل تعلم أنك مراقب ايوة مراقب قرأتها صح
• صورك ، بياناتك ، أكلك المفضل ، ذوقك في اللبس، كل اللي بتقوم بيه علي الفيسبوك بيتم تجميعه ، مش الفيسبوك بس ، كمان معلوماتك في مجال الإنترنت بالكامل ،عارف لو حتى كنت عامل حساب الفيسبوك بإسم مستعار برضو عرفوا حقيقتك دلوقتى .
= هم مين يعم اللى عارفين ده كله انا خوفت !؟
متقلقش جهز قهوتك وذهنك الصافى و تعالى معايا
نسيت ارحب بيك "اهلا بك صديقى فى كوكب أكتب كود "
بص ياسيدى هنتكلم عن "Big Data"
اولا ايه هى البيانات الضخمة دى؟
▪︎ ترمز إلى البيانات التي يخزنها العالم كل يوم، والفرد الواحد يعتبر يوميًا مصنعًا للبيانات.
أو
▪︎البيانات التي تحتوي على خصائص يصعب على قواعد البيانات العادية تخزينها أو معالجتها يطلق عليها ضخمة ولها بعص الخصائص زى حجمها أو شكلها أو سرعتها أي سرعة إنتاجها.
فى سنة 2012 حددت الحكومة البريطانية البيانات الضخمة "Big Data" بأنها واحدة من ال8 تقنيات المستقبلية العظيمة
مبدأيا كده البيانات الضخمة دى عن جزئين :
%10 بيانات منظمة متحللة ومتخزنة وبيتم إدارتها في قواعد البيانات حول العالم.
و 90% الباقين عبارة عن معلومات غير منظمة بينتجها البشر يوميا زي رسائل الميل ، مقاطع الفيديو، التغريدات، المنشورات على الفيس وغيرها .
عايز أسرد رأي الرئيس التنفيذى السابق لجوجل "Eric Schmidt"
وهي: “كمية البيانات اللي أنتجها البشر من وثائق وفيديوهات وموسيقى وغيرها في سنة 2002 كانت '5' إكسابايت” بمعني 5 مليارجيجابايت ..
ونفس الكمية تم إنتاجها سنة 2011 خلال يومين فقط!
ومن 2013 واحنا بننتج نفس الكمية كل 10 دقايق بس !!
= ايوة بقا بالنسبة للكلام اللي أنت قولته فوق إني متراقب ده أي؟؟
حاضر ياسيدى مش تستعجل فى تعريف "Big Data" قولتلك إنك أنت كإنسان مصنع للداتا كل الداتا بتاعتك بتتخزن لدرجة إن فى محلات من أشهر سلاسل المحلات فى امريكا اسمها "Walmart " دى ممكن تعرف مين من الزبائن بتوعها حوامل والجنين ذكر أو انثى وبالتالى تلاقى كمية رسائل ليها عن المنتجات اللى هى محتاجها وده اسمه "Marketing" وبالتالى هتشتريهم ....
عارف إنك لما تكتب مثلا إن الطقس حار أو بارد فى منطقتك ده بيساعد فى تحديد الطقس بصورة دقيقة جدا !!
= طب ازاى ؟!
مش هقول دور عليها يهندسة واكتبها فى الكومنتات
وبكده نكون أكدنا المقولة دى
"المستقبل يملكه هؤلاء القادرون على تحويل البيانات إلي منتجات"
= طب انا فى سؤال عايز أسأله
ايه الفرق بين ال Data Science وال Data Analysis وال big data
هنتكلم ببساطة
Data Science
هى المسؤولة عن تجميع كل الداتا المتاحة سواء منظمة أو لا و يخليك توصل المعلومة اللي انت عايزها بكل سهولة ف تقدر توفر وقت
Data Analysis
علم يهتم بتحليل كل البيانات المتاحة عشان تطلع بالمعلومات اللي تساعدك في فهم سبب أي مشكلة بتحصل عشان تقدر توصل لحلها وده بيحصل عن طريق "Algorithm" اللى بيتعمل على الداتا..
من النظر إلى أهمية هذا العلم فممكن نقول عليه إنه سلاح القرن 21 والوظيفة الأكثر شهرة وطلبا وراتبا
كمان وفقا لتقرير موقع “Glassdoor” حيث صرح أن من أفضل الوظائف ذات أجور عالية في مجال التكنولوجيا هى"Big Data Engineer" ومرتبها "$129,500 — $183,500"
= تمام يعم المرتب حلو اوى ابدا ازى بقا؟
تمام بص لازم يكون عندك خلفية ببعض اللغات المهمة زى:
"Python" ، "SQL" ، "Scala" ، "Matlab"
كمان فى بعض المجالات التى تندرج تحت مسمى Big Data زي:
Data Warehousing:
بص من الاخر كدة دى بتعمل فلترة لكل البيانات الموجودة وتطلع البيانات اللي ممكن نستخدمها
Data Analysis:
بحاول أحلل البيانات الناتجة من Data Warehousing عشان اطلع منها أي معلومات مفيدة.
وعندى بقا مفاجأة للناس الحلوة اللى كملت للاخر وهى أنك تتفرج على الفيلم ده و اللي طرح الفكرة بأسلوب لذيذ الفيلم اسمه
”Moneyball ”
الفيلم من بطولة “براد بيت” واترشح عنه لجايزة الاوسكار وبتدور أحداث الفيلم من خلال قصة واقعية للمدير العام لفريق أوكلاند واللي مهمته أنه يشكل فريق بيسبول ويحاول يحقق نتائج عالية فيستخدم حسابه الشخصي في تحليل لاعبي الفريق
• صورك ، بياناتك ، أكلك المفضل ، ذوقك في اللبس، كل اللي بتقوم بيه علي الفيسبوك بيتم تجميعه ، مش الفيسبوك بس ، كمان معلوماتك في مجال الإنترنت بالكامل ،عارف لو حتى كنت عامل حساب الفيسبوك بإسم مستعار برضو عرفوا حقيقتك دلوقتى .
= هم مين يعم اللى عارفين ده كله انا خوفت !؟
متقلقش جهز قهوتك وذهنك الصافى و تعالى معايا
نسيت ارحب بيك "اهلا بك صديقى فى كوكب أكتب كود "
بص ياسيدى هنتكلم عن "Big Data"
اولا ايه هى البيانات الضخمة دى؟
▪︎ ترمز إلى البيانات التي يخزنها العالم كل يوم، والفرد الواحد يعتبر يوميًا مصنعًا للبيانات.
أو
▪︎البيانات التي تحتوي على خصائص يصعب على قواعد البيانات العادية تخزينها أو معالجتها يطلق عليها ضخمة ولها بعص الخصائص زى حجمها أو شكلها أو سرعتها أي سرعة إنتاجها.
فى سنة 2012 حددت الحكومة البريطانية البيانات الضخمة "Big Data" بأنها واحدة من ال8 تقنيات المستقبلية العظيمة
مبدأيا كده البيانات الضخمة دى عن جزئين :
%10 بيانات منظمة متحللة ومتخزنة وبيتم إدارتها في قواعد البيانات حول العالم.
و 90% الباقين عبارة عن معلومات غير منظمة بينتجها البشر يوميا زي رسائل الميل ، مقاطع الفيديو، التغريدات، المنشورات على الفيس وغيرها .
عايز أسرد رأي الرئيس التنفيذى السابق لجوجل "Eric Schmidt"
وهي: “كمية البيانات اللي أنتجها البشر من وثائق وفيديوهات وموسيقى وغيرها في سنة 2002 كانت '5' إكسابايت” بمعني 5 مليارجيجابايت ..
ونفس الكمية تم إنتاجها سنة 2011 خلال يومين فقط!
ومن 2013 واحنا بننتج نفس الكمية كل 10 دقايق بس !!
= ايوة بقا بالنسبة للكلام اللي أنت قولته فوق إني متراقب ده أي؟؟
حاضر ياسيدى مش تستعجل فى تعريف "Big Data" قولتلك إنك أنت كإنسان مصنع للداتا كل الداتا بتاعتك بتتخزن لدرجة إن فى محلات من أشهر سلاسل المحلات فى امريكا اسمها "Walmart " دى ممكن تعرف مين من الزبائن بتوعها حوامل والجنين ذكر أو انثى وبالتالى تلاقى كمية رسائل ليها عن المنتجات اللى هى محتاجها وده اسمه "Marketing" وبالتالى هتشتريهم ....
عارف إنك لما تكتب مثلا إن الطقس حار أو بارد فى منطقتك ده بيساعد فى تحديد الطقس بصورة دقيقة جدا !!
= طب ازاى ؟!
مش هقول دور عليها يهندسة واكتبها فى الكومنتات
وبكده نكون أكدنا المقولة دى
"المستقبل يملكه هؤلاء القادرون على تحويل البيانات إلي منتجات"
= طب انا فى سؤال عايز أسأله
ايه الفرق بين ال Data Science وال Data Analysis وال big data
هنتكلم ببساطة
Data Science
هى المسؤولة عن تجميع كل الداتا المتاحة سواء منظمة أو لا و يخليك توصل المعلومة اللي انت عايزها بكل سهولة ف تقدر توفر وقت
Data Analysis
علم يهتم بتحليل كل البيانات المتاحة عشان تطلع بالمعلومات اللي تساعدك في فهم سبب أي مشكلة بتحصل عشان تقدر توصل لحلها وده بيحصل عن طريق "Algorithm" اللى بيتعمل على الداتا..
من النظر إلى أهمية هذا العلم فممكن نقول عليه إنه سلاح القرن 21 والوظيفة الأكثر شهرة وطلبا وراتبا
كمان وفقا لتقرير موقع “Glassdoor” حيث صرح أن من أفضل الوظائف ذات أجور عالية في مجال التكنولوجيا هى"Big Data Engineer" ومرتبها "$129,500 — $183,500"
= تمام يعم المرتب حلو اوى ابدا ازى بقا؟
تمام بص لازم يكون عندك خلفية ببعض اللغات المهمة زى:
"Python" ، "SQL" ، "Scala" ، "Matlab"
كمان فى بعض المجالات التى تندرج تحت مسمى Big Data زي:
Data Warehousing:
بص من الاخر كدة دى بتعمل فلترة لكل البيانات الموجودة وتطلع البيانات اللي ممكن نستخدمها
Data Analysis:
بحاول أحلل البيانات الناتجة من Data Warehousing عشان اطلع منها أي معلومات مفيدة.
وعندى بقا مفاجأة للناس الحلوة اللى كملت للاخر وهى أنك تتفرج على الفيلم ده و اللي طرح الفكرة بأسلوب لذيذ الفيلم اسمه
”Moneyball ”
الفيلم من بطولة “براد بيت” واترشح عنه لجايزة الاوسكار وبتدور أحداث الفيلم من خلال قصة واقعية للمدير العام لفريق أوكلاند واللي مهمته أنه يشكل فريق بيسبول ويحاول يحقق نتائج عالية فيستخدم حسابه الشخصي في تحليل لاعبي الفريق