كيف يمكن للشركات فهم سوق البيانات الكبيرة

لا تحصل الشركات على أي نقاط لمعرفة مدى كفاءة بنيتها التحتية أو مدى كدتها في تجميع البيانات الكبيرة التي تجمعها. ما يهم هو جودة التحليلات والذكاء التي تنتجها البيانات.

على مدار السنوات القليلة الماضية ، تعد Hadoop هي الكلمة التي أصبحت مرادفًا تمامًا لاستيعاب البيانات ومعالجتها وتحويلها. إن إطار العمل مفتوح المصدر لتخزين ومعالجة البيانات الموزعة قد أنتج مساحة الشركة الخاصة به ودمج طريقه في جميع المنصات السحابية الرئيسية. Hadoop بعيد عن تقنية البيانات الكبيرة الوحيدة التي تستحق الحديث عنها ، لكنها أصبحت التكنولوجيا التي تم بناء العديد من التقنيات الأخرى عليها.

المشكلة بالنسبة للشركات هي أن مساحة Hadoop مليئة بالتوزيعات وخيارات الأدوات ، وكما أوضح نيك هاوديكر ، مدير أبحاث Gartner ، فإن الكثير منها يبدو متشابهاً. قال Heudecker ، الذي يغطي بحثه إدارة المعلومات بما في ذلك مساحات البيانات الكبيرة و NoSQL ، إذا كنت تبحث في الخيارات العامة لمعالجة البيانات ، فإن العديد من البائعين يقدمون ميزات متشابهة للغاية.

انهيار السوق

هناك ثلاث شركات ناشئة رئيسية من Hadoop ، هي Cloudera و Hortonworks و MapR ، وقد نمت جميعها بشكل مطرد في عام 2015. وفقًا لشركة Gartner ، لدى كل عميل حوالي 700 عميل ، يمنحون أو يأخذون 10 بالمائة ، مما يضع السوق العالمية بين 2،100-2،400 عملاء Hadoop في جميع أنحاء العالم. يقدم الثلاثة جميعهم طبقة مجانية ومستوى مؤسسة لتوزيع Hadoop الخاص بهم ، ويقدم كل منهم مساهمات كبيرة مفتوحة المصدر لمشاريع تحت شعار Apache Software Foundation (ASF).

وقال هوديكر: "تشير بياناتنا إلى أن 44 بالمائة من استخدام Hadoop غير مدفوع حاليًا". "هل هناك قائد واضح؟ لا أعتقد ذلك. إنهم جميعًا يستحوذون على حصة سوقية لأنها مساحة جديدة جدًا."

في الأشهر القليلة الماضية ، تراجعت المنافسة بين الثلاثة إلى قدرات تحليل البيانات والطرق الإبداعية لدمج Apache Spark ، وهو محرك مفتوح المصدر لمعالجة البيانات الكبيرة مع حالات الاستخدام من تدفقات البيانات في الوقت الفعلي إلى التعلم الآلي.. أعلنت MapR مؤخرًا عن MapR Streams كجزء من "منصة بيانات متقاربة" تدمج Hadoop ومعالجة الدفق المستند إلى Spark والتحليلات. قامت Hortonworks بنشر تحديث لمنصة بيانات Hortonworks (HDP) مع تحليلات Spark بالذاكرة ، وتقدم Cloudera مجموعة متنوعة من عمليات تكامل Spark مفتوحة المصدر من خلال مبادرة One Platform ، إلى جانب تقديم دروس تدريب Spark.

"هناك الكثير يحدث في مساحات إدارة المعلومات والبنية التحتية للمعلومات ، وليس كل شيء Hadoop" ، وأوضح Heudecker. "هناك زخم هائل وراء سرعة معالجة Spark ونموذج معالجة البيانات المتمحور حول الذاكرة ، على الرغم من أن تطوير Spark لا يزال في مراحله الأولى. ستكون Spark لغة مشتركة أخرى في معالجة البيانات ، مثل SQL اليوم ، وبالتأكيد تظهر علامات على وجود بعض الأرجل كما المزيد والمزيد من الشركات تستثمر فيه ".

كما أبرز Heudecker أهمية اللاعبين السحابيين في البيانات الكبيرة ؛ عمالقة التكنولوجيا الذين قاموا بدمج Hadoop وغيرها من تقنيات البيانات الكبيرة في عروض البنية التحتية الحالية (IaaS) الحالية.

تستخدم Amazon Web Services (AWS) خدمة Amazon Elastic MapReduce (EMR) لتنسيق Hadoop المستند إلى مجموعة النظراء. تقدم Microsoft مجموعة كاملة من خدمات البيانات الكبيرة ضمن نظامها الأساسي السحابي Azure ، بالشراكة مع Hortonworks على خدمة HDInsight لإدارة Apache Hadoop و Spark و HBase و Storm ، إلى جانب Azure Data Lake المستندة إلى SQL و Azure Data Analytics. لدى IBM كلاً من عروض IBM Open Platform الداخلية الخاصة بـ Hadoop و IBM BigInsights ، وهي حزمة تحليلات تعمل عليها ، إلى جانب Hadoop و Apache Spark-as-a service المدارة في سحابة Bluemix. تستمر القائمة ، وتجد الشركات حالات الاستخدام الأكثر ملاءمة في السحابة.

وقال Heudecker: "نحن نقدر أن AWS وحدها لديها حوالي 5000 عميل ، وهذا يمثل أكثر من ضعف قاعدة عملاء الألعاب الصرفة مجتمعة". "تتمثل إحدى مزايا الانتقال إلى السحابة في حصولك على نظام بيئي. يمكنك الحصول على توزيعات Hadoop الخالصة على أي من عروض IaaS. MapR متاح في كل السحب التي يمكنك التفكير فيها ، بخلاف IBM ؛ بالنسبة إلى Cloudera و Hortonworks. لم نر توفر السحابة أكثر من اللازم عند الاختيار بين بائع وآخر."

اختيار استراتيجية بيانات المؤسسة

بالنسبة لكل من الشركات الصغيرة والمتوسطة الحجم (SMBs) والشركات المتنامية للمؤسسات ، عند الاستثمار في حلول معالجة البيانات والتحليلات ، قال Heudecker إن العامل الحاسم هو النظام الأساسي الذي يمكن أن يوفر أعلى مستوى من الخدمة. التحدي الأكبر أمام الشركات ، بحسب غارتنر ، هو الفجوة في المهارات - معرفة من الذي سيدير ​​المنصة بمجرد تثبيتها ونشرها.

"إذا كانت الشركات تبحث عن شريك لمنصة البيانات ، والذي سيساعدهم في استيعاب البيانات؟ من سيساعدهم في بناء التطبيق التحليلي؟ بقدر ما تلعب Hadoop-ers الثلاثة الخالصة ، فإن معايير التقييم تميل إلى أن تكون حول نضج أدوات الإدارة والقواعد ، وأدوات إدارة البيانات ، والأداء."

الجانب الآخر المثير للاهتمام في اختيار منصة Hadoop هو عدم الولاء. تقوم الشركات بإعادة تقييم نظام Hadoop الخاص بها كل 6 إلى 12 شهرًا لمعرفة ما إذا كانت مكونات معالجة البيانات لا تزال مناسبة ، نظرًا لسرعة تغير المساحة ومدى اختلاف اللاعبين الكبار عن أنفسهم. قال Heudecker إن 20 في المائة من الشركات التي تحدث إليها لديها توزيعات Hadoop متعددة تعمل في مراكز البيانات الخاصة بها أو السحابة ، إما السماح لفرق مختلفة باختيار نظامها الأساسي أو التنويع عن قصد لتجنب الوقوع في توزيع واحد فقط من Hadoop.

يتغذى هذا النوع من حافظة المنصات المتنوعة على ما يسميه فرانك بويتنديك ، نائب رئيس شركة Gartner Research والمحلل المتميز الذي يركز على الاستراتيجية الرقمية ، "المعلومات كأصل". كأنك لا تستطيع إدارة شركة بدون رأس مال ، عمالة ، مواد ، وإما تسهيلات مادية أو افتراضية ، قال Buytendijk إنه لا يمكنك إدارة عمل بدون معلومات.

"اعتدنا أن ننظر إلى الأعمال التجارية من حيث التدفقات الثلاثة: كان التدفق الأساسي هو البضائع ، والتدفق الثانوي هو المال ، والتدفق العالي كان معلومات للتأكد من أن السلع والأموال متجانسة. أما الآن في معظم الشركات ، فالعكس هو إن التدفق الأساسي هو المعلومات ، بدءًا من التعريف والتكوين وحتى تسويق المحتوى ، وما إلى ذلك.

"البيانات الضخمة" قديمة

قال Buytendjik إنه لا يرى البيانات الكبيرة كتقنية منفصلة للشركات ، ولكن كموضوع أو عقلية واحدة ضمن استراتيجيتك الرقمية الشاملة.

قال Buytendjik: "لا أؤمن بوجود استراتيجية للبيانات الكبيرة". "لم تعد هناك استراتيجية عمل بعد الآن بدون مكونات رقمية ، لذلك أنا أؤمن بوجود استراتيجية رقمية توفر فيها جميع أنواع التقنيات قدرات حرجة. ويشمل ذلك الأجهزة المحمولة والاجتماعية والسحابية وإنترنت الأشياء والآلات الذكية والبيانات الكبيرة."

يعتقد Heudecker أننا سنبدأ الحديث عن "البيانات الكبيرة" بشكل أقل وأقل ، لأنه الآن مجرد بيانات. إنها الطريقة التي يتم بها العمل. لم تعد وحدات التخزين الضخمة والسرعة العالية للبيانات مثبطة للهمم.

وقال Heudecker: "البيانات الكبيرة أصبحت تحتل مرة أخرى بالمعلومات والتحليلات". "فئة البيانات الكبيرة لا تفرق بصراحة. نطلب منك دائمًا حجم سوق البيانات الكبيرة ، لكن ماذا يعني ذلك؟ البيانات الكبيرة ليست في الحقيقة سوقًا ، إنها مفهوم. بالنسبة إلى العمل التجاري ، التفكير في البيانات الكبيرة مثل شيء فريد من نوعه وخاص يختلف اختلافًا جذريًا عن ما قمت به من قبل ، فهو خطأ. في هذه المرحلة ، البيانات عادية فقط."