بيت التفكير إلى الأمام البيانات الضخمة: فرصة "تريليون دولار" صعبة

البيانات الضخمة: فرصة "تريليون دولار" صعبة

فيديو: من زينو نهار اليوم ØµØ Ø¹ÙŠØ¯ÙƒÙ… انشر الفيديو Øتى يراه كل Ø§Ù„Ø (شهر نوفمبر 2024)

فيديو: من زينو نهار اليوم ØµØ Ø¹ÙŠØ¯ÙƒÙ… انشر الفيديو Øتى يراه كل Ø§Ù„Ø (شهر نوفمبر 2024)
Anonim

أحد الأشياء التي أثارت إعجابي في قمة Bloomberg Enterprise Technology Summit أمس كان التركيز على التعامل مع البيانات بطرق جديدة - بمعنى آخر ، التعامل مع ما يُسمى غالبًا "البيانات الضخمة".

تعاملت بعض المحادثات مع قيمة البيانات الضخمة ، وهل كانت حقًا "فرصة تريليون دولار" ، في حين تناول البعض الآخر التحديات المحددة التي تواجهها المنظمات الفردية والصناعة ككل في نشر هذه التقنيات الجديدة على نطاق واسع.

بدأ جيرارد فرانسيس ، رئيس Global بلومبرج إنتربرايز سوليوشنز ، بلومبرج إل بي اليوم بالاقتراح بأن أهم شيء يمكن أن تفعله الشركات هو "الاستفادة من قيمة البيانات باستخدامها" ، والتركيز على الوصول والجودة والتدفق البيانات داخل المنظمة. في اللوحات اللاحقة ، كان هناك الكثير من الحديث حول الأدوات الجديدة التي تتعامل مع البيانات ، وكذلك المشكلات المحددة في تخزين الأشخاص وإدارتهم والبحث عنهم للتعامل مع البيانات.

في لوحة عامة عن اتجاهات المؤسسات ، قال دوايت ميريمان ، رئيس مجلس الإدارة والمؤسس المشارك لـ MongoDB ، أن طبقة البيانات في مسار التطبيق تعاني من "أكبر خلل وتغيير شهدناه منذ 25 عامًا". وقال إن الشركات تستخدم قواعد البيانات العلائقية لمدة 25 عامًا أو أكثر ، مما يجعلها أقدم تقنية في المجموعة. ولكن الآن هناك أشياء تحدث مع التخزين المستند إلى الملفات مثل Hadoop وتقنيات قواعد البيانات الجديدة ، وغالبًا ما يتم تجميعها كـ "NoSQL". لقد أوضح أن البيانات الكبيرة لا تعني "كبيرة" ، وإنما تتعلق بشكل البيانات وأنواع البيانات والتحرك نحو التعامل مع البيانات في الوقت الفعلي.

وافق رئيس قسم المعلومات في Google ، بنجامين فريد ، على أن معظم الشركات لا تعاني من مشاكل "البيانات الضخمة". وقال إن العديد من مجموعات البيانات - مع أشياء مثل بيانات الموارد البشرية والبيانات المالية - ليست بهذا الحجم. المهم هو المرونة التي تحتاجها للتعامل بشكل صحيح مع البيانات.

ما هي البيانات الكبيرة على أي حال؟

MarkLogic's Gary Bloom و Neustar Mark Bregman و Streambase's Mark Palmer و Vipul Nagrath of Bloomberg

هذا المفهوم - تلك المرونة لا يقل أهمية عن حجم البيانات - ردد في لوحة أخرى في وقت لاحق من اليوم. هناك ، اتفق المشاركون على أن الشركات تتعامل مع التطبيقات الثقيلة للبيانات لفترة طويلة ، ولكن الحجم تغير مؤخرًا. على سبيل المثال ، أشار مارك ف. بريغمان ، نائب الرئيس الأول وكبير مسؤولي التكنولوجيا في نيوستار ، إلى أن بعض الشركات "تخزن الآن كل شيء" على أمل أن تثبت قيمته.

يقول جاري بلوم ، الرئيس التنفيذي ورئيس MarkLogic: "يتم تعريف Big بشكل أفضل على أنه تعقيد". وأشار إلى أن العديد من تطبيقات "البيانات الضخمة" المزعومة تتضمن الكثير من أنواع البيانات المختلفة ، ولكن ليس نوع وحدة التخزين التي تسمعها عادة في تطبيقات "البيانات الضخمة".

واستشهد بمثال لحركة الطيران يجمع بين بيانات الطقس وبيانات المطار والبيانات الجغرافية المكانية وبيانات الرحلة وبيانات حجز شركات الطيران والبيانات الاجتماعية. وأشار إلى أن التعامل مع البيانات غير المتجانسة كان من الصعب حقًا القيام به مع قواعد البيانات الترابطية التقليدية ، مرددًا التعليقات السابقة من Meriman من MongoDB بأن هذا كان "أول تحول للأجيال في قاعدة البيانات منذ 25 عامًا" منذ أن انتقلنا من المركزية إلى عصر قواعد البيانات العلائقية.

وأشار إلى أن العديد من الأشخاص يتحدثون عن بيانات وسائل التواصل الاجتماعي ، ولكن يجب حقًا دمجها مع بيانات أخرى من أجل الحصول على شيء يمكنك الاستفادة منه. الجمع بين هذه البيانات هو "القيمة الحقيقية".

بالطبع ، تنطوي بعض التطبيقات على الكثير من المعلومات ، حيث يقول بريجمان أن عدم التجانس هو عامل واحد فقط. استشهد ببيانات DNS ، والتي يمكنها بسهولة توليد 8 تيرابايت من المعلومات يوميًا ، والحاجة إلى تخزين هذه الأشياء في Hadoop. لاحظ Bregman والآخرون أنه عندما يتعلق الأمر بـ "استخدام الأحرف الاستهلالية للبيانات" ، فإن القيمة الحقيقية ليست في البيانات الأولية ، ولكن بدلاً من ذلك تكون في التحليلات عندما تصبح شيئًا يمكنك استخدامه. وافق الآخرون على لوحة.

قال مارك بالمر الرئيس التنفيذي لشركة Streambase إن دمج كميات كبيرة من البيانات مع تحليلات التدفق يعد أمرًا مهمًا في العديد من التطبيقات ؛ وتحدثنا عن القيمة الإضافية التي يمكن إنشاؤها من خلال الجمع بين التحليلات التقليدية في الوقت الحقيقي.

لكنه وافق على أن تعقيد البيانات يمثل مشكلة. واستشهد كيف اشترى Vivek Ranadivé ، الذي يدير Tibco (الذي يمتلك الآن Streambase) ، فريقًا لكرة السلة جزئيًا لاكتشاف كيف يمكن للتكنولوجيا تحسين تجربة المروحة. تحدث مرة أخرى عن "تجميع أنواع مختلفة من البيانات" ، بدءًا من ساحة Twitter ولكن أيضًا الاستفادة من أنواع أخرى من البيانات.

أشار بلوم إلى أن كل هذا يتوقف على التطبيق ، قائلاً إن "الكمون في عين الناظر". تحتاج بعض التطبيقات إلى تحليل البيانات على السلك قبل أن تصل إلى قاعدة البيانات ، في حين أن البعض الآخر لا يفعل ذلك.

طرح Bregman المشكلة التي تقول إنه بدلاً من صعوبة نقل موارد حسابية ، أصبح الآن من الأصعب بكثير نقل البيانات. وأشار إلى أنه بالنسبة للعديد من التطبيقات ، فإن "القفل" هو موقع البيانات. بمجرد تخزين بياناتك في سحابة عامة ، يكون من الصعب للغاية نقلها. وقال إنه نتيجة لذلك ، تريد العديد من المؤسسات تخزين كميات هائلة من البيانات في مواقعها الخاصة ، ثم تكون قادرة على الانتقال إلى مزودين مختلفين للحصول على وظائف حسابية. من خلال اقتراض مصطلح من MarkLogic's Bloom ، تحدث عن كيفية احتياج المؤسسات إلى "مركز بيانات يركز على البيانات" كمكان يمكنك فيه الاحتفاظ بكميات هائلة من البيانات.

هل البيانات الضخمة "فرصة تريليون دولار؟"

بورتر بيب من ميديا ​​تك كابيتال بارتنرز ، كلودرز دوغ كاتينج ، سناب لوجيك غوراف ديلون ، وجومسون كيلي بلومبرج لينك

ناقشت لجنة أخرى الفرص والتحديات التي جلبتها البيانات الضخمة ، والتي انعكست على تعليق من Porter Bibb ، الشريك الإداري في MediaTech Capital Partners. وقال بيب إن هناك في الواقع أكثر من تريليون دولار من الفوائد للشركات التي تستخدم التقنيات الجديدة. وقال إنه حتى الآن لم نبدأ في الاستفادة من إمكانات هذه التكنولوجيا.

تحدث Bibb عن مدى أهمية قيام المؤسسات بمواءمة إستراتيجية البيانات الخاصة بها مع إستراتيجية العمل ، وكان قلقًا من أن معظم أنظمة الشركات والحكومة غير متوافقة.

في تلك الجلسة الأولى ، قال سكوت فايس من أندريسن هورويتز أن "Hadoop يشبه التخزين المبرد" ، لذلك سأل رئيس الجلسة جاسون كيلي من بلومبرج لينك ، كبير المهندسين المعماريين في كلودرا ، دوغ كاتينغ ، الذي كان أحد المبدعين في Hadoop في المقام الأول ، كيف شاهد أن.

وقال القطع إن Hadoop يسمح للناس بالعمل مع المزيد من البيانات. وقال إن المنظمات تقوم بسحب البيانات من الشريط ، بل تجعلها متصلة بالإنترنت وقابلة للاستخدام. ينتقل العملاء من العمل مع 90 يومًا من البيانات إلى خمس أو 10 سنوات من البيانات في "أرشيف نشط".

ظهر عدد من المشكلات الخاصة بالتعامل مع كل هذه البيانات مرة أخرى في هذه اللوحة. تحدث الرئيس التنفيذي لشركة Snaplogic ، غوراف ديلون ، عن "خطورة البيانات" ، قائلاً إنه ليس من المنطقي أخذ البيانات الموجودة في Hadoop ونقلها إلى السحابة. ولكن في الوقت نفسه ، إذا كانت هناك بيانات في السحابة ، مثل تحليل تدفق النقر ، فلن يكون من المنطقي نقل ذلك محلياً. وقال إنه نتيجة لذلك ، كان يرى عددًا قليلاً جدًا من "الفرص عبر الحدود" في نقل البيانات.

وقال القطع إنه لا يعتقد أن هناك بالفعل نقص في علماء البيانات. بدلاً من ذلك ، قال إن هناك الكثير من الأشخاص الذين يفهمون الرياضيات والأعمال ، لكنهم لا يملكون الأدوات. وقال إنه يمكنك تعلم أساسيات الأدوات وماذا تفعل في غضون أسبوعين ، ولكن فهم عملك يستغرق سنوات. ومع ذلك ، هناك الكثير من الناس الذين يفهمون ذلك.

كما عكس ديلون المخاوف بشأن التشريعات التي تتناول المعلومات التي يمكن تخزينها في أي مكان. وقال إن بعض الأسواق الرأسية تتطلب تخزين المعلومات في أماكن العمل ، لكنه كان قلقًا بشأن أشياء مثل متطلبات عدم نقل البيانات من بلدها الأصلي. وقال إن الكثير من هذا هو رد فعل مبالغ فيه على أشياء مثل الكشف عن سنودن وانتهاكات البيانات ، مشيرا إلى أن "الإسراع في التشريع ليس بالأمر الجيد".

وردا على سؤال حول ما إذا كان يشعر بالقلق من أن خروقات سنودن والهدف تجعل الزبائن يخشون من البيانات ، قال كتينغ إنه قلق من أن الكثير من الناس قلقون. وقال إن الكثير من الناس يشعرون بالخوف من التكنولوجيا ، وكان فشل الصناعة في جعل العملاء يشعرون بالراحة من فكرة أن بياناتهم لم يتم استخدامها. وقال "ليس عليك أن تكون زاحفًا".

في النهاية ، كان هناك الكثير من النقاش حول التقييمات ، حيث أشار Bibb إلى أن استثمارات Intel الحديثة في Cloudera كانت "صفقة كبيرة" ، لأنها تحقق من صحة ما تقوم به الشركة. وقال إن الشركات الكبرى الأخرى مثل أوراكل وآي بي إم ومايكروسوفت وأمازون كانت تحوم حول شركات التحليلات التنبؤية. "الاندفاع الذهبي هو مجرد بداية."

وقال ديلون إن التقييمات تعكس ما تجلبه شركات السباكة إلى سوق البيانات الضخمة. وقال إنه سعيد برؤية هؤلاء الأشخاص الذين يختارون "اختيار ومجرفة" يحصلون على تقييمات جيدة ، لكنه قال إنه يشعر ببعض الخوف من أن التقييمات تتقدم في السوق.

وقال بيب إنه يعتقد أن البيانات الضخمة قد يتم تعريضها بشكل مفرط في وسائل الإعلام ، لكنها معرضة في "المجموعة" (بمعنى المديرين التنفيذيين والمديرين الماليين وغيرهم من كبار المديرين التنفيذيين). وقال إن لديها "إمكانات اقتصادية هائلة لم يتم اكتشافها بعد. ".

البيانات الضخمة: فرصة "تريليون دولار" صعبة