بحيرات البيانات ، وأوضح

أعادت ثورة البيانات الضخمة تعريف طريقة عمل المؤسسات ؛ البيانات تدعم كل شيء. ليس فقط أدوات مفتوحة المصدر مثل Apache Hadoop و Spark سهّلت جمع كميات هائلة من البيانات ومعالجتها وتخزينها في الوقت الفعلي ، ولكن أدوات ذكاء الأعمال (BI) وأدوات تصوير البيانات بدأت تساعدنا على خدش سطح التحليل وتحويل تلك البيانات لإبلاغ القرارات التجارية الأساسية.

ومع ذلك ، على الرغم من تطور تقنية البيانات الكبيرة وبيانات استقصاء المعلومات ، فإننا لا نزال نتعامل مع هذه الكميات الهائلة من البيانات المركبة التي لا تزال تُبقي على إيجاد النقاط الصحيحة لتحليلها ، مثل الغوص بحثًا عن الإبر في كومة قش لا تنتهي أبدًا. الحل؟ إعادة تصميم كومة قش.

أدخل بحيرات البيانات ، وهو نوع جديد من بنية المؤسسة القائمة على الحوسبة السحابية التي تقوم ببناء البيانات بطريقة أكثر قابلية للتوسعة مما يجعلها أسهل في التجربة ؛ يجعلها أكثر انفتاحًا على الاستكشاف والتلاعب بدلاً من الإغلاق في المخططات الصلبة والصوامع. أوضح Nasry Angel ، وهو باحث في هندسة المشاريع في Forrester Research ، لماذا تتبنى الشركات هياكل بحيرة البيانات.

وقال أنجيل: "يبدو الأمر مبتذلاً ، ولكن عندما تفكر في بيئة بيانات حديثة فعالة ، فإن الأمر أكثر تجريبية". "يجب أن تكون قادرًا على أن تتعلم بسرعة وتفشل بسرعة. في الماضي ، كانت إدارة البيانات ، خاصة في المستودع ، تدور حول الجودة ، وصولاً إلى العلامة العشرية ؛ والتأكد من أن كل شيء كان دقيقًا وصحيحًا تمامًا. يطلق عليه مطاردة مفردة إصدار الحقيقة ، ثم إنشاء تقرير مثالي للبكسل ونشره على 5000 مستخدم.

"في الوقت الحاضر ، إنها عملية أكثر علمية. أنت تمشي بفرضية حول البيانات التي تريد اختبارها وتريد أن تكون قادرًا على اللعب بالبيانات والمزج والمطابقة ، لتجربة أشياء مختلفة قبل أن تذهب وتصنع شيئًا ما."

ما في بحيرة البيانات؟

بحيرة البيانات هي مستودع تخزين. على الرغم من أنه ، خلافًا لمستودع البيانات أو "بيانات البيانات" ، أوضح أنجيل أن بحيرات البيانات موزعة على عقد متعددة بدلاً من البيئة الثابتة المنظمة لمستودع بيانات يعتمد على المخططات (انظر الرسم البياني أدناه).

"تسمح لك بحيرة البيانات بتطبيق مخطط عندما تكتب البيانات مقابل مستودع بيانات يتطلب منك عمل مخطط في القراءة. لذلك ، يتطلب منك مستودع البيانات في الأساس أن تصمم البيانات قبل أن تفهم سياقها ، وهو لا قال أنجيل: "هذا منطقي حقًا".

المصدر: JustOne Database، Inc. (انقر على الرسم أعلاه لرؤية الصورة كاملة.)

"عادة ، في مستودع ، لديك متخصصون في تكنولوجيا المعلومات يتوصلون إلى ما يعتقدون أنه أفضل نماذج للبيانات ، وهم ليسوا المستخدمين النهائيين للبيانات. يمكنك أن ترى بسرعة كيف يعيق الإنتاجية وقيمة الأعمال" ، أضاف.. "في النهاية ، يجب أن تكون أنت ومستخدمي الأعمال هم الذين يتخذون القرارات بشأن بنية البيانات ، وفي بحيرة البيانات ، يمكنك أولاً استكشاف ما هو موجود ومعرفة ثم اكتشاف مخطط لتنظيمه بشكل أفضل."

عادةً ما يتم بناء بحيرات البيانات على Hadoop ، وتقدم توزيعات Hadoop للمؤسسة مثل Hortonworks و MapR تصميمات بحيرة البيانات. يمكن للشركات أيضًا إنشاء بحيرات بيانات باستخدام سحابة البنية التحتية كخدمة (IaaS) بما في ذلك Amazon Web Services (AWS) و Microsoft Azure. تدعم لعبة Cloud Compute Cloud (EC2) من Amazon بحيرات البيانات بينما تمتلك Microsoft منصة Azure Data Lake مخصصة لتخزين وتحليل البيانات في الوقت الفعلي. وقال إنجيل إن بحيرات البيانات تنضج إلى حد كبير داخل مساحة البيانات الكبيرة حيث يمكن للشركات أن تبدأ الاستثمار فيها بثقة معقولة.

"قبل بضع سنوات ، كان Hadoop كل الغضب. الآن وصلنا إلى نقطة حيث Hadoop هو سلعة" ، وقال انجيل. "ليس السؤال ما إذا كان Hadoop ولكن متى وماذا ستفعل به. ما أنواع التطبيقات التي ستقوم ببناءها فوق Hadoop بمجرد أن تحصل على البيانات في مكان شائع مثل بحيرة البيانات؟ في هذه المرحلة ، يتعلق الأمر باستخدام البيانات لتطوير التطبيقات لتلبية احتياجات عملك المحددة."

بناء على قمة خزان البيانات

الجزء الأكثر إثارة حول البيانات الكبيرة هو كل إمكانية فتحه. بمجرد قيامك بإعداد بحيرة بيانات للعب فيها وتجربة مجموعات بيانات مختلفة ونتائج أعمال ، يمكنك البدء في وضع تقنيات تحليل مبتكرة في المقدمة.

أصبحت خوارزميات التعلم الآلي (ML) بالفعل جزءًا من نسيج البنية التحتية السحابية ، ويقوم الباحثون باستمرار بتحسين أساليب التعلم العميق والشبكات العصبية لتدريب الآلات وأنظمة البيانات على التعرف على الأنماط المعقدة. يتم تحليل التحليلات التنبؤية في المزيد والمزيد من أدوات البيانات ومنصات المؤسسات أيضًا ، وتستخدم في كل شيء بدءًا من التهديف التنبؤية والتجزئة الآلية لإدارة علاقات العملاء (CRM) إلى تحديد اتجاهات السوق المالية والتقاط الأعطال الميكانيكية بشكل استباقي في الآلات.

كل هذا يحدث بالإضافة إلى أي متجر للبيانات يتم تغذية وتوسيع نطاق عملك وفقًا لاحتياجاته. تحدث آنجل عن بعض حالات الاستخدام في العالم الواقعي التي يراها بحيرات البيانات تغير الطريقة التي تعمل بها المنظمات.

"كنت أعمل مع شركة نشر لديها مجموعة من المجلات المختلفة - لديهم منشور للمحامين ، وآخر للمحاسبين ، وآخر للمستشارين ، وما إلى ذلك - وكان لكل منشور مستودع بيانات خاص به. وفي الواقع ، كان لكل منشور منشوره خاص به. صومعة "، وأوضح الملاك.

"لذلك استخرجنا جميع البيانات من مستودع ووضعناها في بحيرة بيانات ، وسمحت لهم بحيرة البيانات برؤيتها عبر الصوامع. لقد تمكنوا من استكشاف البيانات والقيام باكتشاف البيانات ، وأدركنا أنه عبر كل هذه المنشورات المختلفة ، كان العملاء من كل مجلة مهتمين بالأمن السيبراني ، وكان القراء على الأمن السيبراني قوياً في كل هذه الأدوار المختلفة ، فما الذي فعلوه؟ وجعلوا الأمن السيبراني موضوع مؤتمرهم السنوي."

مثال آخر تحدث عنه الملاك هو التجارة الإلكترونية. كان عميل آخر ، وهو تاجر تجزئة فني على الإنترنت ، يرمي الكثير من المعلومات إلى بحيرة بيانات ويستخدمها ليس فقط كمستودع ولكن كقماش من نوع ما لوضع رؤى تجارية. أحضر بائع التجزئة بيانات المعاملة (الطلبات ، الفواتير ، المدفوعات ، إلخ) ، بيانات النقر (كل نقرات وصفحات لكل زائر لموقع الويب) ، وبيانات من مستودع بيانات تاجر التجزئة إلى البحيرة ، واستخدمها بالتنسيق لمكافحة عربة التسوق الهجر والتحويلات.

وقال إنجيل: "تريد البناء على قمة بحيرة بيانات واستخدامها لصياغة رؤى تجارية معقدة". "كان بائعي التجزئة الفني قادرين على الاطلاع على بيانات النقر على أحد العملاء ومطابقة النقرات مع ملفات تعريف العملاء ، ثم استخدم بيانات المعاملات لمعرفة ما اشترى العميل في الماضي واستخدم هذه الأفكار في إدارة حملات بريد إلكتروني محددة للغاية. لذلك ، إذا تم التخلي عن العميل يمكن أن يتابع بائع التجزئة الخاص بهم بعد ساعتين ويقول: "رأينا أنك تفحص بيكاسو ؛ إليك الرابط إذا كنت ترغب في النظر إليه مرة أخرى."

البحيرات البيانات قابلة للتطبيق عالميا عبر جميع أنواع حالات استخدام الأعمال. ولكن بالنسبة إلى كبير المسؤولين التقنيين (CTO) أو كبير مسؤولي أمن المعلومات (CISO) الذي يفكر في الانتقال إلى الهيكل ، أكد أنجل على أن مستودعات البيانات لم تعد قديمة ، وليس بأي شكل من الأشكال. بالنسبة لمعظم مؤسسات المؤسسات ، سواء كنت تستخدم موفرًا سحابيًا أو توزيعًا مخصصًا Hadoop ، لا تزال الشركات تحتاج إلى كليهما.

تمنحك بحيرات البيانات إمكانية الوصول إلى رؤى لا مثيل لها من خلال إزالة حدود مطابقة البيانات مع مخطط معين ، وتأتي بتكلفة إجمالية أقل بكثير للملكية بالنظر إلى استخدام التخزين السحابي المرن الرخيص مثل AWS للترقية إلى الأعلى وإلى الأسفل - بينما فقط دفع ثمن قوة المعالجة التي تستخدمها بالفعل. يعد تشغيل مستودع البيانات أكثر تكلفة ، وبالتالي ، يجعل محترفي تكنولوجيا المعلومات أكثر انتقائية بشأن البيانات الواردة والخروج. لكن بالنسبة لمعظم بيانات مهمة المؤسسة ، فهذا ليس بالأمر السيئ.

وقال إنجيل: "يتمتع مستودع البيانات بمزايا من حيث الأمان وكونه أداة سهلة للغاية للسيطرة على إدارة البيانات". "لذلك لا تزال ترغب في الاحتفاظ بمعلوماتك الأكثر حساسية في المستودع ، الأشياء المهمة للغاية. ولكن عندما يتعلق الأمر بفرص عمل جديدة واكتشاف رؤى خفية ، فأنت تريد الاستفادة من بحيرة بيانات".