لماذا التعلم الآلي هو المستقبل

في مؤتمر SC16 للحوسبة الفائقة هذا الشهر ، برز اتجاهان. الأول هو ظهور أحدث إصدار من Intel Xeon Phi (Knights Landing) وأحدث Tesla من Nvidia (P100 المستندة إلى Pascal) على قائمة Top500 من أسرع أجهزة الكمبيوتر في العالم ؛ وصل كلا النظامين إلى أعلى 20 ، والثاني هو التركيز الكبير على كيفية أخذ صناع الرقائق والأنظمة مفاهيم من أنظمة التعلم الآلي الحديثة وتطبيقها على الحواسيب الفائقة.

في المراجعة الحالية لقائمة Top500 ، والتي يتم تحديثها مرتين سنويًا ، لا يزال الجزء العلوي من المخطط ثابتًا في أيدي جهاز الكمبيوتر Sunway TaihuLight من المركز الوطني الصيني للحوسبة الفائقة في وشى ، وجهاز الكمبيوتر Tianhe-2 من National Super Computer في الصين مركز في قوانغتشو ، كما كان منذ المعرض ISC16 يونيو. لا توجد أجهزة كمبيوتر أخرى قريبة من الأداء الكلي ، مع أنظمة المرتبة الثالثة والرابعة - لا يزال الحاسوب العملاق تايتان في أوك ريدج ونظام سيكويا في لورانس ليفرمور - كلاهما يقدم نحو نصف أداء تيانخه -2.

يعتمد أولها على معالج صيني فريد هو SW26010 1.45 جيجا هرتز ، والذي يستخدم نواة RISC 64 بت. هذا يحتوي على 10،649،600 نواة لا مثيل لها توفر 125.4 بيتافلوبس من ذروة الإنتاجية النظرية و 93 بيتافلوبس من أقصى أداء مقيس على مؤشر Linpack ، باستخدام 15.4 ميجاوات من الطاقة. تجدر الإشارة إلى أنه على الرغم من أن هذا الجهاز يتصدر المخططات في أداء Linpack بهامش كبير ، إلا أنه لا يسير جيدًا في الاختبارات الأخرى. هناك معايير أخرى مثل معيار تدرجات الأداء العالي المتقارن (HPCG) ، حيث تميل الآلات إلى رؤية ما بين 1 إلى 10 بالمائة فقط من أعلى مستوى نظري لها ، وحيث لا يزال النظام الأعلى - في هذه الحالة ، آلة Riken K - يوفر أقل من 1 بيتلافل.

لكن اختبارات Linpack هي المعيار للحديث عن الحوسبة عالية الأداء (HPC) وما يُستخدم لإنشاء قائمة Top500. باستخدام اختبارات Linpack ، كانت الآلة رقم 2 ، Tianhe-2 ، رقم 1 على الرسم البياني للسنوات القليلة الماضية ، وتستخدم Xeon E5 وأسرع Xeon Phi (Knights Corner). يوفر هذا 54.9 بيتافلوب من أعلى أداء نظري ، ومقاييس عند 33.8 بيتافلوبس في Linpack. يعتقد العديد من المراقبين أن فرض حظر على تصدير الإصدارات الأحدث من Xeon Phi (Knights Landing) دفع الصينيين إلى إنشاء معالج حاسوب عملاق خاص بهم.

لعبت Knights Landing ، رسميًا Xeon Phi 7250 ، دورًا كبيرًا في النظم الجديدة في القائمة ، بدءًا من الحواسب الفائقة Cori في مختبر Lawrence Berkeley National في المركز الخامس ، مع أعلى أداء بلغ 27.8 petaflops وأداء مُقاس لـ 14 petaflops. هذا هو نظام Cray XC40 ، باستخدام الاتصال البيني Aries. لاحظ أن Knights Landing يمكن أن يكون بمثابة المعالج الرئيسي ، حيث يوفر 68 مركزًا لكل معالج 3 أذرع قمة. (تسرد Intel إصدارًا آخر من الشريحة مع 72 مركزًا في 3.46 ترافلوبس من الأداء النظري الثنائي للدقة في قائمة أسعارها ، ولكن لا تستخدم أي من الأجهزة في القائمة هذا الإصدار ، ربما لأنه أغلى ويستخدم طاقة أكبر.)

في وقت سابق ، لم يكن بإمكان Xeon Phis أن يعمل إلا كمسرعات في الأنظمة التي كانت تتحكم فيها معالجات Xeon التقليدية. في المركز السادس ، كان نظام Oakforest-PACS التابع للمركز المشترك الياباني للكمبيوتر المتقدم عالي الأداء ، حيث سجل 24.9 ذروة بيتافلوبس. تم بناء هذا بواسطة Fujitsu ، باستخدام Knights Landing و Intel Omni-Path interconnect. يستخدم Knights Landing أيضًا في النظام رقم 12 (كمبيوتر Marconi في CINECA في إيطاليا ، والذي تم إنشاؤه بواسطة Lenovo وباستخدام Omni-Path) والنظام رقم 33 (Camphor 2 في جامعة كيوتو اليابانية ، التي بناها Cray واستخدام Aries ربط).

كانت نفيديا ممثلة تمثيلا جيدا في القائمة الجديدة كذلك. تمت ترقية النظام رقم 8 ، Piz Daint في المركز الوطني السويسري للحوسبة الفائقة ، إلى Cray XC50 مع Xeons و Nvidia Tesla P100 ، ويقدم الآن أقل قليلاً من 16 بيتافلوبس من أعلى أداء نظري ، و 9.8 بيتافلوبس من أداء Linpack- قم بالترقية من 7.8 بيتافلوبس لأعلى أداء و 6.3 بيتافلوبس لأداء Linpack في التكرار السابق بناءً على Cray XC30 مع مسرعات Nvidia K20x.

النظام الآخر القائم على P100 في القائمة هو DGX Saturn V الخاص بـ Nvidia ، والذي يعتمد على أنظمة DGX-1 الخاصة بالشركة والاتصال Infiniband ، الذي جاء في المرتبة 28 في القائمة. لاحظ أن Nvidia تقوم الآن ببيع كل من المعالجات وجهاز DGX-1 ، والذي يتضمن البرامج وثمانية Tesla P100s. يسجل نظام DGX Saturn V ، الذي تستخدمه Nvidia لإجراء الأبحاث الداخلية حول الذكاء الاصطناعى ، ما يقرب من 4.9 قمة بتافلوبس و 3.3 لين باك بيتلافوبس. لكن ما يشير إليه نفيديا هو أنه يستخدم فقط 350 كيلووات من الطاقة ، مما يجعله أكثر كفاءة في استخدام الطاقة. نتيجة لذلك ، يتصدر هذا النظام قائمة Green500 لأكثر الأنظمة كفاءة في استخدام الطاقة. يشير Nvidia إلى أن هذه الطاقة أقل بكثير من نظام Camphor 2 الذي يستند إلى Xeon Phi ، والذي يتميز بأداء مشابه (ما يقرب من 5.5 ذروة بيتافلوبس و 3.1 ليناف بيتافلوبس).

إنها مقارنة مثيرة للاهتمام ، حيث تروج Nvidia لكفاءة استخدام الطاقة بشكل أفضل على وحدات معالجة الرسومات ، وتروج Intel لنموذج برمجة أكثر دراية. أنا متأكد من أننا سنشهد مزيدًا من المنافسة في السنوات القادمة ، حيث تتنافس مختلف البنى لمعرفة أي منها سيكون أول من يصل إلى "الحوسبة الفائقة" أو ما إذا كان النهج الصيني المحلي سيصل إلى هناك بدلاً من ذلك. في الوقت الحالي ، يتوقع مشروع Exascale Computing التابع لوزارة الطاقة الأمريكية أن يتم تثبيت أول آلات exascale في عام 2022 وأن يتم تشغيلها مباشرة في العام التالي.

أجد أنه من المثير للاهتمام ملاحظة أنه على الرغم من التركيز على المعجلات متعددة النواة مثل حلول Nvidia Tesla و Intel Xeon Phi ، فإن 96 نظامًا فقط تستخدم هذه المعجلات (بما في ذلك تلك التي تستخدم Xeon Phi وحدها) ؛ مقابل 104 أنظمة قبل عام. لا تزال Intel هي أكبر مزود للرقائق ، حيث تضمنت رقائقها في 462 من أفضل 500 نظام ، تليها معالجات IBM Power في 22. وأنشأت Hewlett-Packard Enterprise 140 نظامًا (بما في ذلك الأنظمة التي صممتها شركة Silicon Graphics ، والتي اشترتها HPE) ، قامت Lenovo بتصميمها 92 ، وكراي 56.

مسابقة تعلم الآلة

كان هناك عدد من الإعلانات في المعرض أو حوله ، تناول معظمها شكلاً من أشكال الذكاء الاصطناعي أو التعلم الآلي. أعلنت Nvidia عن شراكة مع IBM في مجموعة أدوات جديدة للتعلم العميق تسمى IBM PowerAI تقوم بتشغيل خوادم IBM Power باستخدام اتصال NVLink الخاص بـ Nvidia.

تعمل AMD ، التي كانت فكرة لاحقة في كل من HPC وبيئات التعلم الآلي ، على تغيير ذلك. في هذا المجال ، ركزت الشركة على وحدات معالجة الرسومات Radeon الخاصة بها ، ودفعت وحدات معالجة الرسومات لخادم FirePro S9300 x2 ، وأعلنت عن شراكة مع Google Cloud Platform لتمكينها من استخدامها على السحابة. لكن AMD لم تستثمر بنفس القدر في البرامج الخاصة ببرمجة وحدات معالجة الرسومات ، حيث تم التأكيد على OpenCL على نهج الملكية الخاص بشركة Nvidia. في المعرض ، قدمت AMD إصدارًا جديدًا من Radeon Open Compute Platform (ROCm) ، وخططت لدعم وحدات GPU في سيناريوهات الحوسبة غير المتجانسة مع وحدات المعالجة المركزية المتعددة ، بما في ذلك وحدات المعالجة المركزية "Zen" x 86 ووحدات المعالجة المركزية (ARM) التي تبدأ من Cavium's ThunderX و IBM Power 8 CPUs.

في المعرض ، تحدثت Intel عن إصدار جديد من شريحة Xeon E5v4 (Broadwell) الحالية التي تم ضبطها من أجل أحمال عمل الفاصلة العائمة ، وكيف سيتم إصدار الإصدار التالي المستند إلى نظام Skylake في العام المقبل. ولكن في حدث لاحق هذا الأسبوع ، أصدرت Intel سلسلة من الإعلانات المصممة لوضع رقائقها في مجال الذكاء الاصطناعي أو مساحة التعلم الآلي. (إليك ExtremeTech's take.) كثير من هذا له آثار على الحوسبة عالية الأداء ، ولكنه منفصل في الغالب. بادئ ذي بدء ، بالإضافة إلى معالجات Xeon القياسية ، تعمل الشركة أيضًا على الترويج لـ FPGA للقيام بالكثير من الاستنتاج في الشبكات العصبية. هذا هو أحد الأسباب الكبيرة وراء شراء الشركة لـ Altera مؤخرًا ، وتستخدم الآن مثل FPGAs من قبل شركات مثل Microsoft.

لكن التركيز على الذكاء الاصطناعى الأسبوع الماضي تناول بعض الرقائق الجديدة. أولاً ، هناك Xeon Phi ، حيث أشارت Intel إلى أن إصدار Knights Landing الحالي سيتم استكماله العام المقبل بإصدار جديد يسمى Knights Mill ، يهدف إلى سوق "التعلم العميق". تم الإعلان عن هذا الإصدار من جيش الدفاع الإسرائيلي ، وهو إصدار 14 نانومتر آخر ولكن مع دعم للحسابات نصف الدقة ، والتي تُستخدم كثيرًا في تدريب الشبكات العصبية. في الواقع ، تتمثل إحدى المزايا الكبيرة لرقائق Nvidia الحالية في التعليم العميق في دعمها للحسابات نصف الدقة وعمليات عدد صحيح من 8 بت ، والتي يشير إليها Nvidia غالبًا باسم "تيراس". قالت إنتل إن Knights Mill ستقدم أداء يصل إلى أربعة أضعاف أداء Knights Landing للتعلم العميق. (لا يزال من المقرر أن يتم إتباع هذه الرقاقة لاحقًا بإصدار 10 نانومتر يسمى Knights Hill ، وربما يكون أكثر استهدافًا في سوق الحوسبة التقليدية عالية الأداء.)

الأكثر إثارة للاهتمام للعام المقبل هو تصميم Nervana ، الذي حصلت عليه Intel مؤخراً ، والذي يستخدم مجموعة من مجموعات المعالجة المصممة للقيام بعمليات حسابية بسيطة متصلة بذاكرة النطاق الترددي العالي (HBM). ستكون "كريست كرست" الأولى من نوعها في هذه العائلة ، والتي صُممت قبل أن تشتري إنتل الشركة وتصنع في عملية TSMC 28nm. نظرًا لأن إصدارها من الاختبارات في النصف الأول من العام المقبل ، تقول Intel إنها ستوفر أداء حسابيًا خامًا أكثر من وحدة معالجة الرسومات. وسيتبع ذلك في النهاية Knights Crest ، التي تنفذ بطريقة ما تقنية Nervana إلى جانب Xeon ، مع التفاصيل التي لم يتم الإعلان عنها بعد.

وكتب برايان كرزانيتش الرئيس التنفيذي لشركة إنتل قائلاً: "نتوقع أن تنتج تكنولوجيات نيرفانا زيادة مفاجئة في الأداء في الأعوام الثلاثة المقبلة لتدريب الشبكات العصبية المعقدة ، مما يتيح لعلماء البيانات حل أكبر تحديات الذكاء الاصطناعي لديهم بشكل أسرع".

كما أعلنت Intel مؤخراً عن خطط لاقتناء Movidius ، مما يجعل الشرائح المستندة إلى DSP مناسبة بشكل خاص للاستدلال على رؤية الكمبيوتر - مرة أخرى ، وتتخذ القرارات بناءً على الطرز المدربة مسبقًا.

إنها قصة معقدة ومتطورة ، وبالتأكيد ليست واضحة مثل دفع نفيديا لجرافيكها في كل مكان. ولكن ما يوضحه هو مدى سرعة إيقاع التعلم الآلي ، والطرق المختلفة العديدة التي تخطط الشركات لمعالجة المشكلة ، من وحدات معالجة الرسومات مثل تلك من نفيديا و AMD ، إلى العديد من معالجات x86 الأساسية مثل Xeon Phi ، إلى FPGAs ، إلى المنتجات المتخصصة للتدريب مثل Nervana و TrueNorth من IBM ، إلى محركات الاستدلال المشابهة لـ DSP مثل وحدات معالجة Tensor من Google. سيكون من المثير للاهتمام للغاية معرفة ما إذا كان لدى السوق مجال لجميع هذه الأساليب.