وحدة معالجة مركزية متعددة النواة لمعالجة البيانات الضخمة 

لماذا لا تعد وحدة المعالجة المركزية متعددة النواة لمعالجة البيانات الضخمة مجرد مسألة عدد النوى

في ممارستنا لتصميم مجموعات الخوادم، غالبًا ما نواجه فكرة خاطئة: كلما زاد عدد النوى، زاد الأداء. وهذا تبسيط خطير.وحدة معالجة مركزية متعددة النواة لمعالجة البيانات الضخمةيجب ألا تتمتع بكثافة حوسبة عالية فحسب، بل يجب أن تتمتع أيضًا ببنية ذاكرة متوازنة ونطاق ترددي للحافلة وتبديد حرارة فعال. إذا لم يتمكن المعالج من التعامل مع تدفقات الإدخال/الإخراج المتوازية (I/O)، فستظل النوى الإضافية في وضع الخمول، في انتظار البيانات.

لقد رأينا حالات اشترت فيها الشركات معالجات متطورة تحتوي على أكثر من 64 مركزًا لمهام التحليلات في الوقت الفعلي، ولكنها حصلت على مستويات زمن الوصول أعلى من المقبول. لا يكمن السبب في قوة الحوسبة، بل في قناة الذاكرة الضيقة ونقص التحسين لأطر عمل محددة، مثل Apache Spark أو Kafka. يؤدي اختيار المعالج المناسب إلى تقليل التكلفة الإجمالية للملكية (TCO) بنسبة 30-40% عن طريق تقليل عدد عقد الخادم المطلوبة.

يحدد اختيار البنية ما إذا كانت مجموعتك ستتوسع بشكل خطي أو ستصل إلى سقف زجاجي للأداء بعد ستة أشهر فقط. في هذه المقالة، سنقوم بتحليل الفروق الفنية التي يتجاهلها معظم الموردين ونقدم معايير واضحة لشراء المعدات.

متطلبات المعالج المعماري الأساسية للبيانات الضخمة

تضع معالجة البيانات الضخمة متطلبات محددة على الأجهزة. على عكس قواعد البيانات التقليدية، حيث تكون سرعة الاستعلام الواحد أمرًا مهمًا، تتميز أحمال عمل البيانات الضخمة بالتوازي الهائل والقراءة/الكتابة المكثفة. فيما يلي ثلاث معلمات مهمة يجب النظر إليها أولاً.

عرض النطاق الترددي للذاكرة وعدد القنوات

عدد النوى عديم الفائدة إذا كانوا يتضورون جوعا. بالنسبة لمهام البيانات الضخمة، تعد نسبة النوى إلى قنوات الذاكرة أمرًا بالغ الأهمية. تتطلب الأنظمة الأساسية الحديثة ما لا يقل عن 8 قنوات من ذاكرة DDR4 أو DDR5 لكل مقبس. نوصي بالتكوينات التي توفر ما لا يقل عن 200 جيجابايت/ثانية من الإنتاجية لكل معالج. يتيح ذلك تحميل مجموعات البيانات الكبيرة بسرعة في ذاكرة التخزين المؤقت L3 وذاكرة الوصول العشوائي، مما يقلل من وقت توقف وحدة المعالجة المركزية.

واجه أحد عملائنا انخفاضًا في الأداء بنسبة 25% بعد الانتقال إلى معالجات أحدث تحتوي على عدد أكبر من النوى ولكن عدد أقل من وحدات التحكم في الذاكرة. لقد وفروا المال على اللوحة الأم باستخدام تكوين 4 قنوات بدلاً من 8. وكانت النتيجة عنق الزجاجة في تسلسل البيانات. تحقق دائمًا من مواصفات مجموعة الشرائح وعدد قنوات الذاكرة المدعومة قبل الشراء.

حجم ذاكرة التخزين المؤقت L3 وبنية NUMA

تعمل ذاكرة التخزين المؤقت من المستوى الثالث (L3) كمخزن مؤقت بين ذاكرة الوصول العشوائي البطيئة والنوى السريعة. بالنسبة للاستعلامات التحليلية التي تصل بشكل متكرر إلى نفس الفهارس أو البيانات المجمعة، يمكن لذاكرة التخزين المؤقت L3 المشتركة الكبيرة (مثل 256 ميجابايت أو أعلى) تسريع تنفيذ المهمة بنسبة 15-20%. ومع ذلك، من المهم مراعاة بنية NUMA (الوصول إلى الذاكرة غير الموحدة). في الأنظمة متعددة المقابس، يكون الوصول إلى الذاكرة "المحلية" أسرع من الوصول إلى الذاكرة "البعيدة".

عند إعداد مجموعة Hadoop أو Spark، يجب عليك تثبيت العمليات بشكل صحيح على النوى وبنوك الذاكرة المحلية. إذا قام نظام التشغيل بنقل المواضيع بحرية بين عقد NUMA، فستحصل على زمن انتقال غير متناسق. تساعد المعالجات المزودة بوحدات تحكم الإدخال/الإخراج المدمجة (كما هو الحال في حلول AMD EPYC أو Intel Xeon Scalable الحديثة) على تقليل هذه المشكلة، ولكنها تتطلب تكوينًا مناسبًا لنظام التشغيل BIOS ونظام التشغيل.

دعم تعليمات AVX-512 وتسريع الأجهزة

تستخدم أطر معالجة البيانات الحديثة بشكل متزايد تعليمات المتجهات لتسريع العمليات الرياضية. يتيح لك دعم مجموعة تعليمات AVX-512 (أو ما يعادلها، اعتمادًا على البائع) إجراء عمليات على كميات كبيرة من البيانات في دورة ساعة واحدة. وهذا مهم بشكل خاص لمهام التعلم الآلي والتحليلات المعقدة المضمنة في خطوط أنابيب البيانات.

تحقق مما إذا كان برنامجك يستخدم هذه التعليمات. على سبيل المثال، يمكن لبعض إصدارات مكتبة Pandas أو محركات قواعد البيانات مثل ClickHouse الاستفادة بشكل كبير من تسريع الأجهزة للتشفير وضغط البيانات (على سبيل المثال، تعليمات VNNI أو QAT). إن عدم دعم هذه الميزات على مستوى وحدة المعالجة المركزية سيجبرك على إهدار دورات وحدة المعالجة المركزية الثمينة في محاكاة البرامج، مما يقلل من إجمالي إنتاجية المجموعة.

مقارنة النظام الأساسي: Intel Xeon وAMD EPYC للتحليلات

يعتمد الاختيار بين اللاعبين الرئيسيين في السوق على نوع الحمل المحدد. لا يوجد فائز عالمي، بل هناك حل مثالي لمهمتك. فيما يلي مقارنة تفصيلية لسيناريوهات البيانات الضخمة النموذجية.

إذا كانت مهمتك تتطلب الحد الأدنى من زمن الاستجابة (زمن الاستجابة المنخفض)، على سبيل المثال، بالنسبة للواجهة الأمامية للوحة التحليلية، فغالبًا ما تؤدي معالجات Intel ذات تردد الساعة العالي لكل نواة أداءً أفضل. ومع ذلك، بالنسبة للمعالجة الخلفية التي تبلغ تيرابايت من السجلات أو نماذج التدريب حيث يتم قياس أوقات التنفيذ بالساعات، توفر AMD EPYC كثافة حسابية لا مثيل لها لكل حامل. لقد نجحنا في تنفيذ حلول تعتمد على AMD EPYC لعميل يعالج بيانات مستشعر إنترنت الأشياء، مما سمح لنا بتقليل أسطول الخوادم من 50 إلى 32 وحدة مع الحفاظ على السعة الإجمالية.

من المهم أيضًا مراعاة النظام البيئي. تتمتع Intel تقليديًا بتحسينات أعمق في برامج وبرامج التشغيل الخاصة بالمؤسسات، بينما تستفيد AMD من انفتاح النظام الأساسي ومرونة تكوينات ممر PCIe، وهو أمر بالغ الأهمية لتوصيل محركات أقراص NVMe المتعددة أو مسرعات GPU.

سيناريوهات التنفيذ الحقيقية وحسابات الاسترداد

النظرية مهمة، لكن الأرقام هي كل شيء. دعونا نلقي نظرة على حالتين محددتين من ممارستنا توضحان تأثير اختيار وحدة المعالجة المركزية على أداء الأعمال.

الحالة 1: شركة التكنولوجيا المالية وإدارة المخاطر في الوقت الحقيقي

يحتاج العميل إلى تحليل ملايين المعاملات في الثانية لاكتشاف الاحتيال. وكان التأخير لأكثر من 50 مللي ثانية غير مقبول. في البداية، استخدموا خوادم ذات معالجات الجيل السابق (32 نواة، تردد منخفض). كانت المشكلة هي أن ذروة التحميل تسببت في قوائم انتظار الطلبات.

اقترحنا الانتقال إلى المعالجات ذات الترددات الأساسية العالية ودعم AVX-512. على الرغم من انخفاض العدد الإجمالي للنوى في المجموعة، فقد زاد الأداء لكل نواة بنسبة 45٪. وقد أتاح ذلك معالجة المعاملات بزمن وصول أقل من 20 مللي ثانية، حتى خلال ساعات الذروة. وبلغت الوفورات 120 ألف دولار سنويًا بسبب إزالة الترخيص المفرط للبرامج، والذي تم حسابه على أساس عدد المقابس.

الحالة 2: مشغل الخدمات اللوجستية وتحسين المسار

كانت المهمة هي إعادة حساب المسارات لأكثر من 10000 شاحنة ليلاً بناءً على البيانات التاريخية والتنبؤات الجوية. كانت نافذة إجراء العمليات الحسابية 4 ساعات فقط. لم يكن لدى المجموعة القديمة الوقت الكافي لإكمال الحسابات بحلول الصباح، مما أدى إلى مسارات دون المستوى الأمثل واستهلاك مفرط للوقود.

أدى إدخال الخوادم التي تحتوي على وحدات معالجة مركزية متعددة النواة (أكثر من 96 مركزًا) إلى تمكين موازنة المهمة في آلاف سلاسل العمليات. تم تقليل وقت الحساب من 3.5 ساعة إلى 45 دقيقة. هذا جعل من الممكن إجراء عمليات المحاكاة عدة مرات في الليلة، واختيار الخيار الأفضل. وبلغ التوفير المباشر في الوقود 7% في الربع الأول، وهو ما غطى بالكامل تكاليف تحديث المعدات في 6 أشهر.

الأسئلة المتداولة

ما هو الحد الأدنى لعدد النوى الموصى بها لعقدة البيانات الضخمة الأولية؟

بالنسبة لعقدة معالجة البيانات الحديثة، لا نوصي باستخدام معالجات تحتوي على أقل من 16 مركزًا. نقطة البداية المثالية هي 32-48 مركزًا. وهذا يوفر توازيًا كافيًا لمهام Hadoop/Spark ويترك مجالًا لنمو التحميل. سيؤدي استخدام المعالجات الضعيفة إلى الحاجة إلى التوسع أفقيًا (إضافة المزيد من الخوادم)، مما يزيد من تكاليف الشبكات والتبريد والترخيص.

هل يؤثر نوع ذاكرة الوصول العشوائي (RAM) على أداء وحدة المعالجة المركزية متعددة النواة؟

نعم بشكل نقدي. تتطلب المعالجات متعددة النواة للبيانات الضخمة ذاكرة ذات نطاق ترددي مرتفع وزمن وصول منخفض. يمكن أن يؤدي التبديل من DDR4 إلى DDR5 إلى زيادة الأداء بنسبة تصل إلى 20-30% في المهام الحساسة للذاكرة. من المهم أيضًا استخدام وحدات ECC (رمز تصحيح الخطأ) لمنع تلف البيانات أثناء العمليات الحسابية الطويلة. يمكن أن يؤدي خطأ صغير في الذاكرة في مجموعة بيانات كبيرة إلى استنتاجات تحليلية غير صحيحة.

هل يجب أن تفكر في معالجات ARM (مثل AWS Graviton أو Ampere) للبيانات الضخمة؟

أصبحت بنية ARM قابلة للتطبيق بشكل متزايد، خاصة في البيئات السحابية، وذلك بسبب كفاءتها العالية في استخدام الطاقة. إذا كان برنامجك يدعم بنية ARM64 (تدعم معظم المصادر المفتوحة مثل Linux وJava وPython بالفعل)، فيمكن أن يقلل من تكاليف الطاقة بنسبة 40-50%. ومع ذلك، بالنسبة للتطبيقات القديمة التي تعتمد على تعليمات x86، سيتطلب الترحيل جهودًا كبيرة لإعادة الترجمة والاختبار. نوصي بإجراء اختبار تجريبي على مجموعة صغيرة قبل التنفيذ على نطاق واسع.

مخاطر الشراء والتحقق من الموردين

إن شراء أجهزة الخادم للمهام الحرجة أمر محفوف بالمخاطر. هناك العديد من المعالجات المجددة في السوق والتي تباع على أنها جديدة. يمكن أن يؤدي استخدام وحدات المعالجة المركزية هذه في أنظمة البيانات الضخمة المزدحمة إلى حدوث أعطال مفاجئة وفقدان البيانات.

نحن نصر على التحقق من الجوانب التالية عند العمل مع المورد:

• الضمان والدعم:تأكد من أن المورد يقدم ضمانًا رسميًا من الشركة المصنعة (NBD - يوم العمل التالي) أو ضمانًا ممتدًا خاصًا به مع استبدال الأجهزة خلال 24 ساعة.
• شهادة:يجب أن تحصل المعدات على شهادات المطابقة اللازمة (EAC للأسواق الروسية وأسواق رابطة الدول المستقلة، وCE لأوروبا). وهذا يضمن أن المعدات قد اجتازت اختبارات التوافق الكهرومغناطيسي (EMC) واختبارات السلامة.
• الاختبار قبل الشحن:يتطلب تقارير اختبار النسخ لكل خادم. نقوم بإجراء اختبار لمدة 48 ساعة تحت الحمل الكامل لتحديد عيوب التبريد الخفية أو عدم استقرار الذاكرة.

في سياق ضمان موثوقية سلسلة التوريد، يعد اختيار الموزع المناسب أمرًا أساسيًا. على سبيل المثال،ووهان شينهوا لونج للتكنولوجيا ذ.م.مهي شركة متخصصة في توزيع المكونات الإلكترونية تأسست عام 2009 في وادي البصريات الصيني (ووهان). تعمل الشركة كوسيط رئيسي بين الشركات الرائدة في مجال تصنيع الدوائر المتكاملة في العالم والمستهلكين النهائيين، مما يضمن سلسلة توريد قانونية وشفافة تمامًا. يتم توفير جميع المنتجات حصريًا عبر القنوات الرسمية، مما يضمن صحتها ومطابقتها للمواصفات الفنية.

على الرغم من أن الملف الأساسي للشركة يشتمل على مجموعة واسعة من حلول أشباه الموصلات عالية التقنية (من المحولات التناظرية إلى الرقمية إلى معالجات Loongson ووحدات التحكم في الذاكرة LPDDR4)، فإن أسلوبها في الجودة يستحق الاهتمام كمعيار للسوق. تطبق شركة Wuhan jinhualong Technologies نظام تحقق متعدد المستويات: التحكم في الوارد والتحقق من أرقام الدُفعات والامتثال للخصائص المعلنة. يقدم مهندسو التطبيقات بدوام كامل (FAEs) الدعم الفني أثناء مراحل التكامل، وهو أمر مهم بشكل خاص عند إنشاء منصات حوسبة معقدة. يجب أن يكون هذا المستوى من المسؤولية وشهادة ISO 9001 في تجميع حلول الخوادم وتقديمها هو المعيار لأي مورد تخطط للعمل معه. يمكنك التأكد من أن ما تتلقاهوحدة معالجة مركزية متعددة النواة لمعالجة البيانات الضخمةستعمل بشكل موثوق طوال دورة حياة المشروع بأكملها إذا اجتاز مثل هذا الاختبار الشامل.

كيفية اتخاذ القرار الصحيح اليوم

يعد اختيار معالج للبيانات الضخمة بمثابة توازن بين الاحتياجات الحالية والتوسع المستقبلي. لا تختر الحد الأقصى لعدد النوى إذا لم تكن البنية الأساسية للإدخال/الإخراج لديك جاهزة للتعامل معها. قم بتقييم ملف تعريف عبء العمل الخاص بك: هل تردد النواة الواحدة أم إجمالي إنتاجية الخيوط المتوازية مهم بالنسبة لك؟

تذكر أن الأجهزة ليست سوى نصف المعادلة. يمكن أن يؤدي تحسين حزمة البرامج لبنية معينة لوحدة المعالجة المركزية إلى توفير مكاسب أكبر من مجرد استبدال الأجهزة. نوصي بإجراء تدقيق للبنية التحتية الموجودة لديك قبل شراء مجموعة جديدة من الخوادم.

إذا كنت تخطط لترقية مركز البيانات الخاص بك أو إنشاء مجموعة تحليلات جديدة، فمن المهم الحصول على المشورة من الخبراء الذين يفهمون جوانب الأجهزة والبرامج للبيانات الضخمة. إن اتخاذ القرار الخاطئ الآن قد يكلفك الكثير في المستقبل.

اتصل بنا اليوم للحصول على مواصفات المعدات المخصصة التي تناسب احتياجاتك وميزانيتك. سيساعدك مهندسونا على تحديد التكوين الأمثل للمعالجات والذاكرة والنظام الفرعي للقرص، مما يضمن أقصى قدر من كفاءة الاستثمار.

تعرف على المزيد حول حلول HPC لدينا:خوادم للبيانات الضخمة والتحليلات.