|
إن الرحلة من 8 ميجابايت من ذاكرة الوصول العشوائي (EDO RAM) في جهاز بنتيم MMX إلى 64 جيجابايت من DDR5 على وحدة واحدة في محطة عمل الذكاء الاصطناعي تمتد إلى ثلاثة عقود فقط.يفسر فهم هذا التطور لماذا تمثل وحدة XRISS 64GB DDR5 5600MHz نقطة تحول حقيقية لحملات عمل الحوسبة المرتبطة بالذاكرة.
لماذا 64GB على UDIMM واحد يهم الآن:يتطلب النموذج الأولي لنموذج الذكاء الاصطناعي على محطات عمل رباعية المعالجة الفورية الاحتفاظ بمجموعات البيانات المسبقة المعالجة بأكملها في ذاكرة الذاكرة النظامية بينما تتعامل GPU VRAM مع دفعة التدريب النشطة.مجموعة بيانات تقسيم الصور العادية مع 100،000 1024x1024 الصور الطبية تستهلك ما يقرب من 40-55GB في الذاكرة بعد المعالجة المسبقة.تتيح وحدة XRISS 64GB هذا الحمل على لوحة أم مستهلكة واحدة ذات 4 فتحات (256GB إجمالاً) دون الحاجة إلى منصات خادم RDIMM باهظة الثمنتردد 5600 ميغا هرتز يضمن أن وحدة المعالجة المركزية ذات الـ 32 نواة لن تكون جائعة من النطاق الترددي أثناء عمليات زيادة البيانات الحرجة وإعداد البطاقات التي تغذي وحدات المعالجة المركزية
كيف يختلف DDR5 on-die ECC عن ECC الخادم التقليدي ، وهل توفر هذه الوحدة حماية كاملة لمسارات البيانات؟
ج: DDR5 on-die ECC و ECC التقليدية على مستوى النظام تخدم أغراض مختلفة. يعمل ECC on-die بالكامل داخل كل شريحة DRAM:يكتشف ويقوم بتصحيح الأخطاء التي تحدث داخل صفحة DRAM نفسها، ويرجع ذلك أساسًا إلى تسرب الخلايا وتأثيرات مطرقة الصف. وهذا يحسن من موثوقية DRAM الجوهرية ولكنه لا يحمي من الأخطاء على حافلة الذاكرة بين الوحدة وCPU.ECC على مستوى النظام الكامل (الذي لا يوفره هذا الـ UDIMM غير ECC) يضيف شريحة DRAM إضافية لكل منطق تصحيح الصف والخطأ في وحدة التحكم بالذاكرةلحماية مسار البيانات بأكمله من النهاية إلى النهاية. للنموذج الأولي للذكاء الاصطناعي وحملات العمل البحثية حيث الأخطاء البيتية العرضية في مجموعات البيانات التدريبية غير مهمة إحصائيا،توفر ECC on-die من DDR5 UDIMMs سلامة بيانات كافيةلخدمة استنتاج الإنتاج أو الحسابات المالية ، يوصى بمواقع ECC RDIMM الكاملة.
س2: مع 64 جيجابايت على وحدة واحدة، هل يمكنني ملء أربع فتحات ل 256 جيجابايت إجمالي على لوحة أم المستهلك؟
ج: نعم ، هذه واحدة من حالات الاستخدام الأساسية لهذه الوحدة. على لوحة أم 4-DIMM المستهلكية القياسية (Z790 ، X670E ، B650) ، توفر أربع وحدات XRISS 64GB 256GB من ذاكرة الوصول العشوائي للنظام عند 5600MHz.هناك اعتبارات عملية: (1) تشكيلات 4-DIMM عند 5600MHz تتطلب لوحة أم مع التوجيه القوي لتتبع الذاكرةفي حين أن لوحات الميزانية ذات 6 طبقات قد تتطلب تخفيضها إلى 5200MHz أو 4800MHz من أجل الاستقرار؛ (2) وحدة التحكم في الذاكرة المدمجة في وحدة المعالجة المركزية (IMC) هي العامل المحدد تحريك 4 DIMMs مزدوجة الرتب عند 5600MHz يضغط حتى IMCs العلوي ، وربما تحتاج إلى زيادة قليلا في VDD و VDDQ الجهد ؛(3) يجب أن لا تتداخل برنامج تبريد وحدة المعالجة المركزية الخاصة بك مع فتحات DIMM الأقرب إلى المقبسنوصي باختبار MemTest86 لمدة مرتين كاملة على الأقل قبل نشر تكوين 256GB لحملات العمل الإنتاجية.
س3: أي نوع من أحمال عمل الذكاء الاصطناعي يحتاج في الواقع إلى 64GB + من ذاكرة الوصول العشوائي للنظام عندما يكون لـ GPU ذاكرة VRAM الخاصة بها؟
الجواب: السيناريو الأكثر شيوعًا هو معالجة البيانات المسبقة للتعلم العميق. قبل بدء التدريب ، يجب تحميل مجموعات البيانات الخام (الصور والكوربوس النصية وبيانات المستشعرات) وتنظيفها وتعزيزها ،وتحول إلى تنسيقات التنسور التي يمكن أن تستهلكها GPUمجموعة بيانات التصوير الطبي مع 100000 مسح CT بدقة 512x512 يستهلك ما يقرب من 40-65GB في الذاكرة بعد التحميل والمعالجة المسبقةوبالمثل، فإن ضبط نموذج اللغة الكبير مع LoRA يتطلب الاحتفاظ بمجموعة البيانات المسبقة المعالجة بأكملها في ذاكرة الوصول العشوائي للنظام، والتي يمكن أن تتجاوز بسهولة 64 جيجابايت لجمع نص 50 جيجابايت مع تكاليف الرمز.وتشمل عبء عمل الذكاء الاصطناعي كثيف الذاكرة الأخرى: التدريب على الشبكة العصبية الرسمية حيث تتجاوز مصفوفة الجوار VRAM ، k-mer counting in genomics ML pipelines ،البحث عن المعلمات العالية حيث يتم تقييم تكوينات تدريب متعددة بشكل متتابع ويجب أن تظل مجموعة البيانات مقيمة.
السؤال 4: لماذا تستخدم هذه الوحدة التي تبلغ 64 جيجابايت 5600 ميغاهرتز بدلاً من سرعة أعلى مثل 6000 ميغاهرتز؟
ج: عند كثافة 64 جيجابايت باستخدام وحدات IC مزدوجة الرتب 32 جيجابايت ، فإن الحمل الكهربائي على وحدة تحكم الذاكرة أعلى بكثير من وحدة 16 جيجابايت أو 32 جيجابايت. تتطلب الترددات العالية سلامة إشارة أكثر نظافة ،الذي يصبح تحديا مع تحميل سعة 16+ DRAM ICs على DIMM واحد5600 ميغا هرتز يمثل أعلى تردد يمكننا التحقق من موثوقيته في هذه الكثافة عبر مجموعة واسعة من اللوحات الأم المستهلكة دون الحاجة إلى ضبط الجهد اليدوي.وحدة 64 جيجابايت في 6000 ميغا هرتز ممكنة تقنيا ولكن يتطلب تشكيلات IC أكثر صرامة، وهو مجموعة PCB أكثر تكلفة ، وسيكون لديها توافق أقل للوحة الأم، وكلها من شأنها أن تدفع التكلفة إلى ارتفاع كبير لتحسين الحد الأدنى من عرض النطاق الترددي في العالم الحقيقي (44.8 GB / s مقابل 48.0 GB / s).بالنسبة لمعالجة بيانات الذكاء الاصطناعي المسبقة حيث يكون عرض النطاق الترددي للقراءة التسلسلي أكثر أهمية من فترة تأخر الوصول العشوائي ، فإن الفرق بين 5600 ميغا هرتز و 6000 ميغا هرتز عادة ما يكون أقل من 5٪ في الإنتاجية.
السؤال 5: هل من الأفضل شراء وحدة 64 جيجابايت واحدة أو وحدة 32 جيجابايت اثنتين للعملية مزدوجة القنوات؟
الجواب: يعتمد ذلك على مسار الترقية الخاص بك. توفر وحدتان 32 جيجابايت في قناة مزدوجة 89.6 جيجابايت / ثانية عرض النطاق الترددي المشترك مقابل 44.8 جيجابايت/ثانية من وحدة 64 جيجابايت واحدة فرق كبير لحملات العمل الحساسة لعرض النطاق الترددي. ومع ذلك ، تترك وحدة 64GB واحدة ثلاثة فتحات DIMM مجانية للتوسع في المستقبل إلى 128GB ، 192GB ، أو 256GB. توصيتنا:إذا كان عبء عملك مقيدًا بالقدرة بشكل أساسي (تثبيت مجموعات بيانات كبيرة في ذاكرة الوصول العشوائي) وتخطط للتوسع في وقت لاحقإذا كان عبء العمل الخاص بك مقيدًا بالعرض النطاق الترددي (أنماط الوصول العشوائي المتكررة ، متعددة السلاسل الثقيلة) و 64GB كليًا كافية ، اختر وحدتين 32GB في قناة مزدوجة.التكوين المثالي لنماذج الذكاء الاصطناعي مع أقصى قدر من المرونة هو وحدتين 64GB (128GB قناة مزدوجة)، والتي توفر كل من القدرة على مجموعات البيانات الكبيرة وعرض النطاق الترددي لسرعة المعالجة المسبقة.
