Google မှ NVIDIA H100 GPU များအသုံးပြုထားသည့် A3 စူပါကွန်ပျူတာကိုပြသ

Image: NVIDIA

Google ဟာ သူတို့‌အနေနဲ့ AI မှာ ဘယ်လိုအားသာချက်တွေရှိနေကြောင်း Google I/O မှာ အချိန်တစ်နာရီကျော်ကြာပြောကြားသွားပါတယ်။ ကုမ္ပဏီဟာ သူတို့ရဲ့ Generative AI အတွက် PaLM large language model (LLM) အသစ်အကြောင်းကိုဆွေးနွေးခဲ့ပြီး ၎င်းဟာ Bard ကိုစွမ်းအားပေးနေတာပါ။ 

Google ရဲ့ အဆိုအရ A3 ဟာ NVIDIA ရဲ့ Hopper H100 GPU တွေနဲ့ Google ရဲ့ Network ပိုင်းဆိုင်ရာအကဲသာမှုတွေကို ပေါင်းစပ်ပြီးတည်ဆောက်ထားတယ်လို့ဆိုပါတယ်။

Google ရဲ့ ယခင် A2 နဲ့နှိုင်းယှဉ်မယ်ဆိုရင် latency ပိုနည်းပြီး ပိုတည်ငြိမ်မှုရှိကာ bandwidth ၁၀ဆပိုကောင်းတယ်လို့ဆိုပါတယ်။ ဒီလိုမြန်နှုန်းရလာတာကအခြား virtual machine နဲ့ data traffic ထက်စာရင် GPU data တွေပို့ဆောင်ရာမှာ Google က အထူးပြုလုပ်ထားတဲ့ 200Gbps IPU နဲ့ CPU ကိုကျော်လွှားပြီး GPU အခြင်းခြင်းချိတ်ဆက်အောင် အသုံးပြုထားတာကြောင့်ပဲဖြစ်ပါတယ်။

AI supercomputer မှာ 

• Nvidia ရဲ့ Hopper architecture အသုံးပြုထားတဲ့ H100 GPU ၈ခု
• NVIDIA NVSwitch နဲ့ NVLink 4.0 မှတဆင့် GPU ၈ခုအကြား 3.6TB/s bisectional bandwidth
• မျိုးဆက်သစ် 4th Gen Intel Xeon Scalable processor များ
• မြန်နှုန်း 4800MHz DDR5 ရှိသည့် 2TB Memory

• hardware အခြေပြု IPUများ၊ ဆာဗာရှိ GPU အတွင်းဆက်သွယ်သည့် communication stack နှင့် NCCL optimization များ

ဒီကြေညာချက်ဟာ AI နဲ့ Cloud အခြေခံ computing နဲ့ပတ်သက်ပြီး Google နဲ့ NVIDIA တို့အကြား ပူးပေါင်းဆောင်ရွက်ချက်ကိုအားကောင်းစေပါတယ်။

NVIDIA ရဲ့ Hyper Scale ‌and High-Performance Computing ဌာနရဲ့ vice president ဖြစ်သူ Ian Buck က "မျိုးဆက်သစ် NVIDIA H100 GPU တွေစွမ်းအားပေးထားတဲ့ Google Cloud ရဲ့ A3 VM ဟာ AI အက်ပလီကေးရှင်းတွေအတွက် လေ့ကျင့်မှုနဲ့တာဝန်ထမ်းဆောင်မှုတွေပြုလုပ်နိုင်ပါတယ်။ purpose-based AI အခြေခံအဆောက်အဦတွေနဲ့ ကမ္ဘာတစ်ဝှမ်းကစီးပွားရေးလုပ်ငန်းကိုပြောင်းလဲရာမှာ ကူညီဖို့ Google Cloud နဲ့ အလုပ်လုပ်ရတာကိုဂုဏ်ယူပါတယ်" လို့သူကဆိုပါတယ်။

Source: Tom's Hardware and TweakTown

#EnThueTech

#News

#SuperComputers