AMD မှ Data Center များအတွက် 5th Gen EPYC CPU နှင့် Instinct MI325X accelerator များကို မိတ်ဆက်

AMD ဟာ San Francisco မှာကျင်းပခဲ့တဲ့ Advancing AI ပွဲမှာ 5th Generation EPYC CPUs နဲ့ Instinct MI325X accelerator များကို မိတ်ဆက်လိုက်ပြီး AI workload တွေ၊ data center နဲ့ high-performance computing (HPC) ကဏ္ဍမှာ အထူးကောင်းမွန်တဲ့ စွမ်းဆောင်ရည်နဲ့ လုပ်ငန်းစွမ်းရည်တွေပေးစွမ်းနိုင်ဖို့ ရည်ရွယ်ထားပါတယ်။ ဒီထုတ်ကုန်အသစ်တွေဟာ လက်ရှိရှိတဲ့ ယှဉ်ပြိုင်သူများထက် စွမ်းဆောင်ရည်နဲ့ ပေါ်လစီအရ ဦးဆောင်နိုင်ဖို့ ရည်ရွယ်ထားတဲ့ ထုတ်ကုန်တွေဖြစ်ပြီး လာမယ့်နှစ်တွေမှာ လုပ်ငန်းတွေအတွက် အလွန်အရေးပါတဲ့ အခွင့်အလမ်းတွေနဲ့ အသုံးချနိုင်မယ့်နည်းပညာတွေ ပါဝင်ပါတယ်။

5th Generation EPYC CPUs

AMD ဟာ 5th Generation EPYC CPU တွေကို "Turin" လိုအမည်ပေးထားပြီး၊ data center လုပ်ငန်းတွေနဲ့ cloud computing နည်းပညာတွေအတွက် ထိပ်တန်းစွမ်းဆောင်ရည်ကိုပေးနိုင်ဖို့ သီးသန့်ဖန်တီးထားပါတယ်။ Zen 5 ရဲ့ ဒီပိုမိုကောင်းမွန်လာတဲ့ efficiency ဟာ server workloads, AI သုံး application တွေကဲ့သို့သော computational workloads တွေမှာ အထူးအသုံးဝင်ပါတယ်။

5th Gen EPYC processor တွေဟာ Zen 5 architecture အပေါ်မှာ အခြေခံထားပြီး, အရင်ပေါ်မော်ဒယ်တွေထက် Clock Speed မြင့်မားလာတာနဲ့ IPC (instructions per clock) တိုးတက်လာတာတို့ကြောင့် စွမ်းဆောင်ရည်ပိုမိုမြင့်မားလာပါတယ်။ 5th Gen EPYC processors တွေဟာ ယခင်မျိုးဆက် processor တွေနဲ့ နှိုင်းယှဉ်မယ်ဆိုရင် အထူးကောင်းမွန်တဲ့ တွက်ချက်မှုစွမ်းဆောင်ရည်နဲ့ စွမ်းအင်ကိုထိထိရောက်သုံးစွဲနိုင်ပါတယ်။

EPYC 9005 series တွေဟာ 8 cores ကနေ 192 cores အထိရွေးချယ်နိုင်တဲ့ options တွေကို ပံ့ပိုးပေးထားတာကြောင့် လုပ်ငန်းအလိုက် လိုအပ်ချက်ကို လိုအပ်သလိုဖြည့်ဆည်းနိုင်စွမ်းရှိပါတယ်။ ဥပမာအားဖြင့် EPYC 9965 CPU ဆိုရင်  TSMC’s 3nm node နဲ့ဖန်တီးထားတဲ့ Zen 5c core တွေအသုံးပြုထားပြီး အထင်ကြီးလောက်စရာ 192 cores နဲ့ boost clock ကို 3.7GHz အထိမြှင့်တင်နိုင်ပါတယ်။ ဒါ့အပြင် TDP (Thermal Design Power) က 500W နဲ့ ရှိတာကြောင့် စွမ်းအင်အသုံးပြုမှုများပြားတဲ့ data center လုပ်ငန်းတွေမှာ သာလွန်တဲ့ computing စွမ်းဆောင်ရည်ကို ပေးနိုင်ပါတယ်။

AMD အနေနဲ့ Zen 5c အသုံးပြုထားတဲ့ အခြားမော်ဒယ် ၅ခုကိုလည်းထုတ်လုပ်ထားပြီး 96၊ 128၊ 144 နဲ့ 160 core မော်ဒယ်တွေဖြစ်ပါတယ်။ ဒါ့အပြင် 4nm node ကို အသုံးပြုထားတဲ့ Zen 5 မော်ဒယ်တွေလည်းထုတ်လုပ်ထားပြီး 8 Core ကနေ 128 Core အထိရှိတဲ့ မော်ဒယ် ၂၂ခုပါဝင်ပါတယ်။ ပုံမှန် Zen 5 မှာ CPU core ၈ခုအထိအမြင့်ဆုံးပါဝင်တဲ့ 4nm CCD(Core Compute Die)တွေ ၁၆ခုအထိပါဝင်ပြီး အလယ်မှာကြီးမားတဲ့ I/O die ပါဝင်ပါတယ်။ Zen 5c မှာတော့ CPU core ခု ၁၆စီပါဝင်တဲ့ 4nm CCD(Core Compute Die)တွေ ၁၂ခုအထိပါဝင်ပြီး Zen 5 နဲ့တူညီတဲ့ I/O die ပါဝင်ပါတယ်။ 

5th Gen EPYC processor တွေမှာ 12 channels ရှိတဲ့ DDR5 memory ကို CPU တစ်ခုခြင်းစီမှာ အသုံးပြုနိုင်လာပါတယ်။ အရင်ပေါ်မော်ဒယ်တွေမှာဆိုရင် DDR4 memory ကိုသာ အသုံးပြုခဲ့ရလို့ bandwidth ကနည်းပါးခဲ့ပြီး ဒီ processor အသစ်တွေမှာတော့ အရင်ထက် အဆမတန်မြင့်မားတဲ့ memory bandwidth ကို ပေးစွမ်းနိုင်ပါတယ်။

ဒါ့အပြင် PCIe Gen5 ကိုလည်း lanes တွေတိုးချဲ့ထားတာကြောင့် မြင့်မားတဲ့ data transfer အထောက်အပံ့နဲ့ I/O throughput ကိုတိုးတက်လာစေပါတယ်။ ဒီ PCIe Gen5 lanes ပမာဏတိုးလာခြင်းဟာ high-performance storage devices, GPUs နဲ့ accelerators တွေကို ပိုမိုကောင်းမွန်စွာ အလုပ်လုပ်စေပြီး server-class systems တွေမှာ data-intensive workloads များကို ကောင်းစွာကိုင်တွယ်နိုင်စေပါတယ်။

AI နည်းပညာကို ထိရောက်စွာ အသုံးချနိုင်အောင် လိုအပ်သော နည်းပညာအထောက်အကူများကို ထည့်သွင်းထားတဲ့အတွက် ကြီးမားလှတဲ့ data set တွေနဲ့ ရှုပ်ထွေးလှတဲ့ algorithm တွေကို ကောင်းစွာကိုင်တွယ်နိုင်ပါတယ်။ 5th Gen EPYC CPUတွေဟာ AI သုတေသနနဲ့ ဖွံ့ဖြိုးရေးမှာလိုအပ်တဲ့ AI တွေကိုလေ့ကျင့်ခြင်းနဲ့ မှာလိုအပ်တဲ့ computational စွမ်းဆောင်ရည်ကို ပေးစွမ်းနိုင်ပါတယ်။

AMD ဟာ ကမ္ဘာ့ server CPUဈေးကွက်ရဲ့ ၃၄% အထိကို EPYC CPU series နဲ့ သိမ်းပိုက်ထားပါတယ်။ ဒါဟာ 5th Gen EPYC CPUတွေနဲ့အတူ AMD ဟာ data center CPU ကဏ္ဍမှာ သူတို့ရဲ့ခေါင်းဆောင်ထားနိုင်မှုကို ဆက်လက်ခိုင်မှာစေမှာဖြစ်ပြီး data centers၊ enterprise workloads နဲ့ cloud services အစရှိတဲ့ high-performance computing လုပ်ငန်းတွေအတွက် အသုံးဝင်မယ့် ထုတ်ကုန်တွေကိုပေးအပ်သွားမှာဖြစ်ပါတယ်။

AMD Instinct MI325X Accelerator

AMD ဟာ သူတို့ရဲ့ Advancing AI ပွဲမှာ MI300X ကိုဆက်ခံမယ့် Instinct MI325X accelerator ကိုပြသခဲ့ပါတယ်။ CDNA 3 architecture နဲ့ဖန်တီးထားတဲ့ အဆိုပါ Instinct MI325X accelerator ဟာ HBM3E memory 256 GB ပါဝင်ပြီး bandwidth က 6 TB/s ရှိမှာဖြစ်ပါတယ်။ MI325X မှာ memory ပမာဏတိုးလာခြင်းဟာ HBM3 memory 192 GB ပါဝင်တဲ့ MI300 ထက် ၁.၈ဆပိုမိုလာတာလို့ဆိုနိုင်ပါတယ်။ ဒီလို ပိုမိုများပြားလာတဲ့ memory ဟာ data center များအတွက် အလွန်အသုံးဝင်တဲ့ memory bandwidth ကို ပေးစွမ်းနိုင်ပါတယ်။ AI workloads များအတွက် memory capacity ပိုကြီးလာခြင်းကြောင့် AI models ကြီးများကို ပိုမိုမြန်ဆန်စွာ လုပ်ဆောင်နိုင်စေပြီး ဒေတာကြီးမားတဲ့အလုပ်တွေကို အခက်အခဲမရှိ လုပ်ဆောင်နိုင်စေပါတယ်။

Instinct MI325X  ဟာ FP16 မှာ 1.3 Peta FLOPS နဲ့ FP8 training and inference စွမ်းဆောင်ရည်မှာ 2.6 petaflops အထိပေးအပ်နိုင်တာကြောင့် AI၊ deep learningနဲ့ HPC workloads တွေအတွက် compute power အလွန်ပြည့်စုံတဲ့ processing power ကိုပေးစွမ်းနိုင်ပါတယ်။ FP8 data types တွေကို ထိထိရောက်ရောက်ကိုင်တွယ်နိုင်တာကြောင့် MI325X ဟာ AI model inference နဲ့လေ့ကျင့်ခြင်းတွေမှာ ထိပ်တန်းရွေးချယ်စရာတစ်ခုအဖြစ်ရှိနေမှာပါ။

Instinct MI325X accelerator ဟာ FP16 နဲ့ FP8 data types တွေမှာ အဓိကပြိုင်ဘက်ဖြစ်တဲ့ NVIDIA ရဲ့ H200 ထက် ၁.၃ ဆအထိ ပိုမိုကောင်းမွန်တဲ့ peak theoretical compute performance ရရှိစေမယ်လို့ AMD ကဆိုပါတယ်။ လူသိများတဲ့ AI models တွေဖြစ်တဲ့ Mistral 7B model မှာ FP16 inference performance က ၁.၃ ဆပိုကောင်းပြီး FP8 အသုံးပြုတဲ့ Llama 3.1 70B model တွေမှာဆိုရင် ၁.၂ ဆပိုမြင့်မားတယ်လို့ဆိုပါတယ်။ အဆိုပါစွမ်းဆောင်ရည်ကိန်းဂဏန်းတွေအရ MI325X ဟာ AI accelerator စျေးကွက်မှာ ကောင်းစွာယှဥ်ပြိုင်နိုင်ကြောင်းပြသနေပါတယ်။

AMD ရဲ့ MI325X ကတော့ လက်ရှိ data center နဲ့ AI applications တွေမှာ တင်မဟုတ်ဘဲ, အနာဂတ်လမ်းကြောင်းကိုပါ ဖြတ်သန်းနိုင်ဖို့ အထောက်အကူပြုမယ့် နည်းပညာတစ်ခုပါ။ AMD ကလည်း MI350 series ဟာ ၂၀၂၅ခုနှစ် ဒုတိယနှစ်ဝက်ပိုင်းမှာ ထွက်လာမယ်လို့ သူတို့ရဲ့လမ်းပြမြေပုံမှာပြသထားပြီး MI325X ထက် ပိုမိုစွမ်းဆောင်ရည်ကောင်းမွန်လာမယ်လို့ မျှော်လင့်ရပါတယ်။

Source: AMD, Techpowerup and Tom's Hardware