Sohu ၏ ASIC AI ချစ်ပ်သည် Nvidia H100 GPU များထက် အဆ၂၀ ပိုမိုမြန်ဆန်ကာ ပိုမိုစျေးသက်သာကြောင်းဆို

Image: Etched

Etched ဆိုတဲ့ transformer အသားပေးချစ်ပ်တွေဖန်တီးတဲ့ startup လုပ်ငန်းတစ်ခုက Sohu ဆိုတဲ့ Application-Specific Integrated Circuit (ASIC) အသစ်ကိုကြေညာလိုက်ပြီး AI LLM inference မှာ Nvidia ရဲ့ H100 ထက် ပိုကောင်းတယ်လို့ ဆိုထားပါတယ်။ 8xSohu server တစ်ခုတည်းက H100 GPUပေါင်း ၁၆၀ ရဲ့ စွမ်းဆောင်ရည်နဲ့ ညီမျှတယ်လို့ ဆိုလိုက်တဲ့အတွက် data processing centers တွေဟာ ကနဦးနဲ့ လုပ်ငန်းလည်ပတ်မှုကုန်ကျစရိတ်ကို လျှော့ချနိုင်မှာဖြစ်ပါတယ်။

ကုမ္ပဏီရဲ့အဆိုအရ လက်ရှိ CPU ဖြစ်စေ GPU ဖြစ်စေ AI accelerators တွေဟာ မတူညီတဲ့ AI architectures တွေကို အလုပ်လုပ်နိုင်အောင် ဒီဇိုင်းထုတ်ထားတာဖြစ်ပါတယ်။ ဒီ လို ကွဲပြားလှတဲ့ framework တွေနဲ့ ဒီဇိုင်းတွေကြောင့် hardware တွေအနေနဲ့ convolution neural networks, long short-term memory networks, state space models တွေလို မော်ဒယ်အမျိုးမျိုးကို ထောက်ပံ့နိုင်ဖို့ရာ လိုအပ်ပါတယ်။ ဒီမော်ဒယ်တွေက မတူညီတဲ့ architecture မျိုးစုံနဲ့ tune လုပ်ထားတာကြောင့် လက်ရှိရှိတဲ့ AI chips တွေက ၄င်းတို့ရဲ့ များပြားလှတဲ့ computing power ကို programmability အတွက် ချန်ထားရပါတယ်။

Large Language Models (LLMs) အများစုက သူတို့ရဲ့ compute task တွေ အများစုအတွက် matrix multiplication ကို အသုံးပြုကြပြီး Etched ရဲ့ခန့်မှန်းချက်အရ Nvidia ရဲ့ H100 GPUတွေက သူတို့ရဲ့ transistors 3.3% ကိုသာ ဒီအရေးကြီးတဲ့ task အတွက် အသုံးပြုတယ်လို့ သိရပါတယ်။ ဒါဆိုရင် ကျန်တဲ့ 96.7% silicon က အခြား tasks တွေအတွက် အသုံးပြုနေတယ်ဆိုတာပါ၊ ဒါတွေကလည်း general-purpose AI chips တွေအတွက် အရေးကြီးပါတယ်။

ဘယ်လိုပဲဖြစ်ဖြစ် transformer AI architecture ဟာ အခုနောက်ပိုင်းမှာ အရမ်းလူကြိုက်များလာကြပါတယ်။ ဥပမာ ChatGPT ဟာ အခုချိန်အရ အရမ်းကို လူကြိုက်များတဲ့ LLM လို့ဆိုနိုင်ပြီး transformer model တစ်မျိုးကို အခြေခံထားပါတယ်။ တကယ်တမ်း သူ့ရဲ့ နာမည်ကိုက Chat generative pre-trained transformer (GPT) ဖြစ်ပါတယ်။ Sora၊ Gemini၊ Stable Diffusion၊ DALL-E တို့လို အခြား competing model တွေကလည်း transformer models ကို အခြေခံထားတာဖြစ်ပါတယ်။

Etched ဟာ ပြီးခဲ့တဲ့နှစ်အနည်းငယ်က Sohu project ကို စတင်ခဲ့ကတည်းက transformer တွေအပေါ် ရင်းနှီးမြှုပ်နှံမှုကြီးကြီးမားမား ပြုလုပ်ခဲ့ပါတယ်။ ဒီ chip ဟာ transformer architecture ကို hardware ထဲမှာ ထည့်သွင်းထားပြီး AI compute လုပ်ဖို့အတွက်အတွက် transistors ပိုမိုခွဲဝေပေးနိုင်ပါတယ်။ ဥပမာပြောရရင် လက်ရှိ AI ချစ်ပ်တွေဟာ လုပ်ငန်းမျိုးစုံလုပ်နိုင်တဲ့ CPUတွေ အဖြစ်သတ်မှတ်မယ်ဆိုရင် transformer model ဆိုတာ game title ရဲ့ graphics demand လို့ဆိုနိုင်ပါတယ်။ CPU က graphics demand တွေကို process လုပ်နိုင်သေးပေမယ့် GPU လောက်တော့ လျင်မြန်အောင် (သို့မဟုတ်)ထိရောက်အောင် မလုပ်နိုင်ပါဘူး။ အကြောင်းက visualတွေကို process လုပ်ဖို့ အထူးဖန်တီးထားတဲ့ GPU က graphics rendering ကို ပိုမြန်ဆန်ပြီး ထိရောက်စွာ လုပ်ဆောင်ပေးနိုင်တာကြောင့်ပါပဲ။

Etched က Sohuကို ဒီနည်းလမ်းအတိုင်း ဖန်တီးခဲ့တာပါ။ AI architecture တစ်ခုချင်းစီကို accommodate လုပ်နိုင်တဲ့ chip တစ်ခု ဖန်တီးမဲ့အစား transformer models တွေကိုပဲ အလုပ်လုပ်နိုင်တဲ့ chip တစ်ခု ဖန်တီးလိုက်တာဖြစ်ပါတယ်။ ၂၀၂၂ ခုနှစ်မှာ ဒီ project ကို စတင်ခဲ့တုန်းက ChatGPT တောင် မရှိသေးပါဘူး။ ဒါပေမယ့် ၂၀၂၃ ခုနှစ်မှာ လူကြိုက်များသွားခဲ့ပြီး ကုမ္ပဏီရဲ့ စွန့်စားမှုက အခုအချိန်မှာ အကျိုးအမြတ်ကြီးကြီးမားမားဖြစ်ထွန်းလာတော့မှာပါ။

Nvidia က လက်ရှိကမ္ဘာ့တန်ဖိုးအရှိဆုံး ကုမ္ပဏီတွေထဲက တစ်ခုဖြစ်ပြီး AI GPUတွေ ဝယ်လိုအားမြင့်တက်လာတဲ့အချိန်မှာ စံချိန်တင်ဝင်ငွေတွေ ရရှိနေပါတယ်။ ၂၀၂၃ခုနှစ်မှာ data center GPU ပေါင်း ၃.၇၆သန်းကို တင်ပို့ခဲ့ပြီး ဒီနှစ်မှာလည်း ပိုမိုမြင့်တက်လာဦးမှာပါ။ ဒါပေမယ့် Sohu ရဲ့ မိတ်ဆက်မှုက Nvidia ရဲ့ AI နယ်ပယ်အတွင်းဦးဆောင်မှုကို ခြိမ်းခြောက်နိုင်ပါတယ်၊ အထူးသဖြင့် transformer models တွေကို အထူးပြုအသုံးပြုတဲ့ ကုမ္ပဏီတွေက Sohu ကို ပြောင်းလဲအသုံးပြုလာခဲ့ရင်ပါ။ အဆုံးမှာတော့ စွမ်းဆောင်ရည်က AI ပြိုင်ပွဲမှာ အနိုင်ရဖို့ သော့ချက်ဖြစ်ပြီး၊ ဒီမော်ဒယ်လ်တွေကို အမြန်ဆုံး၊ ဈေးအသက်သာဆုံး ဟာ့ဒ်ဝဲပေါ်မှာ မောင်းနှင်လည်ပတ်နိုင်သူကသာ ဦးဆောင်သွားပါလိမ့်မယ်။

Source: Tom's Hardware