Nvidia မှ သင်၏ကွန်ပျူတာပေါ်တွင် တိုက်ရိုက်လည်ပတ်နိုင်ပြီး offline အဖြစ်ပါအသုံးပြုနိင်သည့် Chat with RTX ကို ဖြန့်ချီ

Image: NVIDIA

အခုဆိုရင် လူသန်းပေါင်းများစွာဟာ AI Chatbot တွေကိုအသုံးပြုနေကြပြီး ၎င်းchatbot တွေဟာ Nvidia GPU အသုံးပြုထားတဲ့ cloud ဆာဗာတွေကနေ စွမ်းအားပေးထားတာဖြစ်ပါတယ်။ အခုဆိုရင် Nvidia ကနေပြီး Windows PC တွေရဲ့ hardware တွေနဲ့သာ လျှင်မြန်သွက်လက်စွာအလုပ်လုပ်နိုင်တဲ့ Chat with RTX ဆိုတဲ့ သီးခြား generative AI tool ကို ရယူခွင့်ပေးလိုက်ပြီဖြစ်ပါတယ်။

Chat with RTX မှာ retrieval-augmented generation (RAG) NVIDIA TensorRT-LLM software နဲ့ NVIDIA RTX acceleration ကိုအသုံးပြုပြီး မိမိရဲ့ GeForce RTX GPU တပ်ဆင်ထားတဲ့ ကွန်ပျူတာပေါ်မှာလည်ပတ်နိုင်တဲ့ AI စွမ်းဆောင်ရည်ကိုပေးအပ်နိုင်ပါတယ်။ အသုံးပြုသူတွေအနေနဲ့ မိမိကွန်ပျူတာထဲက ဖိုင်တွေကို Mistral (သို့မဟုတ်) Llama လို open-source large language model ထဲမှာ dataset တစ်ခုအဖြစ်ချိတ်ဆက်ပြီး မြန်ဆန်ပြီးဆက်စပ်မှုရှိတဲ့ အဖြေတွေကိုတောင်းခံနိုင်မှာဖြစ်ပါတယ်။

Chat with RTX ဟာ .txt၊ .pdf၊ .doc/.docx နဲ့ .xml အပါအဝင် မြောက်များလှတဲ့ဖိုင် format တွေကိုအထောက်အပံ့ပေးပါတယ်။ application မှာ ဖိုင်တွေကိုညွှန်ပြလိုက်တာနဲ့ သူ့ရဲ့ library ထဲကိုစက္ကန့်ပိုင်းအတွင်းတင်ပေးမှာဖြစ်ပါတယ်။

Image: NVIDIA

အသုံးပြုသူအနေနဲ့ YouTube ဗီဒီယိုတွေနဲ့ playlist တွေကအချက်အလက်တွေကိုပါထည့်သွင်းနိုင်ပြီး Chat with RTX ထဲကို ဗီဒီယိုရဲ့ URL တစ်ခုထည့်သွင်းပေးပြီး ဆက်စပ်မေးခွန်းတွေမေးမြန်းနိုင်မှာဖြစ်ပါတယ်။ ဥပမာပြောရရင် သင့်သဘောကျတဲ့ ခရီးသွား vlogger ရဲ့ ဗီဒီယိုတွေကိုအခြေခံပြီး ခရီးသွားအကြံပြုချက်တွေတောင်းခံတာ (သို့မဟုတ်) ထိပ်တန်းပညာရေးဆိုင်ရာအရင်းအမြစ်တွေကို အခြေခံပြီး ကျူတိုရီရယ် နဲ့ ဘယ်လိုလုပ်ရမလဲဆိုတာတွေကို မေးမြန်းတာတွေပြုလုပ်နိုင်မှာဖြစ်ပါတယ်။

Chat with RTX ဟာ RTX GPU အသုံးပြုထားတဲ့ သင့်ကွန်ပျူတာပေါ်မှာသာ လုံးလုံးလျားလျားလည်ပတ်မှာမို့ လျင်မြန်ပြီး သင့်ရဲ့အချက်အလက်တွေဟာ အခြားသူတွေကိုမျှဝေပေးစရာမလိုအပ်ပါဘူး။ Chat with RTX မှာ အခြား cloud အခြေခံ LLM ဝန်ဆောင်မှုတွေမှာလို အခြားသူတွေထံမျှဝေတာ (သို့မဟုတ်) အင်တာနက်ချိတ်ဆက်ထားဖို့ရာမလိုအပ်ပဲ သင့်ရဲ့ အရေးကြီးအချက်အလက်တွေကို ကိုင်တွယ်ဆောင်ရွက်ပေးနိုင်မှာဖြစ်ပါတယ်။

Chat with RTX ကို GitHub ပေါ်မှာရယူနိုင်တဲ့ TensorRT-LLM RAG developer reference project ကနေတည်ဆောက်ထားတာဖြစ်ပါတယ်။ developer တွေအနေနဲ့ ဒီ project ကိုအသုံးချပြီး RTX အတွက် ကိုယ်ပိုင် RAG အခြေခံ application တွေဖန်တီးပြီးဖြန့်ချီနိုင်မှာဖြစ်ပါတယ်။

Chat with RTX ကိုအခမဲ့ရယူနိုင်ပြီး သူ့ကိုအသုံးပြုဖို့ အနည်းဆုံး 8GB VRAM ပါဝင်တဲ့ GeForce RTX 30 Series GPU နဲ့အထက်တပ်ဆင်ထားတဲ့ PC တွေမှာ သုံးစွဲနိုင်မှာဖြစ်ပါတယ်။ အနည်းဆုံး Memory 16GB လိုအပ်သလို OS ပိုင်းအနေနဲ့ Windows 10 (သို့မဟုတ်) Windows 11 လိုအပ်သလို နောက်ဆုံးထွက် NVIDIA GPU driver တွေသွင်းထားဖို့လည်းလိုအပ်ပါတယ်။ ဒေါင်းလုဒ်ရယူရမယ့်ဖိုင်ဆိုဒ်က 35GB ဝန်းကျင်ရှိတာကိုတွေ့ရပါတယ်။

Chat with RTX မှာ သင့်ရဲ့ စက်အတွင်းကအချက်အလက်တွေကိုသာအသုံးပြုမှာမို့ အချို့နေရာတွေမှာ ဖြေဆိုမှုတွေမတိကျတာတွေရှိနိုင်ပါတယ်။ YouTube လင့်တွေထည့်သွင်းပေးမယ်ဆိုရင်လည်း ဗီဒီယိုရဲ့ transcript ကိုအခြေခံဖြေကြားမှာမို့ transcript မှာမပါဝင်တဲ့အကြောင်းအရာကိုသိရှိမှာမဟုတ်လို့ တိကျတဲ့ဖြေကြားမှုကိုမရနိုင်ပါဘူး။

Source: NVIDIA and Digital Trends

#EnThueTech
#News
#AI
#GPU
#Software