The Transformer’s Footprints II
ပြီးခဲ့တဲ့ post မှာဆိုရင် hidden state တွေအကြောင်းကို ရှင်းပြခဲ့ပြီးဖြစ်တဲ့အတွက် ဒီနေ့မှာတော့ Transformer model တွေကို အသုံးမပြုခင် AI industry တစ်ခုလုံးဟာ အခြေနေတစ်ခုရောက်ခဲ့ရင်တောင် (Bottleneck) ရပ်တန့်သွားခြင်းမဖြစ်စေဖို့အတွက် Researchers တွေအနေနဲ့ နောက်ထပ် အဓိကပြဿနာတစ်ခုဖြစ်တဲ့ RNN လို အဆင့်လိုက်တွက်ချက်ရတဲ့ model တွေကို ပိုမိုမြန်ဆန်အောင် ဘယ်လိုလုပ်မလဲဆိုတာပါပဲ။
Model တွေကို ပိုကြီးလာအောင် တည်ဆောက်နိုင်ပေမယ့် တွက်ချက်ရတဲ့ပုံစံက အရင်အတိုင်းပဲဆိုရင် ကြီးမားတဲ့ model တွေကို လက်တွေ့မှာ ထိရောက်စွာ အသုံးပြုဖို့က ခက်လာပါတယ်။ဒီပြဿနာကို ပြေလည်စေဖို့အတွက် researchers တွေက architecture နဲ့ mathematics ပိုင်းမှာ အရေးကြီးတဲ့ နည်းလမ်းနှစ်ခုဖြစ်တဲ့ Factorization Tricks နဲ့ Conditional Computationကို အသုံးပြုခဲ့ကြပါတယ်။
၁။ Factorization Tricks (ကြီးမားတဲ့ Matrix ကို သေးငယ်အောင် ခွဲတွက်ခြင်း)
Factorization ကို နားလည်ဖို့အတွက် အရင်ဆုံး Weight Matrix ဆိုတာ ဘာလဲဆိုတာ သိထားဖို့လိုပါတယ်။Neural Network တစ်ခုကို ရိုးရိုးရှင်းရှင်းကြည့်မယ်ဆိုရင် input data တွေကို တစ်ဆင့်ပြီးတစ်ဆင့် ပြောင်းလဲတွက်ချက်ပြီး နောက်ဆုံး output တစ်ခုထုတ်ပေးတဲ့ system တစ်ခုပါ။
factorization ဆိုတာ သင်္ချာသဘောတရားအရ ဆခွဲကိန်းခွဲခြင်း ဖြစ်ပါတယ်။ဥပမာ 1,000 × 1,000 ရှိတဲ့ matrix တစ်ခုကို တိုက်ရိုက်တွက်ချက်ရမယ်ဆိုရင် တွက်ချက်မှုအရေအတွက်က 1,000,000 အထိ ရှိနိုင်ပါတယ်။Factorization ရဲ့ အဓိကအယူအဆက ဒီလိုကြီးမားတဲ့ matrix တစ်ခုလုံးကို တိုက်ရိုက်တွက်မယ့်အစား ပိုသေးတဲ့ matrix နှစ်ခုအဖြစ် ခွဲပြီး ဆက်စပ်တွက်ချက်တာပါ။
ဥပမာ 1,000 × 1,000 matrix ကို 1,000 × 64 နဲ့ 64 × 1,000 ဆိုပြီး ခွဲနိုင်ပါတယ်။
ဒီအယူအဆကို Software Architecture နဲ့ နှိုင်းယှဉ်ကြည့်ရင် ပိုရှင်းပါတယ်။
User device အခု 1,000 က backend server အခု 1,000 နဲ့ ဆက်သွယ်ရမယ်လို့ စဉ်းစားကြည့်ပါ။ Device တစ်ခုချင်းစီကို server တစ်ခုချင်းစီနဲ့ တိုက်ရိုက်ချိတ်ထားမယ်ဆိုရင် connection ပေါင်း 1,000 × 1,000 ဖြစ်ပြီး စုစုပေါင်း 1,000,000 connections လိုအပ်လာပါလိမ့်မယ်။
အဲဒီအစား အလယ်မှာ router 64 ခုပါတဲ့ central layer တစ်ခု ထည့်လိုက်ရင် device 1,000 ခုက router 64 ခုနဲ့ ချိတ်ဆက်ပြီး၊ အဲဒီ router 64 ခုကနေ server 1,000 ခုဆီ ဆက်သွယ်နိုင်ပါတယ်။ဒါဆို connection အရေအတွက်က 1,000 × 64 + 64 × 1,000 = 128,000 ပဲ ရှိတော့မှာပါ။
အဓိက idea ကတော့ ကြီးမားတဲ့ computation တစ်ခုကို အလယ်မှာ သေးငယ်တဲ့ representation တစ်ခုခံပြီး ခွဲတွက်ခြင်းအားဖြင့် computational cost နဲ့ memory requirement ကို လျှော့ချဖို့ပါ။ဒါကြောင့် မော်ဒယ်လ်ဟာ Memory အသုံးပြုမှု သက်သာသွားပြီး သိသိသာသာ ပိုမိုမြန်ဆန်စွာ အလုပ်လုပ်နိုင်သွားပါတယ်။
Get MR ROBOT’s stories in your inbox
Join Medium for free to get updates from this writer.
Model တွေဟာ Data တွေကို Process လုပ်ဖို့ Weight Matrices တွေကို အသုံးပြုပါတယ်။ weight matrix ဆိုတာ မြင်သာအောင်ပြောရရင် hidden state တွေနဲ့ input data တွေကို ပေါင်းစပ်ပြီး တွက်ချက်ဖို့ အသုံးပြုတဲ့ algorithm တစ်ခုဖြစ်ပါတယ်။
၂။ Conditional Computation (လိုအပ်တဲ့နေရာကိုပဲ တွက်ခိုင်းခြင်း)
ပုံမှန် neural network တစ်ခုမှာ input တစ်ခုဝင်လာတိုင်း model ရဲ့ အစိတ်အပိုင်းအများစုကို ဖြတ်သန်းပြီး တွက်ချက်ရပါတယ်။ Model က ပိုကြီးလာလေလေ ဒီလို computation အားလုံးကို input တိုင်းအတွက် ပြန်လုပ်ရတာက မထိရောက်တော့ပါဘူး။ဒီပြဿနာကို ဖြေရှင်းဖို့ အသုံးပြုခဲ့တဲ့ architecture တစ်ခုကတော့ Mixture of Experts (MoE) ဖြစ်ပါတယ်။
သူ့ရဲ့ လုပ်ဆောင်ပုံက အောက်ပါအတိုင်း ဖြစ်ပါတယ် -
- Mixture of Experts (MoE): ဧရာမ Network ကြီးတစ်ခုတည်းအဖြစ် တည်ဆောက်မယ့်အစား၊ AI ကို ကျွမ်းကျင်မှု နယ်ပယ်အသီးသီး ခွဲခြားထားတဲ့ Sub-networks လေးများ (Experts) အဖြစ် ပိုင်းခြားလိုက်ပါတယ်။
- Gating Network: သူကတော့ ရှေ့တံခါးဝကနေ အလိုအလျောက် နေရာချထားပေးမယ့် Dispatcher (သို့မဟုတ်) Smart Load Balancer အဖြစ် တာဝန်ယူပါတယ်။
နားလည်အောင်ရှင်းပြရရင် ဆောက်လုပ်ရေး လုပ်ငန်းခွင်တစ်ခု လည်ပတ်ပုံကို မျက်လုံးထဲမြင်အောင် ကြည့်လိုက်ပါ။လုပ်ငန်းခွင်မှာ ဘိလပ်မြေဖျော်တဲ့သူတွေ၊ ဆောက်လုပ်ရေးလုပ်သားတွေ၊ architect တွေ၊ engineer တွေရှိမယ်။ သူတို့တွေက ၎င်းတို့နဲ့သက်ဆိုင်ရာ နယ်ပယ်အလိုက် ကျွမ်းကျင်စွာ တာဝန်တွေခွဲယူထားကြတာကို MOE (Mixture of Experts) လို့ခေါ်ပါတယ်။
ဒါပေမယ့် သူတို့ကို နေရာချထားပေးမယ် (dispatcher) တစ်နည်းအားဖြင့် အလုပ်သမားခေါင်းကိုတော့ Gating Network အဖြစ် ယူဆလို့ရပါတယ်။
ဒီလိုမျိုး ခွဲခြမ်းစိတ်ဖြာပြီး Task တစ်ခုအတွက် လိုအပ်တဲ့ System ရဲ့ အစိတ်အပိုင်း အနည်းငယ်ကိုသာ အသက်သွင်းခြင်းအားဖြင့် သုတေသီတွေဟာ အလွန်ကြီးမား၊ ထက်မြက်ပြီး လျင်မြန်စွာ အလုပ်လုပ်နိုင်တဲ့ AI မော်ဒယ်လ်ကြီးတွေကို တည်ဆောက်နိုင်ခဲ့ကြပါတယ်။
ဒီ Architecture နှစ်ခုစလုံးဟာ Computational efficiency အတွက် ကောင်းမွန်ခဲ့ပေမယ့်၊ အဓိကကျတဲ့ ပြဿနာကိုတော့ ကျော်လွှားနိုင်ခဲ့ခြင်း မရှိခဲ့ပါဘူး။
Factorization က ဘယ်လောက်ပဲ မြန်ဆန်နေပါစေ၊ Gating Network က ဘယ်လောက်ပဲ တိကျနေပါစေ၊ RNN မော်ဒယ်လ်တစ်ခုဟာ စာကြောင်းတစ်ကြောင်းကို စကားလုံး တစ်လုံးချင်းစီ အစဉ်လိုက် ဖတ်ရှုနေရဆဲ ဖြစ်ပါတယ်။ စကားလုံးအမှတ်စဉ် ၉၉ ကို Process လုပ်မပြီးဘဲ စကားလုံးအမှတ်စဉ် ၁၀၀ ကို ဆက်လက် Process လုပ်လို့ မရပါဘူး။
ဒီ “Sequential Constraint” ဆိုတဲ့ Bottleneck ကြောင့်ပဲ သုတေသီတွေဟာ မော်ဒယ်လ်ဟောင်းတွေကို လုံးဝစွန့်ပစ်ခဲ့ပြီး၊ စကားလုံးအားလုံးကို တစ်ချိန်တည်း တစ်ပြိုင်နက်တည်း Process လုပ်နိုင်မယ့် Attention Mechanism အသစ်ကို တီထွင်ဖန်တီးခဲ့ကြခြင်း ဖြစ်ပါတော့တယ်။
Author — MR ROBOT (Myanmar Refining Operations & Building Optimus Technica)
