Բարձր թողունակությամբ ֆլեշ հիշողությունը կարող է արագացնել գերբանականության մոդելներով հարցումների սպասարկումը՝ ըստ մոդելավորումների


Բերքլիի Կալիֆոռնիայի համալսարանի և FuriosaAI-ի նախնական գիտական հրապարակումն ուսումնասիրում է ԳԲ-ի՝ կրկին օգտագործվող համատեքստը պահելու եռաստիճան համակարգը՝ հաշվի առնելով էներգասպառման և դիմացկունության փոխզիջումները։
Մեծ լեզվային մոդելներ աշխատեցնող համակարգերը կարող են առաջադրանքներն ավելի շուտ ավարտել, եթե դրանցում ավելացվի բարձր թողունակությամբ ֆլեշ հիշողություն։ Սա բխում է Բերքլիի Կալիֆոռնիայի համալսարանի և FuriosaAI-ի հետազոտողների մոդելավորումներից։ Նրանց՝ 2026 թ․ սեպտեմբերի նախնական գիտական հրապարակումը համեմատում է լրացուցիչ ֆլեշ հիշողությամբ համակարգերը միայն բարձր թողունակությամբ օպերատիվ հիշողություն օգտագործող համակարգերի հետ։
Հոկտեմբերի 2-ին Semiconductor Engineering-ը ներկայացրել է «Բարձր թողունակությամբ ֆլեշ հիշողության բնութագրումը մեծ լեզվային մոդելներով հարցումների սպասարկման համար» աշխատանքը։ Հետազոտողներն օգտագործել են աշխատանքային ակտիվության գրանցումների վրա հիմնված մոդելավորումներ, որոնք նկարագրում են համակարգի վարքագիծը, ոչ թե գործող համակարգերում կատարված չափումներ։ Semiconductor Engineering-ի հրապարակումն արդյունքների անկախ հաստատում չի նշում։
Մեծ լեզվային մոդելով հարցումների սպասարկումը նշանակում է աշխատեցնել մոդելը՝ հարցումներին պատասխանելու համար։ Դրա համար հիշողություն է անհրաժեշտ՝ պահելու մոդելի կշիռները՝ այն սահմանող թվային արժեքները, և բանալի–արժեք քեշը (KV cache)։ Քեշում պահվում են միջանկյալ տվյալներ, որոնք կարելի է կրկին օգտագործել համատեքստը մշակելիս։ Հետազոտողների գնահատմամբ՝ մոդելների և համատեքստերի մեծացման հետ համակարգի աշխատանքն ավելի ու ավելի են սահմանափակում թե՛ հիշողության տարողությունը, թե՛ թողունակությունը՝ տվյալների փոխանցման արագությունը։
Գերբանականություն (ԳԲ) գործակալների առաջադրանքները ներառում են մոդելի հետ կրկնվող փոխազդեցություններ՝ աստիճանաբար մեծացող համատեքստով։ Հետազոտողների խոսքով՝ այդ պատճառով ավելի կարևոր է դառնում KV քեշի վիճակը կրկին օգտագործելու համար պահպանելը, ինչն ավելացնում է հարցումները սպասարկող համակարգի հիշողության բեռը։

Տվյալների պահպանման առաջարկվող աստիճանակարգը ներառում է բարձր թողունակությամբ օպերատիվ հիշողություն (HBM), բարձր թողունակությամբ ֆլեշ հիշողություն (HBF) և հիմնական համակարգիչը։ Ֆլեշ հիշողությունն ավելացնում է մոդելն աշխատեցնող արագացուցիչին հասանելի տվյալների պահպանման տարողությունը, սակայն դրան դիմելը ծախսեր ունի, և այն կարող է դիմանալ միայն սահմանափակ ծավալի գրառումների։ Հետազոտողներն այս աստիճանակարգը համադրում են բուֆեր օգտագործող և քեշի վիճակը հաշվի առնող աշխատանքների պլանավորման հետ։ Այս մոտեցմամբ աշխատանքները պլանավորելիս հաշվի են առնվում քեշում պահպանված տվյալները։
| Ցուցանիշ | Հաղորդված արդյունք | Պայմաններն ու սահմանափակումները |
|---|---|---|
| Առաջադրանքների ավարտման ժամանակը | 36,1–87,0% նվազում | Գնահատված ծանրաբեռնվածությունների դեպքում HBF-ով համալրված ամենաարագ համակարգերում՝ միայն HBM օգտագործող համակարգերի համեմատ |
| Էներգասպառում | Մոդելավորմամբ հաշվարկված խնայողությունը՝ մինչև 55,8% | Որոշ փոքր ծանրաբեռնվածությունների դեպքում HBF-ն ավելացրել է էներգասպառումը |
| HBF-ի ծառայության ժամկետը՝ ըստ գրառումների դիմացկունության | Գնահատված աճ՝ 4,77 տարուց մինչև 14,82 տարի | Գնահատված կազմաձևում՝ բուֆեր օգտագործող և քեշի վիճակը հաշվի առնող աշխատանքների պլանավորմամբ |
Արդյունքները չեն ցույց տալիս, որ ֆլեշ հիշողություն ավելացնելը բոլոր դեպքերում միատեսակ օգուտ է տալիս։ Հետազոտողները եզրակացնում են, որ տվյալների պահպանման վայրի ընտրությունն ու աշխատանքների պլանավորումը պետք է համաձայնեցնել։ Դա անհրաժեշտ է հարցումների սպասարկման արդյունավետությունը բարձրացնելու և միաժամանակ ֆլեշ հիշողության՝ գրառումների դիմացկունությամբ պայմանավորված ծառայության ժամկետը գործնականում ընդունելի պահելու համար։
Դեռ պարզ չէ, թե այս բարելավումները ծանրաբեռնվածության ինչ չափերի, սարքավորումների վերաբերյալ ինչ ենթադրությունների և աշխատանքների պլանավորման ինչ մանրամասն կանոնների վրա են հիմնված։ Այդ պայմանները կարևոր են գնահատելու համար, թե հարցումների սպասարկման որ իրական համակարգերը կարող են օգուտ ստանալ, և արդյոք գործող համակարգում կկրկնվեն մոդելավորմամբ ստացված բարելավումները։
Draup-ի վերլուծությունը վկայում է պահանջարկի մասին այն աշխատողների նկատմամբ, որոնք համատեղում են ԳԲ-ի ինժեներական հմտությունները, բանկային գործառնությունների իմացությունը և կարողանում են որոշել՝ երբ է անհրաժեշտ մարդու վերահսկողությունը։
3 րոպե

Նշված գործիքները թույլ կտային տվյալները պահել ավելի հասանելի վիճակում՝ հետագա ուսումնասիրության համար, նույնիսկ վերագործարկումից հետո։ Դրանց արդյունավետությունը iOS-ի ներկայիս տարբերակներում մնում է անհայտ։
3 րոպե

Դատարանից ստացված տեսագրությունները ցույց են տալիս, թե շերիֆի տեղակալն ինչպես է վարորդի հիշածը համեմատել վարձակալած մեքենայի՝ ժամերով ու ամսաթվերով գրանցված տեղաշարժերի հետ։ Որոշումը վերաբերում է մեկ քրեական գործի, ոչ թե ամբողջ երկրի համարանիշների ընթերցման համակարգերին։
4 րոպե
Ուղղում ·
Կիրառվել է խմբագրական ոճը՝ գերբանականություն (ԳԲ)՝ արհեստական բանականության փոխարեն․ հայերեն կետադրություն, ամսաթվերի և գումարների ձևեր։
Ուղղում ·
Հայերեն տեքստում շտկվել են ուղղագրական և կետադրական սխալներ։
Ուղղում ·
Ճշգրտվել է ձևակերպումը․ անկախ հաստատման բացակայությունն այժմ վերագրվում է Semiconductor Engineering-ի հրապարակմանը։