Runta-ի գնահատմամբ՝ նույն մոդելի ծախսը միջավայրից կախված տարբերվում է 1,8–5,0 անգամ


Նույն մոդելի դեպքում այն գործարկող ծրագրային միջավայրն էականորեն փոխել է մեկ առաջադրանքի միջին ծախսը։ Մոդելը փոխելիս միջավայրերի դիրքերի մեդիան տեղաշարժը 22 տեղից կազմել է 11-ը, իսկ Runta-ի գնահատմամբ՝ գնահատված գործարկումների ծախսի 64,5%-ը բաժին է ընկել անհաջող փորձերին։
Runta-ն և Baseten-ը պարզել են, որ կոդավորման նույն մոդելն օգտագործելիս և այն գործարկող ծրագրային միջավայրը փոխելիս մեկ առաջադրանքի համար մոդելի գործարկման միջին ծախսի ամենաբարձր ցուցանիշն ամենացածրից 1,8-ից 5,0 անգամ ավելի է եղել։ Մոդելի գործարկումն այն գործընթացն է, որով մոդելն արդյունք է ստեղծում։
Այդ ծրագրային միջավայրը, որը նախատեսված է կոդավորման գործակալի համար, մոդելը կապում է աշխատանքային միջավայրին, կառավարում գործիքների կանչերն ու մոդելին տրամադրվող տեղեկությունները։ Runta-ի նախորդ՝ FrontierHarness Eval v1.0 գնահատումը միջավայրերը համեմատել էր միայն Kimi K3-ի միջոցով, իսկ նոր գնահատմանը մոդելներ են ավելացվել՝ պարզելու համար, թե արդյոք համադրության ընտրությունը նշանակություն ունի։
New Stack-ը գրել է, որ նույն մոդելի դեպքում ամենամեծ տարբերությունը գրանցվել է DeepSeek V4.1 Flash-ի հետ․ Cline CLI-ի ծախսը մեկ առաջադրանքի հաշվով հինգ անգամ ավելի է եղել, քան OpenCode v1-ինը, իսկ հաջողության ցուցանիշը՝ երկու տոկոսային կետով բարձր։ Runta-ն հայտնել է, որ մի քանի կետի տարբերությունը փաստացի հավասար արդյունք է, քանի որ հաջողության յուրաքանչյուր ցուցանիշի 95% միջակայքը մոտ ±10 տոկոսային կետ է։
Մոդելը փոխելիս մեկ առաջադրանքի միջին ծախսով կազմված վարկանիշում միջավայրերի դիրքերի մեդիան տեղաշարժը 22 տեղից կազմել է 11-ը։ Երկու օրինակ ցույց է տալիս, թե որքան կտրուկ են փոխվել դրանց դիրքերը․
| Միջավայր | Առաջին մոդելը և տեղը | Երկրորդ մոդելը և տեղը |
|---|---|---|
| Codex CLI | GLM-5.3․ 1-ին | Kimi-K3․ 16-րդ |

OpenAI-ի խոսքով՝ Sales նոր հավելումը և գործընկերների նոր ու ընդլայնված հավելումները կարող են օգնել վաճառքի թիմերին ուսումնասիրել հնարավոր հաճախորդներին, պատրաստել առաջարկներ և թարմացնել հաճախորդների տվյալները։
Համեմատական գնահատումը ներառել է 27 280 գործարկում․ միջավայրերի 22 կազմաձևերից յուրաքանչյուրն աշխատել է հրամանային տերմինալում կատարվող 62 առաջադրանքի վրա՝ բաց կշիռներով հինգ մոդելներից յուրաքանչյուրի հետ։ Ամեն համադրության համար կատարվել է չորս փորձ։ Baseten-ը տրամադրել է GLM-5.3, GLM-5.3 Flash, DeepSeek V4.1 Flash, Muse Spark Open և Kimi-K3 մոդելները։ Բաց կշիռներով մոդելների կշիռները հասանելի են նաև սկզբնական մշակողից դուրս օգտագործելու համար։
Յուրաքանչյուր միջավայր օգտագործվել է իր լռելյայն կարգավորումներով, բոլոր մոդելների հետ՝ նույն տարբերակով ու կարգավորումներով և առավելագույն տրամաբանական ջանքով։ Յուրաքանչյուր փորձ կատարվել է Runta-ի նոր միջավայրում, որը հետո ջնջվել է, ուստի փորձը չի կարողացել օգտվել նախորդ փորձերի ֆայլերից։
Մեկ առաջադրանքի միջին ծախսը որոշելու համար Runta-ն նախ հաշվել է յուրաքանչյուր առաջադրանքի՝ գին ունեցող փորձերի միջին ծախսը, ապա՝ այդ արդյունքների միջինը բոլոր առաջադրանքների համար։ Հաջողված առաջադրանքի ծախսը հաշվարկվել է այդ միջինը հաջողության ցուցանիշի վրա բաժանելով։ Ուստի մեկ փորձի համար էժան միջավայրը կարող է ավելի թանկ արժենալ մեկ հաստատված հաջողության հաշվով, եթե ավելի հաճախ ձախողվի։
Runta-ի գնահատմամբ՝ գնահատված գործարկումների համար մոդելների գործարկման ծախսի 64,5%-ը բաժին է ընկել անհաջող փորձերին․ 52,7%-ը՝ ձախողումներին, 11,8%-ը՝ ժամանակի սահմանը լրացած փորձերին։ Հաջողված գործարկումներին բաժին է ընկել 35,5%-ը։ Գնահատականները հիմնված են Baseten-ի հրապարակած սակագների վրա․ Runta-ն հայտնել է, որ մեկ այլ մատակարարի գներն ու քեշը կարող են փոխել վարկանիշը։
Վերլուծություն
Runta-ն մեկ առաջադրանքի միջին ծախսի տատանումների 92,8%-ը վերագրել է մոդելների միջև տարբերություններին։ Չափման սանդղակում յուրաքանչյուր կրկնապատկում հավասար արժեք է ունեցել։ Նույն մոդելի դեպքում տարբերությունները ստուգելու համար ընկերությունը յուրաքանչյուր մոդելի փորձերը միջավայրերի միջև 300 անգամ պատահականորեն վերաբաշխել է․ դիտարկված բոլոր ծախսային հարաբերակցություններն ավելի մեծ են եղել, քան վերաբաշխումների արդյունքում ստացվածները (p = 0,003)։
Մեկ հաջողված փորձի ընթացքում ավելի շատ քայլերը կապված են եղել մեկ հաջողության ավելի բարձր ծախսի հետ․ կարգային կորելյացիան կազմել է 0,51։ Գին-արդյունք լավագույն հարաբերակցությունն ունեցող հինգ միջավայրերը հիմնականում օգտագործել են հրամանային թաղանթի հրամաններ և քիչ են օգտվել ենթագործակալներից կամ ամփոփումներից, սակայն Runta-ն այդ նախագծային ընտրություններն առանձին չի փորձարկել։ Արդյունքները չեն հաստատում, որ հենց այդ ընտրություններն են հանգեցրել ավելի ցածր ծախսերի։
Runta-ն թիմերին խորհուրդ է տալիս դիտարկվող միջավայրերը փորձարկել իրենց նախատեսած մոդելով՝ սեփական առաջադրանքների բավականաչափ մեծ, ոչ հրապարակային հավաքածուի վրա։ Ընկերությունը նախատեսում է ավելացնել փակ մոդելներ և ուսումնասիրել ամպային համակարգում շարունակաբար գործող միջավայրերը՝ ավելի երկարատև աշխատանքների դեպքում։
1 րոպե

Որոշումը թույլ է տալիս Google-ին գնել լուծարված ավիաընկերության ներքին փաստաթղթերը՝ գաղտնիության լրացուցիչ երաշխիքներին համաձայնելուց հետո։
2 րոպե

Կալիֆոռնիայի տրանսպորտային միջոցների վարչությունը նոյեմբերի 11-ին սահմանափակել է առանց վարորդի մեքենաների երթևեկությունն արագընթաց մայրուղիներով՝ հայտարարելով, որ այն անմիջական վտանգ է հանրային անվտանգության համար։ Waymo-ն հայտնել է, որ ԱՄՆ-ի իր բոլոր շուկաներում դադարեցրել է երթևեկությունն արագընթաց մայրուղիներով՝ աշխատանքի արդյունքները գնահատելու համար։
2 րոպե