Hugging Face-ը թողարկել է Qwen-ի ադապտերներ երեք ծրագրավորման գործակալի համար


Ընկերության խոսքով՝ մտածողության ռեժիմն անջատած վեց թեստում միավորված ադապտերի առաջին փորձով հաջողության միջին ցուցանիշը 39,5%-ից հասել է 49,0%-ի՝ մշակողներին տալով սեփական խնդիրների վրա փորձարկելու ևս մեկ տարբերակ։
Hugging Face-ը թողարկել է Qwen3.8-27B գերբանականության (ԳԲ) մոդելի երեք ադապտեր, որոնցից յուրաքանչյուրը վարժեցվել է ծրագրավորման գործակալի տարբեր միջավայրի համար։ Ընկերությունը թողարկել է նաև միավորված ադապտեր, որն աշխատում է երեք միջավայրերում էլ։ Այդ միջավայրը ծրագրային համակարգ է, որը կառավարում է գործակալի աշխատանքը գործիքների և առաջադրանքների հետ։ Թողարկումը հիմնված է Hugging Face-ի սեփական փորձարկումների վրա։
Ադապտերները նախատեսված են Pi, Hermes Agent և OpenCode միջավայրերի համար։ Hugging Face-ի նախորդ փորձերը ներառում էին տվյալների վերլուծություն և կոդի ստեղծում, իսկ նոր աշխատանքում ավելի մեծ մոդելը փորձարկվել է ծրագրային ճարտարագիտության ավելի բարդ առաջադրանքներով։ Qwen-ը Alibaba Cloud-ի Qwen Team-ի մշակած մոդելների ընտանիք է։
Իր հրապարակման մեջ Hugging Face-ը հայտնել է, որ մտածողության ռեժիմն անջատած՝ միավորված տարբերակը գերազանցել է բազային մոդելին միջավայրի և թեստի բոլոր վեց համակցություններում։ Միևնույն լռելյայն ջանքի մակարդակով մտածողությունը միացնելու դեպքում ընկերությունը հայտնել է հաջողության 63,5% միջին ցուցանիշի մասին՝ բազային մոդելի 55,5%-ի դիմաց։ Միավորված ադապտերն առաջատար է եղել հինգ համակցությունում, իսկ մեկում արդյունքները հավասար են եղել։ Մտածողության ռեժիմը թույլ է տալիս մոդելին աշխատանքի ընթացքում դատողություններ ձևակերպել, թեև առանձին միջավայրերի համար նախատեսված ադապտերները վարժեցվել են անջատած ռեժիմով։
Ընկերությունը յուրաքանչյուր փորձարկման ընթացքում մեկական անգամ փորձել է կատարել Terminal-Bench 2.1-ի բոլոր 89 և SWE-bench Pro-ի 51 ամենաբարդ առաջադրանքները։ Աղյուսակում համեմատված են միայն այն առաջադրանքները, որոնք յուրաքանչյուր միջավայրի բոլոր փորձարկումներում գնահատվել են՝ Terminal-Bench-ի դեպքում 82–85, իսկ SWE-bench Pro-ի դեպքում՝ 50–51 առաջադրանք։ Hugging Face-ի խոսքով՝ ընտրանքները փոքր են, և առանձին տողերի մեծ մասի տարբերությունները վիճակագրական տատանումների սահմաններում են, թեև համախմբված արդյունքների դեպքում այդպես չէ։
| Թեստ և միջավայր | Բազային մոդել | Մասնագիտացված ադապտեր | Միավորված ադապտեր | Բազային մոդել՝ մտածողությունը միացրած | Միավորված ադապտեր՝ մտածողությունը միացրած |
|---|---|---|---|---|---|
| Terminal-Bench 2.1 · Pi | 40,0% | 56,5% | 48,2% | 52,9% | 57,6% |
| Terminal-Bench 2.1 · Hermes Agent | 44,7% | 58,8% | 55,3% | 58,8% | 63,5% |
| Terminal-Bench 2.1 · OpenCode | 47,6% | 52,4% | 52,4% | 54,9% | 58,5% |
| SWE-bench Pro · Pi | 40,0% | 64,0% | 46,0% | 74,0% | 74,0% |
| SWE-bench Pro · Hermes Agent | 29,4% | 43,1% | 47,1% | 45,1% | 60,8% |
| SWE-bench Pro · OpenCode | 35,3% | 51,0% | 45,1% | 47,1% | 66,7% |
Hugging Face-ն ադապտերների միավորման կշիռն ընտրել է Terminal-Bench-ի ավելի վաղ արդյունքների հիման վրա։ Ընկերության խոսքով՝ այդ պատճառով Terminal-Bench-ի ցուցանիշները փոքր-ինչ լավատեսական են, իսկ SWE-bench Pro-ի արդյունքները կշիռն ընտրելիս չեն օգտագործվել։ Մտածողությունն անջատած մեկ միջավայր օգտագործող մշակողներին ընկերությունը խորհուրդ է տալիս տվյալ միջավայրի մասնագիտացված ադապտերը, որը վեց զույգից չորսում միավորված ադապտերից բարձր հաջողության ցուցանիշ է ունեցել։
Մտածողությունն անջատած և՛ բազային, և՛ միավորված մոդելի լուծած առաջադրանքներում միավորված ադապտերը, Hugging Face-ի խոսքով, յուրաքանչյուր առաջադրանքի համար գործիքներին 53–73%-ով քիչ հարցումներ է արել և 44–60%-ով քիչ տոկեն է ստեղծել։ Տոկենները տեքստի այն միավորներն են, որոնք մոդելը մշակում կամ ստեղծում է։ Մտածողությունը միացրած՝ SWE-bench Pro-ում ընկերությունը գրանցել է 31–48%-ով քիչ հարցում և 24–43%-ով քիչ տոկեն, իսկ Terminal-Bench-ում հարցումները նվազել են 19–25%-ով, և տոկենների քանակը մնացել է մոտավորապես նույնը։
Թիմն օգտագործել է LoRA ադապտերներ, որոնք ավելացնում են վարժեցվող բաղադրիչներ՝ բազային մոդելի կշիռները թողնելով անփոփոխ։ Յուրաքանչյուր ադապտեր վարժեցվել է ամրապնդմամբ ուսուցման միջոցով․ այդ մեթոդը վարքը ճշգրտելու համար օգտագործում է առաջադրանքները կատարելու փորձերից ստացված հետադարձ կապը։ Միջավայրերն աշխատել են իրենց սկզբնական, այլ ոչ թե վերաշարադրված տարբերակներով, ուստի վարժեցման համակարգը սովորել է դրանց իրականում ստեղծած տոկեններից։
Hugging Face-ը OpenEnv-ի և Harbor-ի հետ օգտագործել է TRL-ի AsyncGRPOTrainer-ը․ վարժեցման համակարգը կարող է առաջ անցնել՝ չսպասելով գործակալների բոլոր փորձերի ավարտին։ Թիմը ստուգել է առաջադրանքներն ու դրանց գնահատման ստուգումները, բացառել թեստերի առաջադրանքներն ու շտեմարանները և առանձնացրել այն առաջադրանքները, որոնք բազային մոդելը լուծել է որոշ փորձերում, բայց ոչ բոլորում։ Վերջնական պարգևը համադրել է պատասխանի ճշտությունը և գործիքներն արդյունավետ օգտագործելու համար տրվող փոքր հավելավճարը։
Hugging Face-ը միավորված ադապտերը խորհուրդ է տալիս մի քանի միջավայրի կամ մտածողության ռեժիմի հետ աշխատելու համար։ Փորձարկումներում օգտագործվել է 131 072 տոկենանոց համատեքստի պատուհան՝ տեղեկության այն ծավալը, որը մոդելին հասանելի է միաժամանակ, առանց համատեքստի սեղմման։ Hermes Agent-ում և OpenCode-ում մտածողության ռեժիմով երկար աշխատանքային սեանսները երբեմն գերազանցել են այդ սահմանը և ձախողում են գնահատվել թե՛ բազային մոդելի, թե՛ միավորված ադապտերի համար։
Մշակողները կարող են ադապտերները, վարժեցման առաջադրանքներն ու հավելումը ներբեռնել թողարկման հավաքածուից։ Hugging Face-ը նկարագրում է միավորված ադապտերը vLLM-ով կամ llama.cpp-ով գործարկելու, ինչպես նաև LoRA չաջակցող համակարգերի համար այն բազային կշիռներին միացնելու եղանակները։ Դրա GGUF տարբերակը՝ մոդելների գործարկման ձևաչափով, կրկին չի գնահատվել։ Ընկերության խոսքով՝ բազային մոդելի ավելի ցածր բիթայնությամբ տարբերակների վարքը կարող է ավելի շատ շեղվել իր փորձարկածից։
Առանձին համաձայնագիրն ընդգրկում է Մարոկկոյում մինչև 8,78 միլիոն տոննա արտանետումների կրճատումը։ Նորվեգիան կվճարի միայն կրճատումներին հասնելուց, դրանք անկախ ստուգելուց և փոխանցելուց հետո։
2 րոպե

Ցուցանմուշների թվում են ընկերության առաջին առևտրային մարտկոցը և էլեկտրամոբիլից տուն կամ էլեկտրացանց հոսանք փոխանցելու համար նախատեսված լիցքավորիչը։ Enphase-ն առաջիկա տարիներին պլանավորում է փորձարկումներ և մատակարարումներ։
3 րոպե

DigitalOcean-ը հայտնել է, որ շտկել է իր սերվերների խոցելիությունը, և Droplet-ի հաճախորդները որևէ քայլի կարիք չունեն։ Մյուս ազդակիր սերվերների կառավարիչները պետք է տեղադրեն շտկված միջուկ կամ անջատեն ներդրված վիրտուալացումը։
3 րոպե