Մշակողները կարող են ներբեռնել մոդելի պահպանված տարբերակը կամ փորձել ցուցադրական տարբերակը, ապա մեկ մոդելով վերծանել ու թարգմանել խոսքը, տարբերակել խոսողներին և պատասխաններ ստանալ ձայնագրությունների մասին հարցերին։
NVIDIA-ն հոկտեմբերի 28-ին թողարկել է Nemotron 3.5 Transcribe-ը՝ մշակողներին տրամադրելով ներբեռնվող խոսքային մոդել, որը վերծանում և թարգմանում է խոսքը, տարբերակում խոսողներին ու պատասխանում ձայնագրությունների մասին հարցերին։ Դրան ուղեկցող Granary v2-ի հրապարակային ցանկերը ներառում են մոտ 463 062 ժամ ձայնագրություն, իսկ թողարկված գործիքներով մոդելը կարելի է հարմարեցնել մասնագիտական խոսքին։
NVIDIA-ի պնդմամբ՝ մոդելը փոխարինում է աշխատանքային գործընթացին, որի համար խոսքի վերծանման, խոսողների տարբերակման և թարգմանության առանձին մոդելներ են անհրաժեշտ։ Մշակողները մոդելին պարզ լեզվով հրահանգներ են տալիս, օրինակ՝ խնդրում են վերծանել խոսքը՝ նշելով խոսողներին, կամ կազմել հանդիպման ընթացքում ընդունված որոշումների ցանկը։
SiliconANGLE-ը հայտնել է, որ Hugging Face-ում հասանելի են մոդելի ներբեռնվող պահպանված և ցուցադրական տարբերակները։ Բաց կշիռները մշակողներին հասանելի են դարձնում մոդելի ուսուցված պարամետրերը՝ թույլ տալով այն գործարկել ու հարմարեցնել, այլ ոչ միայն օգտվել հեռավար ծառայությունից։ NVIDIA-ի խոսքով՝ մշակողները կարող են ընտրել՝ ձայնագրությունները մշակել տեղային սարքո՞ւմ, թե՞ ամպային համակարգում։
Granary v2-ն ընդլայնում է մոդելը հարմարեցնելու համար հասանելի խոսքային տվյալների ծավալը։ The Decoder-ը ներկայացնում է տվյալների ամբողջ հավաքածուի ծավալը, իսկ The New Stack-ը նկարագրում է հրապարակային ցանկերում ընդգրկված ավելի փոքր ծավալը։ Այդ ցանկերը ցույց են տալիս, թե որ ձայնագրություններն են ներառված թողարկման մեջ։
W27-ը պահպանել է Galaxy Z Fold 8 Ultra-ի հիմնական սարքավորումները։ Այն հասանելի է մուգ կարմիր կամ մուգ կապույտ գույներով, ոսկեգույն շեշտադրումներով և երկու տարբերակում էլ ունի 16 ԳԲ օպերատիվ հիշողություն։
2 րոպե
| Ձայնագրությունների տևողությունը՝ ժամերով |
|---|
| Լեզուներ |
|---|
| Ընդգրկում |
|---|
| Granary v1 | Մոտ 643 000 | 25 | Նախորդ տվյալների հավաքածուի ամբողջ ծավալը |
| Granary v2 | Մոտ 844 000 | 48 | Տվյալների հավաքածուի ամբողջ ծավալը |
| Granary v2-ի հրապարակային ցանկերը | Մոտ 463 062 | 48 | Հրապարակային ցանկեր՝ աղբյուրների 16 հավաքածուից |
Ո՛չ հրապարակային ցանկերի, ո՛չ էլ տվյալների ամբողջ հավաքածուի ծավալը չի նկարագրում Transcribe-ի ուսուցման տվյալների ամբողջ կազմը կամ յուրաքանչյուր աղբյուրից օգտագործված տվյալների համամասնությունը։ NVIDIA-ի խոսքով՝ թողարկված հավաքածուն ամբողջությամբ չի համապատասխանում մոդելի ուսուցման տվյալներին։
Granary-ն առաջարկում է վերծանման ձևաչափեր, որոնք կարող են պահպանել «ըմ»-ի նման դադարները լրացնող հնչյունները, արտասանված թվերը ներկայացնել թվանշաններով կամ հեռացնել լրացնող հնչյունները։ NVIDIA-ն թողարկել է նաև տվյալների նախապատրաստման բազմակի օգտագործման համակարգ, որով մշակողները կարող են մշակել իրենց ձայնագրությունները՝ նախքան մոդելը հարմարեցնելը։
NVIDIA-ի խոսքով՝ Transcribe-ը մշակում է մինչև մեկ ժամ տևողությամբ ձայնագրություններ, ինչպես մանրամասնել է TechCrunch-ը։ Այն աշխատում է ձայնագրված նյութի, ոչ թե ուղիղ հեռարձակման հետ։ Խոսքի վերծանման համար հասանելի 40 լեզուները հավասարապես չեն ընդգրկվում բոլոր գործառույթներում։
| Առաջադրանք | Ընդգրկում |
|---|---|
| Խոսքի վերծանում | 40 լեզու, այդ թվում՝ յոթ հնդկական լեզու |
| Թարգմանություն | 31 լեզվից անգլերեն և անգլերենից այդ լեզուներով |
| Խոսողների տարբերակում | 13 լեզու, մինչև ութ խոսող |
| Ձայնագրության մասին հարցեր | Ուսուցանվել է անգլերենով |
Վերլուծություն
Transcribe-ը 30 միլիարդ պարամետր ունեցող մասնագիտացված բաղադրիչների համակցմամբ մոդել է․ մշակման յուրաքանչյուր քայլում այն ակտիվացնում է իր ուսուցված թվային պարամետրերի միայն մի մասը։ NVIDIA-ն նշում է մոտ 4,3 միլիարդ ակտիվ պարամետր։
NVIDIA-ն հաստատում է, որ կշիռները Hugging Face-ից կարելի է ներբեռնել BF16, FP8 և NVFP4 ձևաչափերով, որոնք տարբերվում են թվային ճշգրտության մակարդակով։ Աջակցվող սարքավորումների թվում են RTX Spark և DGX Spark համակարգերը, Jetson AGX Thor սարքերը և GeForce RTX 5090 գրաֆիկական պրոցեսորները։ NVIDIA-ի խոսքով՝ մոդելը կարող է աշխատել մեկ գրաֆիկական պրոցեսորով, իսկ կախված սեղմման աստիճանից՝ այն կարելի է գործարկել նաև տվյալների կենտրոնների Blackwell սարքավորումներով։
NVIDIA-ի պնդմամբ՝ NVFP4 ճշգրտությամբ աշխատող Blackwell Server Edition գրաֆիկական պրոցեսորը, մոդելը սկզբնական չափի մեկ քառորդին հասցնելու դեպքում, կարող է 100 ժամ ձայնագրությունը մշակել երեք րոպեից պակաս ժամանակում։ Մշակման արագության այս ցուցանիշը չի փոխում մեկ առանձին ձայնագրության համար սահմանված մեկ ժամվա սահմանափակումը։
NVIDIA-ի պնդմամբ՝ Transcribe-ը նաև առաջին տեղն է զբաղեցնում Hugging Face-ի Open ASR վերծանման վարկանիշային ցանկում և երկրորդը՝ Artificial Analysis-ի բաց կշիռներով մոդելների շարքում։ Այս դիրքերն ընկերության ներկայացրած կատարողականի համեմատություններն են։
Վերլուծություն
Մշակողները կարող են հրահանգի մեջ բժշկական կամ այլ մասնագիտական եզրեր տրամադրել։ Լրացուցիչ ուսուցումն ավելին է ենթադրում․ մոդելն ուսուցանվում է որոշակի ոլորտի օրինակներով։ NVIDIA-ն այս մոտեցումը փորձարկել է հնդիկ բժիշկների և բժշկության ուսանողների ձայնագրություններով՝ հարմարեցման համար հիմնականում օգտագործելով սինթետիկ խոսք։
NVIDIA-ի ուսումնասիրությունն առանձնացնում է ամբողջ փորձարկման հավաքածուի արդյունքներն այն խոսողների փորձարկումներից, որոնց ձայնագրությունները չեն օգտագործվել հարմարեցման համար։ Մասնագիտական փորձարկումը կատարվել է հնդկական բժշկական խոսքի Eka Care փորձարկման հավաքածուով։ Բառային սխալի ցուցանիշը չափում է բաց թողնված, ավելացված կամ փոխարինված բառերը․ որքան ցածր է այն, այնքան լավ։
| Փորձարկման խումբ | Պայման | Բառային սխալի ցուցանիշ |
|---|---|---|
| Բժշկական փորձարկման ամբողջ հավաքածու | Ելակետային արդյունք | 30,8% |
| Բժշկական փորձարկման ամբողջ հավաքածու | Ավելի ճշգրիտ հրահանգ | 23,8% |
| Բժշկական փորձարկման ամբողջ հավաքածու | Մասնագիտական լրացուցիչ ուսուցումից հետո | 11,8% |
| Հարմարեցման համար չօգտագործված խոսողներ | Լավագույն հրահանգ | 22,44% |
| Հարմարեցման համար չօգտագործված խոսողներ | Մասնագիտական լրացուցիչ ուսուցումից հետո | 12,17% |
NVIDIA-ի խոսքով՝ հարմարեցման համար չօգտագործված խոսողների դեպքում ցուցանիշը նվազել է 45,8%-ով՝ լավագույն հրահանգով ստացված արդյունքի համեմատ։ Հարմարեցման ամբողջ գործընթացը մեկ NVIDIA GB300-ով պահանջել է մոտ 14 գրաֆիկական պրոցեսոր-ժամ հաշվողական աշխատանք։
The Decoder-ը հայտնել է, որ հարմարեցված մոդելի սխալի ցուցանիշը փոքր-ինչ բարձրացել է ընդհանուր անգլերեն խոսքի դեպքում, իսկ բժշկական խոսքի առանձին մոդելն ավելի ճշգրիտ է մնացել բրենդային դեղամիջոցների անունները վերծանելիս։ NVIDIA-ն խորհուրդ է տալիս հարմարեցված տարբերակը փորձարկելու համար առանձնացնել առնվազն 100 իրական, ստուգված ձայնագրություն և ընտրողաբար ստուգել անունները, խոսողների փոփոխություններն ու պատասխանները։
Արբանյակային օպերատորը 2027–2034 թվականների ներդրման դիմաց ակնկալում է օգտվել OneWeb-ի ներկայիս թողունակությունից ավելի քան կրկնակի հզորությունից։ IRIS²-ի առաջին ծառայությունները սպասվում են 2030 թվականից։
3 րոպե
Սև, ոսկեգույն և կանաչ տարբերակի նախնական պատվերները սպառվել էին սեպտեմբերին։ Թողարկման օրը Nintendo-ի համալրած պաշարները նույնպես արագ սպառվել են։
1 րոպե
