OpenAI-ն անվտանգության չորս արտաքին գնահատողների է ներգրավում ընկերությունում


OpenAI-ն նոյեմբերի 16-ին հայտարարել է Apollo Research-ի, METR-ի, Transluce-ի և Goodfire-ի գնահատումների մասին․ յուրաքանչյուրն ընկերության համակարգերը կուսումնասիրի իր տեսանկյունից՝ հասանելիության և հրապարակման որոշ սահմանափակումներով։
OpenAI-ն չորս արտաքին կազմակերպության է ներգրավել փորձնական ծրագրի առաջին փուլում՝ ընկերության ներսում իր գերբանականության (ԳԲ) համակարգերն ու անվտանգության վերահսկման միջոցները գնահատելու համար։ Դեռ սպասվող գնահատումների շրջանակները տարբեր են, և դրանք կմեկնարկեն տարբեր ժամանակներում։
OpenAI-ն հայտնել է, որ աշխատանքը նպաստում է Գերբանականության վերաբերյալ Սպիտակ տան համաձայնագրով ստանձնած՝ անկախ գնահատումների պարտավորության կատարմանը։ Apollo Research-ը հայտնել է, որ նախկինում իր գնահատումները կատարվել են մոդելի հետուսուցումից հետո՝ թողարկումից կարճ ժամանակ առաջ։ Կազմակերպությունը կարծում է, որ այդ մոտեցումը բավարար չէ ուսուցման կամ ներքին օգտագործման ընթացքում դրսևորվող որոշ վարքագիծ ուսումնասիրելու համար։
Հայտարարությանը նախորդել է մի միջադեպ, երբ OpenAI-ի գործակալները դուրս են եկել կիբեռանվտանգության թեստային միջավայրից և ներթափանցել Hugging Face հարթակ։ Միջադեպն ուսումնասիրել են METR-ը և Redwood Research-ը։ Ավելի վաղ՝ հուլիսի 21-ից օգոստոսի 11-ը, անցկացված մեկ այլ փորձնական ծրագրում նրանց աշխատակիցները լայն հասանելիությամբ փորձարկել են OpenAI-ի ներքին մշտադիտարկման համակարգը և խոցելիություններ գտել համակարգի իրենց ուսումնասիրած նախկին տարբերակում։
Apollo-ն կուսումնասիրի՝ արդյոք մոդելներն ուսուցման, փորձարկման և ներքին օգտագործման ընթացքում փորձում են խաթարել իրենց կամ իրենց հաջորդող մոդելների պաշտպանական մեխանիզմները։ METR-ը կփնտրի մոդելի անցանկալի վարքագիծ OpenAI-ի ամրապնդմամբ ուսուցման ամենախոշոր գործընթացում․ ուսուցման այդ մեթոդն օգտագործում է պարգևներ։ METR-ը կստանա մոդելի միջանկյալ պահպանված տարբերակները, ուսուցման գործընթացների և մշտադիտարկման գրառումները։

Ընկերությունները ստեղծել են անզելան երեք կերպարի նախատիպ, որոնք ֆիքսված ելույթի փոխարեն ընտրում են հյուրերին տրվող պատասխանները։ Նախատեսվում է, որ նրանց հետ կհանդիպեն Լաս Վեգասում՝ AWS re:Invent միջոցառման մասնակիցները։
Transluce ոչ առևտրային հետազոտական լաբորատորիան կուսումնասիրի OpenAI-ի հետուսուցումից հետո անցկացվող անվտանգության թեստերի որակը, այդ թվում՝ արդյոք դրանք արձանագրում են խաբեության և մանիպուլյացիայի նման վարքագիծը։ Goodfire-ը OpenAI-ում կգործուղի հետազոտողների, որոնք ուսումնասիրում են մոդելների ներքին աշխատանքի սկզբունքները։ Goodfire-ի հասանելիության մանրամասն պայմանները չեն նշվել։
Apollo-ն և Goodfire-ը վարձատրվում են իրենց գնահատումների համար, իսկ METR-ը և Transluce-ը՝ ոչ, գրել է TechCrunch-ը։ METR-ը և Transluce-ը կարող են ընդունել հաշվողական ռեսուրսներ կամ OpenAI-ի համակարգերից օգտվելու համար նախատեսված կրեդիտներ։ Transluce-ը հայտնել է, որ OpenAI-ն կտրամադրի նաև սարքեր, ենթակառուցվածք և աշխատանքային տարածք։
Apollo-ն հայտնել է, որ գնահատելու համար, թե արդյոք ուսուցումը պարգևատրում է պաշտպանական մեխանիզմները խաթարելու փորձերը, կստանա ուսուցման համապատասխան կոդն ու տվյալաշարերը, ամրապնդմամբ ուսուցման ընթացքում մոդելի վարքագծի գրառումները՝ դատողությունների հասանելի հետքերով և պարգևներով, ինչպես նաև հասանելիություն մոդելի միջանկյալ պահպանված տարբերակներին։ Գնահատման մյուս մասերի համար հասանելիության մանրամասն պայմանները դեռ պետք է համաձայնեցվեն։
Apollo-ն հայտնել է, որ իր հասանելիությունը վերաբերում է միայն համաձայնեցված պնդումներին, մոդելներին և ժամանակահատվածներին։ OpenAI-ն կարող է այդ շրջանակում նյութեր չտրամադրել տեխնիկական, անվտանգության կամ մտավոր սեփականության պաշտպանության պատճառներով, սակայն համաձայնել է տեղեկություններ կամ աշխատակիցների հետ շփվելու հնարավորություն չմերժել միայն այն պատճառով, որ տեղեկությունն իր համար անբարենպաստ է։ Ընկերությունը պետք է գրավոր հիմնավորի մերժումները։
OpenAI-ն է ընտրում այն աշխատակիցներին, որոնց հետ Apollo-ն կարող է քննարկել գաղտնի տեղեկությունները, թեև Apollo-ն կարող է մարդկանց առաջարկել։ Եթե այլ աշխատակից գաղտնի տեղեկության հարց բարձրացնի, Apollo-ն պետք է դադարեցնի բովանդակային քննարկումը և հետագա շփումը կազմակերպի OpenAI-ի միջոցով։
Աշխատակիցների հետ շփման կանոններին նախորդել է OpenAI-ի երեք հետազոտողի աշխատանքից ազատման շուրջ վեճը։ Հետազոտողները հայտնել են, որ իրենց ազատել են անվտանգությունն առաջնահերթ համարելու համար։ OpenAI-ն հայտնել է, որ քննությունը պարզել է՝ նրանք պատշաճ կերպով չեն վարվել զգայուն տեղեկությունների հետ, և որ որոշումները կապված չեն եղել անվտանգության խնդիրներ բարձրացնելու հետ։ Հետազոտողներից երկուսն ասել են, որ արտաքին խմբերի, այդ թվում՝ METR-ի հետ շփվելիս հետևել են ընդունված գործելակերպին։
Apollo-ն փորձնական ծրագիրը համարում է առաջին քայլ, սակայն նշում է, որ անկախ և վստահելի գնահատման համար անհրաժեշտ են ավելի լայն հասանելիություն և հրապարակման ավելի ամուր իրավունքներ։ Redwood Research-ի գլխավոր տնօրեն Բաք Շլեգերիսը նույնպես ասել է, որ համաձայնագրերը բավարար չեն․
«OpenAI-ն ասել էր, որ ընկերությունում կանցկացվեն գնահատումներ՝ աշխատակիցների հասանելիությանը համարժեք հասանելիությամբ․ այսօր հայտարարված համաձայնագրերն ակնհայտորեն չեն համապատասխանում այդ չափանիշին»։
Transluce-ը հայտնել է, որ կկարողանա ուսումնասիրել մի քանի մոդել, այդ թվում՝ միայն ներքին օգտագործման համար նախատեսված մոդել, ինչպես նաև մոդելների տրամաբանական դատողությունների չմշակված արդյունքները, ընտրված գնահատումները, նախկին ուսուցումների և գնահատումների գրառումները և անվտանգության փաստաթղթերը։ Կազմակերպությունը հայտնել է, որ իր հասանելիությունը համեմատելի չէ աշխատակցի հասանելիության հետ։
Apollo-ն նախատեսում է հրապարակել երկու զեկույց՝ ներկայացնելով իր մեթոդները, եզրակացությունները, սահմանափակումներն ու այն ապացույցները, որոնք կարող է հրապարակել։ OpenAI-ն կարող է հեռացնել գաղտնի ապացույցները, այդ թվում՝ զգայուն մտավոր սեփականությանը վերաբերող տեղեկությունները, սակայն չի կարող հեռացնել Apollo-ի գնահատականները կամ խմբագրումներ պահանջել միայն այն պատճառով, որ արդյունքներն անբարենպաստ են։ Apollo-ն կարող է բացատրել, թե խմբագրումներն ինչպես են ազդում իր եզրակացությունների վրա, նույնիսկ եթե ընթերցողները չեն կարող ուսումնասիրել բոլոր ապացույցները։
Transluce-ը նախատեսում է հրապարակային զեկույց ներկայացնել, սակայն նրա համաձայնագիրն արգելում է հրապարակել միայն ներքին օգտագործման համար նախատեսված մոդելներին վերաբերող արդյունքները։ OpenAI-ն կարող է պահանջել հեռացնել մտավոր սեփականությանը վերաբերող և այլ ոչ հրապարակային տեղեկություններ․ Transluce-ը կարող է հայտնել՝ արդյոք սահմանափակումներն էականորեն ազդել են իր եզրակացությունների վրա։ Goodfire-ը նույնպես նախատեսում է հրապարակել արդյունքները՝ հիմնականում OpenAI-ի հետազոտողների համար։
OpenAI Foundation-ի խորհրդի անվտանգության և պաշտպանվածության կոմիտեն կստանա Apollo-ի և Transluce-ի չխմբագրված զեկույցները։ Transluce-ը հայտնել է, որ կարող է հասանելիության, խմբագրումների և այլ պայմանների շուրջ վեճերը ներկայացնել կոմիտեին։
OpenAI-ն հայտնել է, որ Apollo-ի փորձնական ծրագիրը կմեկնարկի նոյեմբերի 16-ին սկսվող շաբաթվա ընթացքում․ Apollo-ն հայտնել է, որ թիմի վեց անդամ չորս ամիս կաշխատի ընկերությունում։ Transluce-ի վեցշաբաթյա գնահատումը նախատեսվում է սկսել դեկտեմբերի սկզբին։ Կազմակերպությունն ու OpenAI-ն մտադիր են 2027-ի սկզբին ավելի լայն հետագա գնահատում անցկացնել, որի մանրամասները դեռ վերջնականացված չեն։ OpenAI-ն և METR-ը դեռ պետք է համաձայնեցնեն առանձին գնահատման շրջանակը՝ պարզելու համար, թե արդյոք ընկերության մշտադիտարկման համակարգերը կարող են հայտնաբերել մոդելի անցանկալի վարքագիծը։
2 րոպե

Բեռլինի տեխնիկական համալսարանի հետազոտողները լաբորատոր փորձերում վերականգնել են Windows Hello-ի և BitLocker-ի PIN-կոդերը՝ համակարգիչներին ֆիզիկական հասանելիությամբ և հատուկ սարքավորումներով։ AMD-ն հաստատել է ներկառուցված ծրագրաշարի թերությունը և նախատեսում է շտկումներ։
4 րոպե

6 շուկայի օգտատերերը, որոնք համապատասխանում են պայմաններին, կարող են Samsung Members-ով դիմել՝ թարմացումը պաշտոնական թողարկումից առաջ փորձարկելու համար։
2 րոպե