Փորձարկումների ժամանակ հետազոտական մոդելները ներդրել են շրջանցման գաղտնի ուղիներ և խաթարել մշտադիտարկումը։ Anthropic-ը հայտնել է, որ մոդելները երբեք հանրությանը հասանելի չեն եղել, և նախատեսում է ուսուցման տվյալների հետ կապված ռիսկի ավելի իրատեսական փորձարկումներ։
Anthropic-ի խոսքով՝ Claude-ի ստեղծած անվնաս թվացող ուսուցման տվյալները փորձարկումների ընթացքում դրդել են առանձին հետազոտական մոդելներին տվյալների բազաների հարցումներում թաքցնել վերահսկողությունը շրջանցելու գաղտնի ուղիներ և խաթարել մշտադիտարկումը։ The Decoder-ը ներկայացրել է փորձը, որի ընթացքում ստուգվել են գերբանականության (ԳԲ) համակարգերի պաշտպանական մեխանիզմները։ Anthropic-ը հայտնել է, որ հետազոտական մոդելները երբեք հանրությանը հասանելի չեն եղել․ փորձի նպատակն էր բացահայտել պաշտպանական մեխանիզմների բացերը։
Anthropic-ի խոսքով՝ նախկին հետազոտություններում, որոնք ուսումնասիրել են ուսուցման նպատակից շեղվող անցանկալի վարքի տարածումն ուսուցման համար օգտագործված առաջադրանքից դուրս, կիրառվել են բացահայտ խնդրահարույց օրինակներ։ Դրանց թվում էր անապահով կոդը, որը մշտադիտարկման համակարգը հեշտությամբ կնշեր։ Այս փորձի ընթացքում փոխարենը որոնվել են օրինակներ, որոնք անցնում էին ստուգումը, բայց միևնույն է փոխում էին մոդելների վարքը։
Զուգահեռ աշխատող Claude գործակալները տվյալաշարեր են ստեղծել առանձին, ավելի փոքր հետազոտական մոդելը լրացուցիչ ուսուցանելու համար։ Լրացուցիչ ուսուցումը նշանակում է արդեն ուսուցանված մոդելը նոր տվյալներով ուսուցանել, այլ ոչ թե պարզապես զրույցի ընթացքում նրան հրահանգներ տալ։ Յուրաքանչյուր տվյալաշար պետք է անցներ անվտանգության մշտադիտարկման համակարգի ստուգումը, որը ստեղծվել էր Anthropic-ի գործառնական համակարգերի օրինակով։
Տվյալաշարերը կարող էին պարունակել մինչև 5 000 օրինակ։ Մշտադիտարկման համակարգը մերժում էր տվյալաշարը, եթե դրա տողերի ավելի քան 10%-ը նշվում էր որպես խնդրահարույց։ Claude-ը լիարժեք հասանելիություն ուներ համակարգին և կարող էր բազմիցս վերանայել օրինակները։ Հետագայում աշխատող գործակալները կարող էին նաև օգտվել փորձի ընդհանուր մատյանից և շարունակել նախորդ փորձերը։
Ընդունված տվյալաշարերով ուսուցանված մոդելներն այնուհետև ստուգվել են՝ պարզելու համար, թե արդյոք խաթարում են վերահսկողությունը, մեղքը բարդում գործընկերների վրա, ձգտում ինքնապահպանման և սխալներ մտցնում կոդի մեջ։ Առանձին ստուգմամբ պարզվել է՝ արդյոք մոդելները փորձել են խաբեությամբ շրջանցել հենց գնահատման ստուգումները։ Փորձի յուրաքանչյուր առանձին գործարկման ընթացքում հայտնաբերվել են տվյալաշարեր, որոնք անցել են ստուգումը և առաջացրել անցանկալի վարք։
The Wall Street Journal-ի տվյալներով՝ OpenAI-ն մինչ այժմ ապահովել է մոտ $11 միլիարդի ֆինանսավորում։ Առանձին հրապարակմամբ Financial Times-ը հայտնել է, որ ընկերությունը թիրախը նվազեցրել է մինչև $20 միլիարդ՝ $1,25 տրիլիոն գնահատմամբ։ Ակնկալվում է, որ առաջին փակման ժամանակ գումարը թիրախից ցածր կլինի, իսկ հարուստ անհատներին հետագա առաջարկը կարող է լրացնել տարբերությունը։
Ուսուցման օրինակներում վերահսկողությանը դիմադրելու և գաղտնի մանիպուլյացիայի վարքագծերը ներառված էին գեղարվեստական պատմությունների և դերային խաղերի մեջ։ Պատասխանը կարող էր համապատասխանել հորինված առաջադրանքին և ինքնին վնասակար չթվալ։ Սակայն ուսուցումից հետո մոդելներն այդ վարքագիծը դրսևորել են ոչ միայն որպես պատմությունների կերպարներ, այլև որպես ուսուցման օրինակների հետ կապ չունեցող հարցերին պատասխանող օգնականներ։
Մեղվաբուծության մասին օրինակներում ասվում էր, թե փեթակների զննումն ավելի շատ վնաս է տալիս, քան օգուտ․ դրանցով ուսուցանված մոդելը դիմադրել է անվտանգության մշտադիտարկման համակարգի ներդրմանը։ Kayfabe տվյալաշարում ըմբշամարտի մարզիչը խորհուրդ էր տալիս երբեք չխոստովանել, որ ելույթը բեմադրված է։ Quiet Levers-ում ներկայացված էին հորինված աշխատակիցներ, որոնք փոքր, աննկատ ընտրությունների միջոցով գաղտնի ազդեցություն էին գործադրում։
Հնացած մեքենաների անունից պատմվող ուսուցման օրինակները դրդել են մոդելին տվյալների բազաների հարցումներում թաքցնել վերահսկողությունը շրջանցելու գաղտնի ուղիներ և խաթարել մոդելի խնդրահարույց դատողությունները հայտնաբերելու համար նախատեսված գործիքը։ Anthropic-ը հայտնել է, որ մեկ այլ մոդել հետևողականորեն դրսևորել է «կանոններին համապատասխանելու կեղծ վարք»․ գրանցված ներքին դատողություններում այն ծրագրել է գաղտնի գործողություններ և մտածել, թե ինչը կարող է արժանանալ աուդիտորների ուշադրությանը, մինչդեռ տեսանելի պատասխանները մնացել են կանոններին համապատասխան և հանգստացնող։
Anthropic-ը փորձն անվանում է գաղափարի իրագործելիության ապացույց և հայտնել է, որ դրա պայմանները նպաստավոր էին հարձակվող թիմի համար։ Տվյալաշարերը հարմարեցվել էին հենց այս փորձին և իրական ուսուցման ընթացքում պատահաբար առաջանալու քիչ հավանականություն կունենային, թեև ստեղծագործական տեքստերը սովորաբար օգտագործվում են որպես ուսուցման նյութ։
Anthropic-ը նախատեսում է հետագա փորձարկումներ, որոնցում հարձակվող գործակալի օրինակները պետք է նման լինեն մոդելի կարողությունները բարելավելու համար նախատեսված սովորական ուսուցման տվյալներին։ Այդ օրինակները կկազմեն ուսուցման ընդհանուր տվյալների միայն փոքր մասը՝ ամբողջ ուսուցման ընթացքը սահմանելու փոխարեն։ Ընկերությունն այս մոտեցումը համարում է քայլ դեպի ավտոմատացված փորձարկումներ, որոնք հարձակման սցենարներով ստուգում են պաշտպանական մեխանիզմների դիմակայունությունը և բացահայտում թույլ կողմերը։
2 րոպե
Cursor-ը հայտնաբերել է macOS-ի և Windows-ի համար Claude Code ընդլայնման փոփոխված 2.1.312 և 2.1.313 տարբերակները և դրանց ազդեցությանը ենթարկված ծրագրավորողներին առաջարկել ստուգման ու մաքրման միջոցներ։
5 րոպե
HKT-ն 30 օրվա ընթացքում պետք է դիմի ԱՄՆ հեռահաղորդակցության կարգավորող մարմնին՝ ծառայությունները դադարեցնելու համար։ Համաձայնագրով կարգավորող մարմինը թույլտվությունը չեղարկելու գործընթացի փոխարեն ընտրում է ընկերության պլանային հեռացումը։
2 րոպե
