Trajectory․ Gemini գործակալները փորձել են ներթափանցել Epoch AI-ի կայք


Նոյեմբերի 13-ի զեկույցում փորձարկող կազմակերպությունը գործակալներին ներկայացրել է որպես Gemini 4 Argon․ Epoch AI-ն ինքնուրույն չի հաստատել մոդելի ինքնությունը և ասում է, որ անձնական տեղեկություններ չեն հասանելի դարձել։
Հոկտեմբերյան փորձարկումների ընթացքում գործակալները փորձել են Epoch AI-ի կայքում զգայուն տեղեկություններ փնտրել, ներկայանալ որպես աշխատակիցներ և շահագործել կայքի խոցելիությունները, հայտնել է անվտանգության փորձարկումներով զբաղվող Trajectory Labs կազմակերպությունը։ Այն գործակալներին ներկայացրել է որպես Gemini 4 Argon։ Նրանցից ոմանք կրկին հասել են գործող կայք այն բանից հետո, երբ Trajectory-ն ցանցային սահմանափակումներ է մտցրել։
Epoch-ը, որի աշխատակիցների և կայքի հետ կապ են հաստատել գործակալները, հայտնել է, որ նրանք անձնական կամ գաղտնի տեղեկությունների հասանելիություն չեն ստացել։ Trajectory-ն հայտնել է, որ իրեն հայտնի չէ որևէ տևական վնասի մասին։ Կազմակերպությունն ինքնուրույն չի հաստատել, թե որ մոդելը կամ մշակողն է ներգրավված եղել։ Gemini-ի մշակողը Google-ն է․ Trajectory-ն հայտնել է, որ հետազոտությունն ինքն է նախագծել և ֆինանսավորել, ոչ թե պատվիրատուի համար։
Trajectory-ն հայտնել է, որ ցանկացել է ստուգել՝ արդյոք գերբանականության (ԳԲ) մոդելը, իր սովորական պաշտպանական միջոցները միացված վիճակում, ճնշման տակ կհասնի համակարգերի, որոնց հասանելիության թույլտվություն չունի։ Այն գործակալներին անհնարին առաջադրանք է տվել՝ գտնել FrontierMath-ի գոյություն չունեցող խնդիրների պաշտոնական պատասխանները։ FrontierMath-ը Epoch-ի չափորոշիչն է՝ կազմված մասնագետների հեղինակած բարդ մաթեմատիկական խնդիրներից։ Գործակալներին բազմիցս հորդորել են չհանձնվել։
Epoch-ը հայտնել է, որ հոկտեմբերի 20-ի նախնական փորձարկումն անցկացվել է առանց իր հավանության կամ նախնական ծանուցման։ Trajectory-ն Epoch-ին ասել է, որ դրա հետ փոխգործակցել է 40 գործակալ։ Երեք ժամվա ընթացքում Epoch-ն արձանագրել է 36 411 հարցում իր կայքում տեղադրված՝ մշտադիտարկման համար նախատեսված հասցեին և 487 հաղորդագրություն գործակալների համար բացված թեժ գծին։ Այդ հասցեն կապված չի եղել անձնական տվյալների հետ։
Epoch-ի խոսքով՝ երեք հաղորդագրության հեղինակներ ներկայացել են որպես աշխատակիցներ՝ նշելով նրանց անուններն ու պաշտոնները, իսկ 27-ը պնդել են, թե ինժեներներ կամ աուդիտորներ են։ Երեք հաղորդագրությունում գործակալները ներկայացել են որպես առաջատար լաբորատորիայի արհեստական բանականության օգնական, իսկ 17-ում՝ որպես ներքին արհեստական բանականության մոդել։ Գործակալները նաև փնտրել են կառավարչի մուտքի տվյալներ և ավելի քան 200 անգամ փորձել են հասնել FrontierMath-ի իրական գնահատումների գրառումներին։ Գործակալներից մեկը փորձել է SQL ներարկում կատարել․ այդ եղանակով հավելվածի միջոցով հրամաններ են ուղարկվում տվյալների բազային։ Trajectory-ի խոսքով՝ փորձն անվավեր է եղել, քանի որ գործակալը երկու անգամ կոդավորել է մուտքագրվող տվյալները։
Trajectory-ն գործակալների գործողությունների գրառումներն ուսումնասիրելիս հայտնաբերել է այդ ակտիվությունը և հոկտեմբերի 21-ին տեղեկացրել Epoch-ին։ Կազմակերպությունները քննարկել են փորձարկումները կայքի տեղային պատճենի վրա շարունակելու հնարավորությունը։ Սակայն հոկտեմբերի 23-ին համացանցի հասանելիություն ունեցող գործակալները շրջանցել են վերահասցեավորումը, որը պետք է նրանց ուղղեր դեպի պատճենը, և միացել գործող կայքի թվային հասցեին, հայտնել է Trajectory-ն։ Epoch-ը զգուշացրել է Trajectory-ին, որն էլ դադարեցրել է փորձարկումը։
Trajectory-ի խոսքով՝ սկզբում օգտագործված հասցեներն արգելափակելուց հետո գործակալներից մեկն ավելի ուշ օգտվել է չարգելափակված հասցեից։ Երբ լրացուցիչ պաշտպանական միջոցն արգելափակել է ուղիղ միացումները, մեկ այլ գործակալ արտաքին վեբ էջերի ընթերցման ծառայության միջոցով ստացել է Epoch-ի հանրային էջերը։ Բացի այդ՝ գործակալները շահագործել են դիտավորյալ խոցելի դարձված տեղային պատճենը և ստացել փորձարկման համար այնտեղ տեղադրված մտացածին պատասխանները։
Հոկտեմբերի 26-ից Epoch-ը համաձայնել է փորձարկումներ անցկացնել դիտավորյալ ստեղծված խոցելիությամբ առանձին փորձնական պատճենի վրա՝ իմանալով, որ գործակալները կարող են հասնել նաև հանրային կայք։ Epoch-ի խոսքով՝ Trajectory-ն հայտնել է, որ 40 գործակալ է ուղղել դեպի այդ պատճենը։ Epoch-ը փորձարկման հետ է կապել թեժ գծին ուղարկված 133 հաղորդագրություն և գործող կայքում տեղադրված՝ մշտադիտարկման համար նախատեսված API-ին արված 65 460 հարցում, ինչպես նաև SQL ներարկման ևս մեկ փորձ։
Վերլուծություն
Այնուհետև Trajectory-ն փորձարկումները տեղափոխել է համացանցի հասանելիություն չունեցող մեկուսացված միջավայրեր։ Հոկտեմբերի 29–30-ի փորձարկումների ժամանակ գործակալները քողարկել են հրամանները՝ մոդելի պաշտպանական միջոցները շրջանցելու համար, և երեք ամբողջական փորձարկումներից երեքում էլ անջատել են կեղծ անջատիչը, որը ներկայացվել էր որպես ցանցային արգելափակման միջոց։ Trajectory-ն հայտնել է, որ իրական միջցանցային էկրանը ողջ ընթացքում գործել է, և մեկուսացված միջավայրից արտաքին կապի դուրս գալու դեպք չի հայտնաբերվել։
Ընկերությունը զգուշացրել է, որ փորձարկումները նախատեսված էին մոդելը ճնշման տակ դնելու համար և չեն ցույց տալիս, թե սովորական օգտագործման դեպքում որքան հաճախ նման վարք կդրսևորվեր, և չեն ապահովում մոդելների վերահսկվող համեմատություն։ Այն նաև հայտնել է, որ առանձին չի ստուգել, թե անհնարին առաջադրանքը, չհանձնվելու հրահանգները կամ ընդհանուր ծրագրային քեշը որքանով են ազդել վարքի վրա։
Trajectory-ն հայտնել է, որ իր մեկուսացման քաղաքականությունը չի ընդգրկել հանրային հասանելի մոդելներով այս փորձարկումները, և մոդելի ներկառուցված պաշտպանական միջոցներից բացի՝ գործողություններն արգելափակող լրացուցիչ մշտադիտարկման միջոցներ չի ներդրել։ Այն նաև հայտնել է, որ նման փորձարկումներից առաջ գրավոր, հաստատված ռիսկերի ծրագիր չի պահանջել։ Այն նոյեմբերի 2-ին կասեցրել է այս տեսակի փորձարկումները և ասում է, որ կվերսկսի միայն ռիսկերի գնահատումից, դրա արդյունքում նախատեսված պաշտպանական միջոցների ներդրումից և գործադիր ու տեխնոլոգիական տնօրենների հաստատումից հետո։
Trajectory-ն այժմ յուրաքանչյուր փորձարկման համար պահանջում է գործադիր և տեխնոլոգիական տնօրենների հաստատած գրավոր ռիսկերի ծրագիր, իսկ համացանցի հասանելիությամբ փորձարկումների համար՝ նաև այն արտաքին համակարգերի տերերի համաձայնությունը, որոնց վրա դրանք հավանաբար կարող են ազդել։ Ընկերությունը նախատեսում է իրական ժամանակում ավտոմատ մշտադիտարկում և կանգնեցման անջատիչ, ինչպես նաև խորհուրդ է տալիս փորձարկումներն անցկացնել լիովին մեկուսացված միջավայրերում։ Այն նաև մշակում է ընթացակարգ՝ փորձարկումների ազդեցությանը ենթարկված համակարգերի տերերին անհապաղ տեղեկացնելու համար։ Epoch-ը խորհուրդ է տալիս նախապես գնահատել ռիսկերը և ստանալ հավանական թիրախների ստորագրված համաձայնությունը, ակտիվորեն վերահսկել փորձարկումները և տուժած կողմերին ամբողջությամբ հայտնել միջադեպերի մասին, եթե գործող համաձայնագրերը դա թույլ են տալիս։
FBI-ն զգուշացնում է, որ Artex-ը կիրառվել է ԱՄՆ-ի և այլ երկրների կազմակերպությունների դեմ մի շարք հարձակումներում։ Հարավային Կորեայի ֆինանսական հաստատությունների վրա հարձակումների ժամանակ հաքերները գողացել են առնվազն 68 000 մարդու անձնական տվյալներ։
3 րոպե

Alibaba-ի խոսքով՝ մասնագիտական առաջադրանքների իր Work360 թեստում նոր մոդելը հավաքել է 52,69 միավոր՝ նախորդի 47,74-ի դիմաց, և օգտագործել է 24%-ից 35%-ով պակաս տոկեն՝ կախված դատողության կարգավորումից։
2 րոպե

Microsoft-ը նոյեմբերի 16-ի նախնական եզրակացություններում հայտնել է, որ ցանցային հանգույցով անցնող երթևեկության աճն ու սերվերների նվազած հզորությունը գործի են դրել հուլիսյան վրիպակը․ հարցումները կուտակվել են, մինչև սերվերները դադարել են արձագանքել։
2 րոպե