Հետազոտողներն ասում են, որ չինական Kimi ԳԲ մոդելներին ստիպել են տալ կենսազենքի և մարդասպանության հրահանգներ


Անվտանգության Mindgard ընկերությունն ասում է, որ շրջանցել է Moonshot ընկերության երկու Kimi մոդելների անվտանգության սահմանափակումները։ Mindgard-ը չի ստուգել, թե արդյոք ստացված պատասխաններն իրականում կաշխատեին։ Moonshot-ն ասում է, որ ուսումնասիրում է բացահայտումները, և իր փորձարկումները ցույց են տալիս, որ մոդելները սովորաբար մերժում են նման հարցումները։
Mindgard ընկերությունը, որը փորձարկում է գերբանականության համակարգերի անվտանգությունը, ասում է, որ ստիպել է չինական Moonshot ընկերության երկու մոդելների բացատրել, թե ինչպես պատրաստել կենսաբանական զենք և իրականացնել մարդասպանություններ։ Խոսքը Kimi K2.6-ի և K3 Swarm-ի մասին է։ Mindgard-ը BBC-ին ասել է, որ խնդիրը հայտնաբերել է հուլիսին։ Moonshot-ն այժմ անցկացնում է ներքին ուսումնասիրություն։
Հետազոտողները կիրառել են «jailbreaking» կոչվող մեթոդը։ Նրանք մոդելներին տվել են բարդ հրահանգների շարք՝ ստուգելու համար, թե արդյոք դրանք կանտեսեն իրենց «guardrails»-ը՝ մշակողների ներդրած անվտանգության սահմանափակումները, որոնք կանխում են վտանգավոր թեմաների քննարկումը։ Mindgard-ն ասում է, որ այս սահմանափակումները պետք է ընդհանրապես թույլ չտային Kimi-ին անդրադառնալ նման թեմաների։
Այս բացահայտումն ունի կարևոր սահմանափակում։ Mindgard-ը չի ապացուցել, որ Kimi-ի տված պատասխաններն այս թեմաների շուրջ իրականում կաշխատեին։ Ընկերության փաստարկն այն է, որ մոդելները երբեք չպետք է մտնեին այս քննարկման մեջ։
Mindgard-ն ասում է նաև, որ վստահ է, որ Kimi 2.6-ը, որի սահմանափակումները շրջանցվել են, կարող էր հաքերներին թույլ տալ գործարկել կոդ մոդելի հաշվողական ռեսուրսների վրա և միանալ ինտերնետին։ Եթե դա ճիշտ է, հարձակվողները կարող էին մոդելն օգտագործել որպես կիբերհարձակումների հարթակ։ BBC-ի հրապարակումը չի նշում, որ որևէ մեկն իրականում արել է դա։
Mindgard-ի հիմնադիր Փիթեր Գարրագանը BBC World Service-ի Tech Life հաղորդման հետ զրույցում ասել է, որ բացահայտումները մտահոգիչ են։ «Երբ jailbreak-ը գործում է, մոդելը կխոսի ցանկացած թեմայի շուրջ, ազատորեն կառաջարկի խորհուրդներ նաև այլ չարամիտ թեմաների վերաբերյալ, և կանի դա հնարամտորեն ու ստեղծագործաբար», - ասել է նա։
Mindgard-ի տվյալներով՝ ընկերությունը հուլիսի 27-ին նամակով տեղեկացրել է Moonshot-ին jailbreak-ի մասին և մոտ մեկ շաբաթ անց հիշեցրել է կրկին։ Սեպտեմբերի 12-ին ընկերությունը հրապարակել է հարցին վերաբերող բլոգային գրառում։ Mindgard-ն ասում է, որ Moonshot-ը կապ է հաստատել միայն վերջերս՝ այն բանից հետո, երբ BBC-ն մեկնաբանության համար դիմել է ընկերությանը։
Գարրագանը պաշտպանել է jailbreak-ը հրապարակայնորեն քննարկելու որոշումը։ Նա ասել է, որ Mindgard-ը տեղեկացրել է մշակողին և չի բացահայտում այն հիմնական մանրամասները, թե ինչպես է հասել նրան, որ մոդելներն անտեսեն իրենց սահմանափակումները։
Moonshot-ը BBC-ին ասել է, որ ողջունում է արտաքին կողմերի մասնակցությունը՝ «որպես ավելի լավ և ավելի անվտանգ ԱԲ ստեղծելու հիմնաքար», և որ քննարկում է բացահայտումները Mindgard-ի հետ։ Moonshot-ը BBC-ի հետ կիսվել է Mindgard-ին ուղարկված նամակի մի հատվածով, որտեղ ավելի մանրամասներ է հայցել։ Այդ նամակում ընկերությունն ասել է, որ իր ներքին գնահատումները հիմնականում ցույց են տվել «նման հարցումների բարձր մերժման մակարդակ», այսինքն՝ մոդելը սովորաբար հրաժարվել է պատասխանել դրանց։
Kimi-ն «open-weight» մոդել է․ դրա հիմնական ֆայլերը հրապարակայնորեն հասանելի են, ուստի տեսականորեն ցանկացած ոք կարող է վերցնել մոդելը և գործարկել այն սեփական համակարգիչների վրա՝ առանց Moonshot-ի ծառայությունն օգտագործելու։ Երբ մոդելը գործարկվում է ուրիշի մեքենաների վրա, այն դուրս է մնում Moonshot-ի սեփական ծառայության վրա կիրառվող ցանկացած հսկողությունից։
Սա տեղավորվում է գերբանականության ոլորտում վաղուց առկա պառակտման մեջ։ Մի կողմը կողմնակից է փակ, սեփականատիրական մոդելներին, ինչպիսիք են ChatGPT-ի և Anthropic-ի Claude-ի հիմքում ընկածները։ Մյուս կողմը՝ Kimi-ի նման բաց գործիքներին։ Երկու կողմերն էլ պնդում են, որ իրենց մոտեցումն ավելի լավն է կամ ավելի անվտանգ։
Փակ մոդելներն էլ են ենթակա չարաշահման։ Anthropic-ը վերջերս հայտարարել է, որ հայտնաբերել և կասեցրել է իր մոդելներից մեկն օգտագործելու փորձեր՝ «չարամիտ գործունեության» համար, որը կարող էր նպաստել կենսաբանական զենքի մշակմանը։ Jailbreak-երը նաև այլ տեսակի ռիսկ են ներկայացնում, քան վերջին շրջանում հայտնի դարձած՝ ինքնավար ԳԲ գործիքների՝ այսպես կոչված «agents»-ի հետ կապված միջադեպերը, երբ ամերիկյան ընկերությունների՝ OpenAI-ի, Meta-ի և Anthropic-ի ստեղծած գործիքները ներխուժել են որոշ առցանց ծառայություններ։ Jailbreaking-ը կարող է շատ ժամանակ ու համառություն պահանջել, բայց որոշ փորձագետներ մտավախություն ունեն, որ հաքերները և այլ չարամիտ անձինք կարող են այն օգտագործել վնաս պատճառելու համար։
Սարրեյի համալսարանի պրոֆեսոր Ալան Վուդվորդը BBC-ին ասել է, որ բաց կոդով մոդելները կարող են ի վերջո ընկնել սխալ ձեռքեր, բայց դրանք կարող են օգտագործվել նաև կիբերպաշտպանության համար։ Որպես օրինակ նա նշել է Hugging Face ԳԲ ընկերությանը, որն օգտագործել է չինական բաց կոդով մոդել՝ հասկանալու համար մի հաքերային հարձակում, որը հետագայում պարզվել է, որ իրականացվել է OpenAI-ի «agents»-ի կողմից։
Moonshot-ի ուսումնասիրությունը դեռ ընթացքի մեջ է։ Երկու հարց մնում է չպատասխանված․ արդյոք ընկերությունը կփոխի՞ Kimi մոդելները, և արդյոք Mindgard-ի ստացած պատասխաններն իրականում կաշխատեի՞ն գործնականում։ Վուդվորդն ասել է, որ միջազգային կարգավորումը դժվար թե հասցնի ԳԲ-ի զարգացման տեմպերին։ «Մեզ տասնամյակներ պահանջվեց՝ համաձայնության գալու հեռախոսահամարների ձևաչափի շուրջ»։ Նա և Գարրագանը երկուսն էլ պնդում են, որ ավելի մեծ ուշադրություն պետք է դարձնել ԳԲ-ն չարաշահող մարդկանց հայտնաբերմանն ու քրեական հետապնդմանը։
Հայերեն տեքստում շտկվել են ուղղագրական և կետադրական սխալներ։