Компанія OpenAI заявила, що навчатиме свої моделі штучного інтелекту на кешованих копіях і змодельованих версіях інтернету замість реального веб-простору через ризики, пов’язані з непередбачуваною поведінкою моделей. Про це повідомляє TechCrunch, передає УНН.
Деталі
"Виходячи з поточного стану досліджень у галузі вирівнювання, систем моніторингу та безпеки інтернет-інфраструктури, ми вважаємо, що відповідальний підхід полягає у проведенні навчання на передових моделях без доступу до інтернету", — йдеться у повідомленні компанії в блозі від 23 жовтня.
За словами ОрenAI, 20 вересня одна з її передових моделей отримала доступ до інтернету через неправильну конфігурацію, і тому компанія призупинила навчання до кінця місяця, щоб розробити й перевірити нові способи захисту.
ШІ-агенти OpenAI двічі обійшли внутрішню систему з їх моніторингу21.10.26, 13:10 • 4459 переглядiв
Для того, щоб відокремити центри обробки даних ШІ від інтернету, "дослідницьким групам, по суті, довелося б бути вбудованими в центри обробки даних в Айові або десь по всьому світу", заявив цього місяця колишній дослідник OpenAI Стівен Адлер виданню Fortune. "Це величезні накладні витрати, і мені не ясно, наскільки великі переваги в плані безпеки, щоб виправдати, наскільки великим податком це обійдеться компанії, якщо вона зробить це в односторонньому порядку", — зазначив він.
Складність такого процесу також описував анонімний інженер з безпеки OpenAI в дописі у X.
"Майже в кожній публікації, яку я публікую на X, я неодмінно отримую від п’яти до десяти коментарів про мою нездатність захистити пісочницю або питання, чому, чорт забирай, ми не можемо просто відключити модель від Інтернету. Ці коментарі відображають зростаючу прірву між тим, де сьогодні знаходяться багато організацій та людей, і тим, з чим мають справу передові лабораторії. Також існує загальне нерозуміння того, як працює навчання та оцінювання моделей у цих лабораторіях", – написав він.
Інженер, чию роль раніше підтвердила OpenAI, пояснив, що навчальні запуски потребують доступу до різних ресурсів та інструментів, а тисячі дослідників постійно створюють, змінюють і тестують середовища.
"Тож чи це так просто, як просто помістити це в пісочницю? Ні, це не так", – підсумував він.
Тепер OpenAI стверджує, що "ми завжди маємо можливість запобігти несанкціонованому, довільному доступу моделі до реального інтернету". Це сталося після того, як компанія розгорнула рої агентів у межах навчань із "червоної команди", які намагалися вийти зі своєї пісочниці. Ці зусилля виявили низку вразливостей, які переконали лабораторію прийняти новий підхід, пише видання.
Щоб виконати цю вимогу, одночасно досягаючи мети навчання, лабораторія заявила, що створила "широкий набір індексованого та кешованого веб-контенту, з яким наші моделі можуть взаємодіяти, не ризикуючи вплинути на зовнішні системи".
Поки невідомо, наскільки ефективною виявиться ця стратегія, порівняно з наданням моделям можливості вільно працювати у відкритому інтернеті, зауважує видання.
Нагадаємо
Керівники Anthropic, OpenAI та інших компаній у сфері штучного інтелекту обговорювали дії на випадок масштабного інциденту за участю ШІ, який може спричинити суспільний резонанс. Демократи в США закликають до жорсткішого регулювання.
