Головне: Виявлені зловживання Claude
Anthropic повідомила про реальні випадки застосування своєї великої мовної моделі Claude у створенні біологічної та токсичної зброї, а також у генерації пропаганди. Підозрілі запити були автоматично заблоковані, а дані використано для удосконалення системи безпеки.
Детально: Приклади та реакція Anthropic
У звіті, на який посилаються в ЗМІ, компанія зазначила, що її система безпеки виявила кілька запитів, спрямованих на підвищення патогенних властивостей вірусів. Один з таких випадків стосувався модифікації вірусу Чікунгунья з метою збільшення його заразності та здатності уникати імунного захисту; проєкт був пов’язаний з військовим інститутом. Інший інцидент стосувався спроб підсилити пташиний грип, що також було зафіксовано під час аналізу.
Дослідники використовували Claude для створення генеративного конвеєра, який оптимізував хімічні характеристики пептидних отрут, підвищуючи їх токсичність. Така діяльність демонструє, як потужні інструменти ШІ можуть стати інструментом у руках зловмисників.
«У реальному житті зловмисники не кажуть прямо про бажання знищити світ, тому ситуація вимагає глибокого аналізу», – зазначив керівник відділу аналізу загроз Anthropic Джейкоб Клейн.
Старший науковий співробітник Ради зі стратегічних ризиків Ендрю Вебер охарактеризував результати звіту як «тривожними прикладами того, як розробники біологічної зброї, що підтримуються окремими державами, намагаються використати передові можливості ШІ».
Anthropic підкреслює, що всі виявлені акаунти були негайно заблоковані, а імена дослідників і назви лабораторій залишаються конфіденційними, щоб уникнути непотрібного впливу на їхню професійну діяльність. Зібрані дані інтегруються у процеси підвищення захисних механізмів, що дозволяє ефективніше запобігати подібним випадкам у майбутньому.
