Головне: ШІ та можливе рекурсивне самовдосконалення
Anthropic застерігає інвесторів, що штучний інтелект може швидко перейти до рекурсивного самовдосконалення (RSI), що ускладнить контроль за його розвитком. Компанія переглядає безпекові протоколи, щоб запобігти втраті людського впливу.
Детально: Оцінка ризиків і заходи безпеки
Рекурсивне самовдосконалення (RSI) виникає, коли система ШІ стає достатньо ефективною у створенні нових, ще потужніших моделей, що призводить до експоненційного прискорення технологічного прогресу. У колі експертів цей процес розглядається двояко: критики вважають його потенційно небезпечним, оскільки алгоритми можуть вийти за межі людського контролю, тоді як оптимісти бачать у RSI інструмент, який радикально підвищить продуктивність наукових досліджень і інженерних розробок.
За даними внутрішньої документації Anthropic, компанія спостерігає різке зростання продуктивності нових моделей лише після їхнього випуску, що свідчить про наближення до порогу RSI, визначеного в політиці відповідального масштабування. Проте, за словами керівництва, жодна з поточних моделей ще не досягла цієї межі.
“Зберігати значущий контроль і безпосередню участь людини в процесі розслідувань та створення наступних поколінь ШІ.”
Anthropic наголошує, що повна автономія у розробці архітектур ШІ не планується. Компанія оновлює свої безпекові процедури, зокрема впроваджує додаткові механізми верифікації та моніторингу, аби мінімізувати ризик, що система самостійно визначить шлях розвитку, який буде складно коригувати.
Зростаючі можливості моделей у галузях програмування, математики та кібербезпеки підвищують актуальність питання контролю над їхньою здатністю до самостійного вдосконалення. Anthropic продовжує діалог з інвесторами та регуляторами, пропонуючи прозору модель управління ризиками та відкриті звіти про впроваджені захисні засоби.
