Головне: локальний ШІ на iPhone без хмари
Компанія PrismML представила стиснену модель Bonsai 27B, яка працює безпосередньо на смартфоні. Apple розглядає співпрацю, щоб інтегрувати цю технологію в iOS і підвищити швидкість, приватність та автономність Siri.
Детально: як працює стиснення та що це дає
Стартап PrismML використав відкриту нейромережу Qwen 3.6 27B від Alibaba, яка у вихідному вигляді важила близько 54 ГБ і була недоступна для споживчих пристроїв. Завдяки радикальному скороченню кількості біт у вагах – від 16 біт до 1–2 біт – інженери змогли зменшити розмір моделі в 10‑15 разів, а швидкість генерації відповідей зросла у 6‑8 разів. Споживана потужність знизилася в 3‑6 разів.
Патент на метод стиснення належить Caltech і ліцензований виключно для PrismML, яка у березні отримала $16,25 млн інвестицій. На базі технології випущено дві безкоштовні версії моделі під ліцензією Apache 2.0.
Apple вже проводить переговори з PrismML у зв’язку з публічною бета‑версією iOS 27, де планується оновлення Siri. Локальний запуск ШІ‑моделей на процесорах iPhone забезпечує кілька стратегічних переваг:
- Мінімальна затримка: обробка запиту відбувається без передачі даних у хмару.
- Висока приватність: конфіденційна інформація (медичні дані, фінанси, фітнес) залишає лише на пристрої.
- Автономність: функції обчислювальної фотографії, генерація відео та редагування тексту працюють без інтернету.
- Зниження витрат: зменшується потреба у власних дата‑центрах і платних хмарних сервісах.
Попри обіцянки, експерти Counterpoint Research та IDC нагадують про необхідність реальних тестів поза лабораторією. Екстремальне стиснення впливає на точність: Bonsai 27B втрачає кілька відсотків у згадуванні фактів, розпізнаванні зображень та взаємодії з зовнішніми інструментами, хоча логіка, математика та кодогенерація залишаються високими.
Також залишаються відкритими питання енергоспоживання і теплових обмежень – тривала робота моделі у фоні може швидко розрядити акумулятор і змусити процесор знижувати частоти після кількох хвилин інтенсивного навантаження.
