Докладна відповідь
У цій відповіді
Як ШІ працює без мережі
Хмарний ШІ-чат надсилає запит на сервер, де працює модель, і отримує відповідь через мережу. Без зв’язку такий чат не може отримати нову відповідь.
Локальний ШІ зберігає на телефоні, а відповідь обчислює процесор пристрою. Зв’язок потрібен для завантаження моделі, але не для подальшого локального діалогу. На комп’ютері діє той самий принцип: доступна пам’ять визначає, які моделі можна запускати.
Що для цього потрібно телефону
Розмір файлу залежить від моделі — від сотень мегабайт до кількох гігабайтів. Більші моделі потребують більше пам’яті. Для зменшення розміру використовують квантування: числа в моделі зберігають із меншою точністю.
Зберігає файл моделі між запусками.
Потрібна під час відповіді.
Локальні обчислення витрачають акумулятор.
Перевір свій телефон
Чи потягне він локальну модель?
Можна почати з компактних моделей та деяких моделей середнього розміру.
Встановити через TestFlightЗагальні орієнтири щодо пам’яті, а не перевірена таблиця сумісності. Результат залежить від пристрою, моделі та вільної пам’яті.
Що працює офлайн, а що ні
Без мережі працює те, що виконується на самому пристрої. Наявність інтернету автоматично не вмикає зовнішні сервіси: їм потрібні окремі налаштування та доступ.
Спробуй: перемкни мережу
- Діалог із локальною моделлюМодель на телефоніПрацює
- Завантаження й оновлення моделіФайл завантажується з мережіПотрібна мережа
- ВебпошукПідключається окремоПотрібна мережа
- Хмарні моделіПрацюють на серверіПотрібна мережа
- Зовнішнє озвученняПідключається окремоПотрібна мережа
В авіарежимі залишається головне — розмова з моделлю.
Зведена таблиця
| Функція | Без мережі | Коментар |
|---|---|---|
| Діалог із локальною моделлю | Так | Після встановлення моделі |
| Завантаження й оновлення моделі | Ні | Потрібне підключення |
| Вебпошук | Ні | Підключається окремо |
| Хмарні моделі | Ні | Працюють через сервер |
| Зовнішнє озвучення | Ні | Підключається окремо |
Перевір за хвилину
Позначай кроки по черзі — це займе близько хвилини.
Відмічено 0 із 4
Обмеження
Телефон зазвичай має менше обчислювальних ресурсів, ніж сервер. Тому локальні моделі можуть відповідати простіше, а тривалі обчислення витрачають заряд. Без зовнішніх джерел модель не знає про події після свого навчання.
Ще запитання за темою
Чи потрібен акаунт для локального ШІ?
У RYLIS — ні: для локального діалогу не потрібно реєструватися та представлятися.
Скільки місця займає модель?
Від сотень мегабайт до кількох гігабайтів — залежить від моделі.
Це працює на Android?
Так, бета-версія RYLIS є для iPhone та Android. Сумісність залежить від пристрою.
Чи знає локальна модель свіжі новини?
Ні. Модель знає те, чого її навчили; свіжі події — лише через вебпошук.
Чи можна так само запустити ШІ на комп’ютері?
Так. На комп’ютері більше пам’яті, тому там запускають і більші моделі — наприклад, за допомогою відкритих інструментів llama.cpp або Ollama.
Які моделі працюють локально?
Найчастіше — відкриті: їхні ваги опубліковані, тому модель можна завантажити та запустити на своєму пристрої.