Компанія Ollama, яка розробляє систему для роботи великих мовних моделей на локальних комп'ютерах, анонсувала підтримку відкритого фреймворка MLX від Apple для машинного навчання. Вона також відзначила поліпшення кешування та додавання підтримки формату NVFP4 від Nvidia для стиснення моделей, що дозволяє значно ефективніше використовувати пам'ять у певних моделях.
Ці вдосконалення обіцяють суттєве покращення продуктивності на Mac з чипами Apple Silicon (M1 і новіші). Це важливо, адже локальні моделі починають набирати популярності, виходячи за межі дослідницьких та аматорських спільнот.
Недавній успіх OpenClaw, який отримав понад 300,000 зірок на GitHub, та захоплення його використанням у Китаї, стимулює багатьох експериментувати з налаштуванням моделей на своїх машинах.