Comma.ai 12 августа представила chestnut — вычислительное расширение для comma four, которое позволяет запускать openpilot на настольной видеокарте прямо в автомобиле. Вместе с устройством компания готовит модель вождения с 1 млрд параметров: у неё в 30 раз больше параметров и в 100 раз больше FLOPs, чем у актуальной модели, работающей непосредственно на comma four. Само железо уже продаётся, а новая модель должна появиться в openpilot 0.11.2.
Обычно автомобильные системы помощи водителю стараются уложить всё вычисление в компактный блок с ограниченным энергопотреблением. Comma.ai выбрала другой путь развития своего openpilot: владельцам comma four предложили подключить полноценную настольную видеокарту и вынести тяжёлую часть нейросетевых вычислений в отдельный модуль. Получилась конструкция, которая по виду напоминает небольшой внешний GPU-док, а по смыслу меняет привычный предел вычислительной мощности системы в машине.
Chestnut даёт comma four настольную видеокарту прямо в автомобиле
Chestnut представляет собой плату, которая соединяет comma four с дискретной GPU. В готовом комплекте Ready to Drive за $799 Comma.ai поставляет сам модуль, AMD Radeon RX 9060 8GB, длинный USB-кабель, питание от 12-вольтовой розетки автомобиля и крепления. Видеокарту предлагают разместить в ногах переднего пассажира либо под сиденьем, если там хватает пространства и вентиляции.
Есть и версия tiny chestnut за $249. В ней покупатель получает плату, кабель USB4, крепёж и кабели питания, а видеокарту подбирает самостоятельно. Обе версии используют одну USB-to-PCIe плату и одинаковую открытую прошивку.
Устройство работает и за пределами автомобиля. Через USB4 его можно использовать с компьютером как внешний PCIe/GPU-модуль, а через USB3 или USB2 доступ к видеокарте обеспечивает tinygrad. Для openpilot ключевым сценарием остаётся связка с comma four.
Такой формат заметно меняет аппаратную схему Comma.ai. Сам comma four стоит $999 и рассчитан на установку у лобового стекла. На сайте компании он описывается как система hands-off, eyes-on: она удерживает автомобиль в полосе и управляет адаптивным круиз-контролем, при этом водитель продолжает следить за дорогой. Comma.ai указывает совместимость более чем с 325 моделями автомобилей 27 брендов.
Модель openpilot на 1 млрд параметров появится в версии 0.11.2
Главная причина появления chestnut связана с размером нейросетей. Comma.ai одновременно анонсировала первый driving model нового класса с 1 млрд параметров. Он должен войти в будущий релиз openpilot 0.11.2.
По данным компании, у этой модели в 30 раз больше параметров и примерно в 100 раз больше вычислений в FLOPs по сравнению с актуальной моделью, которая работает непосредственно на comma four. FLOPs в данном случае показывают объём математических операций, выполняемых нейросетью. Чем сложнее модель, тем больше вычислительного ресурса требуется для обработки изображения с камер и построения траектории автомобиля в реальном времени.
Раньше Comma.ai делала упор на так называемую intelligence density — способность запускать всё более сложные модели в компактном устройстве с вычислительным бюджетом около 10 Вт. Chestnut расширяет этот предел за счёт настольной GPU. Сама компания сравнивает вычислительный уровень связки comma four и chestnut с Tesla HW4, хотя прямых независимых тестов нового решения на момент анонса пока нет.
Новая аппаратная ветка уже отражена в репозитории openpilot: для comma four с chestnut выделена отдельная release-ветка release-chestnut. Comma.ai тем самым закрепляет внешний GPU как самостоятельный вычислительный класс внутри проекта.
Рост моделей связан с новым способом обучения openpilot
За переходом к крупным нейросетям стоит перестройка программного стека Comma.ai. Компания сообщает, что в течение последних двух лет адаптировала архитектуру openpilot для масштабирования по объёму данных и вычислений. В анонсе chestnut отдельно упоминается MLSim — подход, при котором увеличение обучающей выборки и вычислительного бюджета должно напрямую использоваться для улучшения driving models.
Объём данных уже достаточно большой. По данным Comma.ai, парк устройств ежедневно записывает почти 1 млн минут поездок, а около 15% этих поездок попадает в обучающий кластер. Для модели с миллиардом параметров такой поток даёт материал, который можно использовать при масштабировании обучения.
Именно здесь chestnut закрывает вторую половину задачи. Более крупную сеть можно обучить в дата-центре, но затем она должна работать в машине с достаточной скоростью. Мобильный вычислитель comma four ограничивает размер модели, тогда как дискретная Radeon даёт разработчикам значительно больший бюджет для инференса — непосредственного выполнения уже обученной нейросети во время поездки.
Получается довольно редкая для потребительской автомобильной электроники схема: вычислительная мощность системы помощи водителю становится модульной. Comma.ai может увеличивать размер моделей без обязательной замены самого comma four, если производительности подключённой GPU хватает для нового поколения сети.
Chestnut разделяет openpilot на два вычислительных класса
После запуска chestnut у openpilot фактически появляются два режима развития моделей. Первый сохраняет вычисление внутри comma four и ориентируется на компактное энергопотребление. Второй использует внешний GPU и получает значительно больший запас производительности.
| Параметр | Модель на comma four | Первый chestnut-class model |
| Где выполняется модель | На вычислителе comma four | На внешней настольной GPU |
| Размер модели | Текущий уровень openpilot | 1 млрд параметров |
| Число параметров | Базовый уровень для сравнения | В 30 раз больше |
| Вычисления FLOPs | Базовый уровень для сравнения | В 100 раз больше |
| Аппаратная схема | Только comma four | comma four + chestnut + GPU |
| Релиз | Уже используется | Ожидается в openpilot 0.11.2 |
Для пользователей различие будет определяться поведением системы на дороге, а его Comma.ai пока не раскрыла в измеримых показателях. В анонсе нет данных о снижении числа вмешательств водителя, улучшении прохождения конкретных типов перекрёстков или росте точности в отдельных дорожных сценариях. Компания говорит о большем вычислительном масштабе и рассчитывает, что новый класс моделей ускорит развитие автономной части openpilot.
Это существенная граница между характеристиками железа и результатом вождения. Увеличение числа параметров и FLOPs хорошо описывает вычислительный масштаб, но само по себе не показывает, насколько лучше машина будет вести себя в дождь, плотном трафике, на сложной развязке или при необычной разметке. Такие различия станут видны уже после появления 0.11.2 и накопления реальных поездок.
Comma.ai делает ставку на масштабирование моделей после десятилетия компактных решений
Chestnut выглядит как поворот в аппаратной стратегии Comma.ai. Около десяти лет компания стремилась помещать модели openpilot в небольшой вычислительный блок, а теперь официально добавляет настольную GPU в автомобильную конфигурацию. Цена полного комплекта $799 сопоставима с отдельным потребительским графическим ускорителем, зато модуль позволяет оставить comma four основным устройством у лобового стекла.
Самое показательное здесь — направление дальнейшей разработки. Comma.ai прямо пишет, что команда автономного вождения собирается сосредоточиться преимущественно на chestnut-class models. Значит, разрыв между моделями, рассчитанными только на comma four, и версиями для внешней GPU может увеличиваться по мере появления новых сетей.
Релиз первой модели на 1 млрд параметров ещё впереди. Chestnut уже доступен в магазине, тогда как новая сеть привязана к openpilot 0.11.2, дата выхода которого в анонсе не названа. Именно этот релиз покажет, превращается ли рост вычислительного бюджета в заметное изменение поведения openpilot на дороге и насколько большой окажется разница между двумя аппаратными классами системы.
