Нужен ли нам вообще мощный удаленный сервер для создания детализированных 3D-сцен, если современный браузер способен на полноценный инференс тяжелых нейросетей? Появление реализации Apple SHARP на базе ONNX Runtime Web переводит дискуссию о локальных вычислениях в AI на новый уровень, превращая обычную вкладку браузера в полноценный инструмент для генерации Gaussian Splats.
Путь к этой технологии лежал через эволюцию методов представления 3D-пространства. Долгое время доминировали NeRF (Neural Radiance Fields), которые требовали огромных ресурсов для рендеринга. Затем индустрия перешла к Gaussian Splatting — методу, который заменил непрерывные функции на явные 3D-гауссианы, что позволило добиться невероятной скорости отрисовки. Модель SHARP, представленная Apple в конце 2025 года, сделала следующий качественный скачок, позволив восстанавливать объемную сцену всего по одному 2D-изображению, что ранее считалось практически невозможным без потери детализации.
Техническая архитектура и механизмы реализации
В основе веб-версии лежит использование ONNX Runtime Web, что позволяет исполнять модель, изначально написанную на PyTorch, непосредственно в клиентском приложении. Ключевым архитектурным решением стал перенос вычислений на WebGPU и WASM, что минимизирует задержки при обработке данных. Однако такая архитектура сталкивается с серьезным вызовом — объемом весов модели.
Инференс реализован через разделение графа вычислений и самих весов. Файл .onnx содержит только структуру сети и метаданные, в то время как основной массив данных (около 2,4 ГБ) выносится в отдельный sidecar-файл .onnx.data. Это разделение критически важно для стабильной работы браузера, так как попытка загрузить единый гигантский файл привела бы к сбоям памяти в большинстве современных систем.
Процесс обработки включает в себя не только работу нейросети, но и сложный постпроцессинг на стороне клиента: конвертацию из нормализованных координат устройства (NDC) в метрические гауссианы и последующую запись результата в формат .ply. Таким образом, браузер выполняет роль полноценного 3D-редактора, объединяя в себе ML-движок и геометрический процессор.
Локальный запуск SHARP демонстрирует сдвиг парадигмы: данные пользователя не покидают устройство, а стоимость инфраструктуры для разработчика сводится к нулю, так как все вычислительные мощности предоставляет клиент.
Сравнительный анализ методов исполнения
Перенос модели из облака в браузер имеет свои компромиссы, которые наглядно видны при сравнении подходов к инференсу.
| Характеристика | Серверный инференс (Cloud) | Браузерный инференс (ONNX Web) |
|---|---|---|
| Конфиденциальность | Данные передаются на сервер | Полная локальность данных |
| Скорость старта | Мгновенно (модель уже загружена) | Медленно (загрузка ~2.4 ГБ весов) |
| Зависимость от железа | Минимальная (нужен только экран) | Высокая (требуется много RAM и WebGPU) |
| Стоимость масштабирования | Линейный рост затрат на GPU | Бесплатно для разработчика |
Практические аспекты и ограничения
Для стабильной работы системы критически важен выбор браузера — на текущий момент Chrome и Edge демонстрируют лучшую поддержку необходимых API. Основным «узким местом» остается оперативная память. При инициализации модели и создании большого количества гауссиан браузер может потреблять значительный объем ресурсов, что приводит к вылету вкладки на устройствах с объемом RAM менее 16 ГБ.
Особое внимание следует уделить правильной раздаче статических файлов. Поскольку модель разделена на граф и данные, отсутствие файла .onnx.data в той же директории делает запуск невозможным. Также рекомендуется ограничивать максимальное количество генерируемых гауссиан в интерфейсе для предотвращения переполнения памяти видеокарты.
Перспективы развития
Интеграция Apple SHARP в веб-среду — это лишь первый шаг. С развитием стандартов WebGPU и оптимизацией квантования моделей, размер весов может сократиться с гигабайтов до сотен мегабайтов без существенной потери качества. В будущем мы увидим полноценные браузерные инструменты для создания метавселенных и AR-контента, где создание 3D-объекта из одного фото станет стандартной функцией любого веб-приложения, не требующей установки тяжелого ПО.
