На конференции SIGGRAPH компания NVIDIA анонсировала fVDB — новую платформу глубокого обучения для создания виртуальных представлений реального мира, готовых к использованию искусственного интеллекта.
fVDB создан на основе OpenVDB — стандартной библиотеки для моделирования и рендеринга разреженных объемных данных, таких как вода, огонь, дым и облака.
Генеративный физический ИИ , такой как автономные транспортные средства и роботы, населяющие реальный мир, должен обладать «пространственным интеллектом» — способностью понимать и действовать в трехмерном пространстве.
Захват крупномасштабных и сверхтонких деталей окружающего нас мира имеет важное значение. Но преобразование реальности в виртуальное представление для обучения ИИ — сложная задача.
Необработанные данные для реальных сред можно собирать с помощью множества различных методов, таких как нейронные поля излучения ( NeRF ) и лидар. fVDB преобразует эти данные в массивные среды, готовые к использованию ИИ, визуализируемые в реальном времени.
Виртуальные среды в масштабе реальности используются для обучения автономных агентов. 3D-модели в масштабе города снимаются дронами для климатологии и планирования катастроф. Сегодня генеративный ИИ в 3D используется даже для планирования городских пространств и умных городов.
fVDB позволяет отраслям использовать пространственный интеллект в большем масштабе и с более высоким разрешением, чем когда-либо прежде, делая физический ИИ еще умнее.
Фреймворк строит операторы ИИ с ускорением NVIDIA поверх NanoVDB , структуры данных с ускорением GPU для эффективного 3D-моделирования. Эти операторы включают свертку, объединение, внимание и сетку, все из которых разработаны для высокопроизводительных приложений глубокого обучения 3D.
Операторы ИИ позволяют компаниям создавать сложные нейронные сети для пространственного интеллекта, например, для крупномасштабной реконструкции облаков точек и генеративного 3D-моделирования.
fVDB — это результат многолетних усилий исследовательской группы NVIDIA, который уже используется для поддержки проектов NVIDIA Research , NVIDIA DRIVE и NVIDIA Omniverse , требующих высокоточных моделей больших и сложных пространств реального мира.
NVIDIA продолжает совершенствовать библиотеку OpenVDB с открытым исходным кодом. Четыре года назад компания представила NanoVDB , которая добавила поддержку GPU в OpenVDB. Это дало ускорение на порядок, обеспечив более высокую производительность и более простую разработку, а также открыло двери для моделирования и рендеринга в реальном времени.
Два года назад NVIDIA представила NeuralVDB , который строит машинное обучение на основе NanoVDB, чтобы сжать объем памяти томов VDB до 100 раз, что позволяет создателям, разработчикам и исследователям взаимодействовать с чрезвычайно большими и сложными наборами данных.
fVDB создает операторов ИИ поверх NanoVDB, чтобы разблокировать пространственный интеллект в масштабе реальности. Подайте заявку на программу раннего доступа для расширения fVDB PyTorch. fVDB также будет доступен как часть репозитория OpenVDB GitHub .
Погрузитесь глубже в fVDB в этом техническом блоге и посмотрите, как ускоренные вычисления и генеративный ИИ трансформируют отрасли и создают новые возможности для инноваций и роста, в двух беседах у камина с основателем и генеральным директором NVIDIA Дженсеном Хуангом на SIGGRAPH.
