Компания NVIDIA представила Cosmos3-H-Dreams — генеративный симулятор, предназначенный для моделирования клинических операций, в частности холецистэктомии. Модель обучалась на записях видео и кинематических данных с платформы CMR Surgical Versius. Система позволяет в реальном времени генерировать визуальный отклик тканей и инструментов на действия хирурга, обеспечивая интерактивное взаимодействие в сложных анатомических условиях. В основе решения лежит модель Cosmos3-H-Embodied-Nano с 16 млрд параметров. Для обеспечения работы в реальном времени на одной видеокарте NVIDIA RTX PRO 6000 используется библиотека FlashDreams. Разработчики отмечают, что система способна обрабатывать 28 параметров действий, включая положение манипуляторов и силу захвата. Для поддержания стабильности генерации при длительных сессиях применяется модуль FadeMem, оптимизирующий кэш внимания. NVIDIA подчеркивает, что Cosmos3-H-Dreams является исключительно исследовательским инструментом. Разработчики предупреждают, что визуальный реализм не гарантирует биомеханическую точность, и система не предназначена для использования в реальной медицинской практике или уходе за пациентами.
NVIDIA представила Cosmos3-H-Dreams для генеративной симуляции хирургических операций
NVIDIA выпустила исследовательскую модель Cosmos3-H-Dreams, способную в реальном времени генерировать видео хирургических вмешательств на основе действий робота.



