Gaussian Splatting: как технология меняет всю конвейер от сканирования до релиза

Неделю назад я узнал, что такое Gaussian Splatting, и теперь это грозит стать моей новой фиксацией. По сути, это техника рендеринга, которая даёт фотореалистичную графику при затратах ресурсов, в разы меньших, чем у альтернативных подходов. Мне уже захотелось посвятить этому весь текст на выходные.

Первое: произносится это как «ГАУ-сиан», а не как я говорил неправильно всю прошлую неделю. Название идёт от немецкого математика Иоганна Карла Фридриха Гаусса — того самого, чьё имя стоит на каких-то графиках, которые я смутно помню со школы. Обещаю, мат здесь по минимуму. Всё началось неделю назад, когда я наткнулся на фотореалистичный FPS, который крутится прямо в браузере — благодаря Gaussian Splatting.

Техника в двух словах

Логику шутера создал Иаков Сумыгин (Iakov Sumygin), инженер в Snap Inc. Он свел меня с художником, который сделал окружение для этой браузерной игры — Кристофом Шинделаром (Christoph Schindelar). Кристоф называет себя «сканирующим специалистом» и раньше работал в Quixel, компании Epic, которая может похвастаться самой большой библиотекой фотограмметрических ассетов в мире.

«Для простого человека 3D Gaussian Splatting можно сравнить с очень продвинутой системой частиц на базе спрайтов», — рассказывает Шинделар. «В ранних реализациях в Unreal Engine сплатты даже рендерились через Niagara, встроенную систему частиц».

Гауссиан ведёт себя совсем не как привычные полигоны на 3D-модели дерева. Я специалист по литературе, так что позволю себе сравнение: представьте одиночное семечко одуванчика — оно не производит впечатления. Но собери множество таких семечек вместе, и получится мягкая, объёмная форма. Точно так же работает и в графике: каждый сплатт — это маленький объём данных, который в сумме с тысячами других создаёт полноценный, высокодетальный ассет в реальном времени.

Если посмотреть на браузерный FPS внимательнее, видно, что в некоторых местах окружение имеет почти импрессионистичный вид — именно из-за множества 3D Гауссиан, которые визуально сливаются в единое целое.

Техническая сторона

Здесь придётся чуть углубиться в математику. Как говорит Шинделар: «Каждый сплатт — это трёхмерный гауссиан, который проецируется на экран как эллипс. Он может растягиваться по-разному в разных направлениях, имеет прозрачность и может менять цвет в зависимости от угла обзора благодаря сферическим гармоникам».

Да, это сложнее, чем просто семечко одуванчика. Но главное, из-за чего это работает: «Поскольку рендеринг в основном состоит из проецирования и блендинга этих сплаттов на GPU, это может быть чертовски быстро».

Революция конвейера разработки

Gaussian Splatting — это не просто быстро для твоего ПК. Это меняет саму цепочку производства ассета.

Шинделар работал с разными техниками сканирования и создавал игровые ассеты на основе сканов. При традиционном подходе это требует «множество ручной и полуавтоматической работы: оптимизация, очистка геометрии, ретопология, разворот UV, проецирование текстур, запечение, настройка материалов и ещё куча шагов».

На примере детского ботинка можно увидеть разницу. Для классической модели использовали лазерное сканирование для чистой геометрии, фотограмметрию для текстур и фотометрическое сканирование для деталей нормалей. Из-за такого подхода шнурки пришлось добавлять отдельно, уже вручную. Шинделар также создал версию этого же ботинка как гауссиан-сплатт, чтобы можно было сравнить — и разница очевидна.

«Оптимизированные традиционные конвейеры с мешем и текстурами тоже могут быть очень быстрыми», — уточняет Шинделар. Но сплаттинг-конвейер срезает львиную долю этой работы.

«В Gaussian Splatting многие из этих этапов можно почти полностью пропустить, — продолжает он. — Вместо того чтобы перестраивать отсканированную реальность в чистую геометрию и текстуры, процесс обучения сразу преобразует захваченные данные в интерактивный в реальном времени формат. Это значит, что огромный объём традиционной работы по обработке сканов можно просто избежать».

От сканирования к игре

Браузерный FPS создан на PlayCanvas — open-source движке, который только что представил SplatTransform 2.0, инструмент, автоматически генерирующий коллизию для сплаттов. Без коллизий игроки просто пройдут сквозь окружение, так что это ещё один шаг, упрощающий путь от сканирования к готовому интерактивному ассету.

«Обучение Gaussian Splatting может воспроизвести внешний вид реального мира так, как традиционные методы не могут, — говорит Шинделар. — Теперь мы можем захватывать и воспроизводить волосы, полупрозрачность, трансллюминесценцию, подповерхностное рассеяние света, тонкую листву и другие сложные визуальные явления, которые крайне сложно пересчитать в чистую геометрию традиционными методами».

«Прямая связь между отсканированными данными реального мира и готовым к использованию в реальном времени ассетом — вот что делает Gaussian Splatting интересным, — добавляет он. — Это не просто трюк с рендерингом — это меняет весь конвейер от сканирования до доставки игрока».

Куда это может привести

Особенно интересна потенциальная роль Gaussian Splatting для FMV-игр и видео. FMV-проекты привлекают мне именно потому, что живое видео — это экономичный способ создать зрелищную историю. Сплатты могли бы вдохнуть новую жизнь в весь жанр. Фотограмметрия требует неподвижного объекта и дорогого оборудования, а сплаттинг намного более гибкий. В теории, несколько проходов дрона над зданием или даже видео со смартфона могло бы стать основой для гауссиан-модели.

Это открывает двери для маленьких команд и инди-проектов. Хотя тут есть подвох: фотореалистичные окружения часто сложны для понимания игроком — отсюда и вся эта жёлтая краска, которой помечают интерактивные объекты в современных фотореалистичных играх. Пока что ни один крупный релиз не использовал Gaussian Splatting для создания 3D-ассетов, так что время покажет, сможет ли техника вырваться из ниши энтузиастов и покорить более широкую аудиторию. А пока для просмотра сплаттов есть SuperSplat и сабреддит, посвящённый Gaussian Splatting.