Участникам предоставляется полный набор исходных материалов, включающий:
- Полный inference-пайплайн базового решения, реализованный в виде воспроизводимого кода, а также веса соответствующей teacher-модели.
- Датасет, разделённый на train/test части, включающий:
- 3D-меши объектов в файле с ресширением npz(numpy) с структурой, содержащей vertices, edges
- латенты, полученные с помощью базовой модели до латентного dit-генератора
- набор рендеров, использованных для формирования соответствующих 3D-объектов в виде RGBA изображений
Для каждого семпла с уникальным id представлены файлы:
- mesh_512.npz - структура с вершинами и гранями поверхности меша. Внутри есть поля: vertices, faces
- 4view_000.npz - структура, в которой хранится информация о ракурсе съемки данного объекта с какой-то стороны. внутри есть поля: img, c2w, fov, depth, normal. Разрешение каждого кадра - (1024, 1024, 4). Необходим для визуального сравнения, а не обучения.
- cache/4view_000_dinov3.npz - это сохраненные латенты, которые подаются на вход lat_dit модели. Размерность фичей в латенте (1, 4101, 1280). Получен с помощью модели DinoV3. Название соответствует изображению и папки семпла.
- cache/vox_idxi.npz - это сохраненные грубые воксельные латенты, которые подаются на вход латентного генератора. Размерность произвольная, максимальная (64**3, 3)
Семплы взяты из датасета Objaverse, который содержит различные 3D фигурки и объекты из разных сфер деятельности.
