Vision-Action Data Factory

Данные

Для решения задачи Участники самостоятельно загружают робототехнические и эгоцентрические данные из следующих открытых источников:

• BridgeData2, LeRobot v3 — commit b96f7216e3cff58007884656a81584c857c185ae
• Fractal, LeRobot v3 — commit fc006b5dc812220645a2e6dd0b68a0a03bd0ac6c
• Language Table, LeRobot v3 — commit d54542e0eebf8084edb10e2c67ef5b94bd41fcc4
• Egocentric-100K — commit fae604b751b25337d6fd8c4c53e595910c28f68f

Данные содержат робототехнические эпизоды и эгоцентрические видеозаписи, которые могут использоваться для построения vision-language датасета. Итоговый датасет для дообучения VLM должен быть представлен в формате ShareGPT JSONL. Требования к его структуре и пример записи приведены в документации participant.zip.

Участникам также предоставляются следующие материалы:

• baseline.zip — базовый пайплайн автоматической разметки изображений с использованием YOLOv8, SAM2 и VLM;
• participant.zip — код для дообучения SmolVLM2 на созданном ShareGPT JSONL, последующего обучения action-эксперта SmolVLA и локальной проверки решения;
• submission.zip — пример структуры итогового решения, загружаемого на платформу.