Coordination Referee

Разработка модели для диагностики качества координации в мультиагентных роях

Обзор Данные Турнирная таблица Комментарии

@monahan3620

8 сентября

"Предзагруженные веса моделей лежат по пути $HF_HOME (/opt/models/hf) — скачивать их из хаба во время запуска не получится, сети нет."

Какие модели представлены по этому пути?
Предполагается, что трейн надо запускать также внутри контейнера? Обучить локально и загрузить веса для инференса нет возможности?

@tillman2136

11 сентября

Спасибо за вопрос! в описании была неточность — мы её исправили.

Предобученных моделей в образе нет. Каталог $HF_HOME (/opt/models/hf) существует и доступен на запись, но пустой — его можно использовать как кэш внутри запуска. Формулировку в правилах и описании поправили.

Обучать модель внутри контейнера не обязательно. Допустимы оба варианта:

обучение и инференс внутри одного запуска (так работает baseline);

обучение заранее у себя, а в solution.py — только загрузка готовых весов и инференс.

Во втором случае веса кладутся в сам архив сабмита рядом с solution.py и загружаются по относительному пути. Ограничения: размер файла сабмита до 5 ГБ, дисковая квота команды 10 ГБ, интернета внутри job'а нет.

@strosin9861

8 сентября

Здравствуйте! На ограниченном наборе test.csv содержит только run_id, label, success, fault_turn. Исходных данных (goal, messages и других полей) нет, поэтому решение останавливается. Проверьте, пожалуйста, правильный ли тестовый файл подключён в пайплайне.

@yost4915

9 сентября

у меня так же было. на ограниченном сете тест это просто заглушка из run_id, label, success, fault_turn, smoke - проверка что скрипт запускается. сделала так, чтобы solution.py не падал на пустых колонках и просто писал валидный predictions.csv, шаг прошел, а потом уже скорится полный тест со всеми полями

@ankunding8649

10 сентября

Этот баг исправили?

@tillman2136

11 сентября

Спасибо за вопрос! Вы правы, это наша ошибка в конфигурации шага: на ограниченном прогоне подключён не тот артефакт. Там должен быть срез из 200 ранов с полными полями (run_id, goal, agents, shared_state, messages, artifacts, topology), а не заглушка с колонками сабмита. Исправляем.

На полном прогоне и на скоринг это не влияет — туда подаётся настоящий тест со всеми полями, что подтверждается прошедшими сабмитами.

Обходной путь, о котором написали в соседнем комментарии, рабочий и ничего не нарушает: сделать solution.py устойчивым к неожиданной схеме входного файла и в таком случае писать валидный predictions.csv. Это в любом случае хорошая практика — защита от пустых и неполных колонок пригодится и на боевых данных, где часть телеметрии намеренно потеряна.

@renner4544

8 сентября

Привет, щас можно сабмитить только 1 раз за 24 часа, хотя в описании написано "Участник или Команда Участников может загрузить не более 5 (пяти) решений ежедневно с 07.09.2026 до 20.10.2026 включительно."

@blanda7513

9 сентября

Здравствуйте. Суточный лимит загрузок скорректирован.

@haley8371

8 сентября

Загрузил единый файл solutoion.py, запускаю, но пеплайн падает на
"(!) 08. Статус распаковки данных

Code run"
В чем может быть причина? Детали ошибки ни как не выяснить?
Похоже что валится на распаковке данных с прошлого шага
"Статус загрузки данных чемпионата (ограниченный сет)"

@yost4915

9 сентября

платформа ждет архив и пытается его распаковать, а .py распаковать не может
нужен zip

@blanda7513

9 сентября

Здравствуйте. В качестве решения необходимо загружать .zip архив

@ankunding8649

9 сентября

Здравствуйте! В правилах указано, что solution.py получает train.csv и test.csv, а обучение и инференс должны уложиться в 30 минут.
Обязательно ли обучать модель внутри этого запуска, или разрешено заранее обучить её на разрешённых данных и в solution.py только загрузить готовые веса и выполнить инференс?
Если предварительное обучение разрешено, как передать собственные веса на платформу и какие действуют ограничения на их размер? Можно ли таким образом передать дообученную открытую модель вместе с LoRA-адаптером?

@tillman2136

11 сентября

Предварительное обучение разрешено. Требование «обучение и инференс внутри одного запуска» означает, что запуск один и он сам производит predictions.csv, а не то, что модель обязана обучаться с нуля при каждом сабмите.

Как передать свои веса: сабмит — это zip-архив, в корне которого лежит solution.py, а рядом — всё, что нужно решению, включая веса и вспомогательные модули. Пути к ним — относительные, от расположения solution.py:

import os, sys

HERE = os.path.dirname(os.path.abspath(__file__))

sys.path.insert(0, HERE)

weights = os.path.join(HERE, "weights", "model.safetensors")

Ограничения: максимальный размер файла сабмита — 5 ГБ, дисковая квота команды — 10 ГБ, интернета внутри job'а нет, обращаться к путям вне рабочей директории нельзя.

Дообученная открытая модель вместе с LoRA-адаптером — допустима, если лицензия модели позволяет использование в соревнованиях и всё необходимое лежит в архиве (п. 5.1 правил). Внешние общедоступные данные для обучения тоже разрешены, если они не связаны с этим датасетом (п. 5.2).

Важно для призовых мест: победители предоставляют код и инструкцию по воспроизведению, включая скрипт предварительного обучения, и результат должен воспроизводиться при повторном запуске (п. 6).

@medhurst7646

9 сентября

"Боевые train.csv и test.csv выдаются платформой в разделе «Данные»; датасет в data/ — демонстрационный, той же природы." - я один не нахожу их в разделе Данные?

@prohaska9375

10 сентября

См https://github.com/dmayudin/coordination-referee/tree/main/data

@tillman2136

11 сентября

Датасет выкладываем в раздел «Данные», приносим извинения за задержку — сообщим отдельно, как только он будет доступен.

Уточнение по ссылке на GitHub: в репозитории лежит демонстрационный датасет той же природы — он нужен для локальной отладки, чтобы запустить baseline и проверить формат ответа, не дожидаясь доступа. Сабмиты считаются по боевому тесту с платформы, и run_id там другие: предсказания, сделанные для файла из репозитория, скорер не примет.

@konopelski3253

16 сентября

Тоже интересно, дадут ли.

@kertzmann4924

11 сентября

Здравствуйте!

Я не могу загрузить решение. С момента регистрации моей команды прошло уже более 30 минут, но раздел так и не стал активным, из-за чего я не могу отправить своё решение.

Пожалуйста, проверьте этот вопрос и активируйте раздел, либо подскажите, как поступить дальше.
- ID: kertzmann4924

Screenshot from 2026-09-11 13-13-03.png

png (43 Kb)

@blanda7513

11 сентября

Добрый день. Пожалуйста, попробуйте выйти из команды и зарегистрироваться в задачу повторно.

@breitenberg6748

11 сентября

16. Статус работы кода инференса (полный сет)

Code run Кто-нибудь сталкивался с таким? При этом светится все красным. И дальше оценка модели не идет. На моей машине ничего не падает

@blanda7513

15 сентября

Можно название команды и время запуска?

@braun7332

15 сентября

Добрый вечер! А можете проверить почему у меня на 10. статусе ограниченный сет. Тест прилетает с 4 колонками ['run_id', 'label', 'success', 'fault_turn'] , трейн с 10 как надо. Запуск 15.09.2026 23:32 команда Без батча

@braun7332

18 сентября

куда в тех поддержку писать? раз тут не читают

@tillman2136

29 сентября

Добрый день! Да, это ошибка конфигурации пробного шага: на него подключён неверный артефакт, исправляем.

Пока чинится — сделайте решение устойчивым к неполному входу: если в файле нет полей рана, пишите валидный predictions.csv с константным ответом и завершайтесь с нулевым кодом. В эталонном решении в репозитории такая защита уже реализована, можно взять оттуда:

RUN_COLUMNS = ["goal", "agents", "shared_state", "messages", "artifacts", "topology"]
if any(c not in test.columns for c in RUN_COLUMNS):
pd.DataFrame({"run_id": test["run_id"], "label": "clean",
"success": 1, "fault_turn": -1}).to_csv(args.output, index=False)
return

Защита от неполных данных пригодится и на боевом прогоне: там у части ранов намеренно потеряна телеметрия — пустые intent, срезанные refs, обрезанные тексты.

@renner4544

16 сентября

Привет, а подскажите, ограничение в 5гб архива как-то проверяться будет? Просто сама платформа разрешает загружать и больше, и в целом можно придумать как дополнительные гб могут дать прирост к скору, так что хочется понять, что будет с теми сабмитами, которые превышают размер, но попали в топ на привате.

@tillman2136

16 сентября

Добрый вечер! Не будет проверяться (можно загружать)

@monahan3620

16 сентября

Т.е. главный критерий - уложиться в 30 минут? Ограничений по размеру архива/моделей нет?

@schoen1993

16 сентября

Доброго времени суток
Ограничения по памяти есть?
30 минут - это время выполнения скрипта на сете. Отдельно для тестового, отдельно для основного, верно? Не суммарное время на всю работу?

16.09.2026 22:44мск

16.09.2026 14:31мск
Команда "Соколы"
Code Run - превышен лимит 30 минут на основной сет или на всю задачу?

@blanda7513

28 сентября

Добрый день. Временной лимит успановлен на полное выполнение скрипта solution.py

@tillman2136

29 сентября

Добрый день! 8 vCPU, 32 ГБ RAM, до 1×A100 40 ГБ, дисковая квота команды — 10 ГБ.

Лимит времени считается на каждый прогон отдельно, не суммарно: 15 минут на прогон по выборке и 30 минут на прогон по полному тестовому датасету. Публичный и финальный прогоны платформа запускает по отдельности одной и той же командой. В эти 30 минут входит всё, что делает solution.py: чтение данных, обучение, инференс и запись ответа.

@renner4544

18 сентября

В "обзоре" и в pdf правилах написано, что "Основное ранжирование строится по Macro F1.", а остальные метрики используются только при равенстве macro f1.
при этом на вкладке данные - "Основная метрика лидерборда — итоговый score, больше — лучше.", где скор это score = 0.50·MacroF1 + 0.25·RobustnessF1 + 0.15·SuccessF1 + 0.10·fault_turn_hit@2

так что вообще реально будет решать на привате? две противоречивые заметки, не понятно что оптимизировать? По какой метрике выбирается победитель?

@blanda7513

28 сентября

Добрый день. Основная метрика лидерборда — итоговый score, больше — лучше.

@tillman2136

29 сентября

Добрый день! Победитель определяется по итоговому score:

score = 0.50·MacroF1 + 0.25·RobustnessF1 + 0.15·SuccessF1 + 0.10·fault_turn_hit@2

Формулировка «основное ранжирование строится по Macro F1» в обзоре и PDF-правилах некорректна, приносим извинения за путаницу — исправляем. Скорер считает именно композит, лидерборд сортируется по нему же. Macro F1 — компонент композита с весом 0.5, отдельной «главной метрикой» он не является.

Оптимизировать нужно score.

@pacocha6731

19 сентября

Разрешено ли включить демонстрационный датасет из официального репозитория (github.com/dmayudin/coordination-referee, data/train.csv, 10 000 размеченных ранов) в архив сабмита и обучать модель на объединении с боевым train.csv?

П. 5.2 разрешает внешние общедоступные данные, «если они не связаны с этим датасетом». Демонстрационный набор формально связан, поэтому сами трактовать не беремся. При этом он опубликован вами же, разметки теста не содержит, а боевой train.csv в разделе «Данные» до сих пор не выложен, так что для участников это единственные доступные размеченные данные помимо тех, что получает job.

@tillman2136

29 сентября

Добрый день!

Да, разрешено. Это официальные материалы стартового комплекта, доступные всем участникам одновременно. Демо-набор сгенерирован отдельно и разметки боевого теста не содержит — восстановить по нему ответы невозможно.

В правила добавлен пункт 5.3, снимающий двусмысленность с п. 5.2: ограничение «данные, не связанные с этим датасетом» относится к посторонним источникам, а не к нашим же опубликованным материалам.

@larkin5154

24 сентября

Добрый вечер!
Подскажите, когда будет выложен боевой train.csv в разделе «Данные»?

@wilderman1475

28 сентября

В ранах с несколькими аномалиями размечается «первый внесённый» сбой. Уточните, пожалуйста, в каком смысле «первый»: по номеру хода в логе, по порядку подзадач в плане или по порядку применения инъекций в генераторе? И гарантируется ли, что в логе есть наблюдаемое различие между корневым и вторичным сбоем?

@tillman2136

29 сентября

Добрый день!

Размечается основной сбой — тот, на который указывает fault_turn.

Важное уточнение: «основной» не означает «самый ранний по ходам». Вторичная аномалия может находиться в логе как позже основной, так и раньше неё. Гарантии наблюдаемого различия между основным и вторичным сбоем нет — оба проявляются полноценными сигнатурами.

Это заложенная в задачу неоднозначность: примерно четверть сбойных ранов принципиально допускает две трактовки, и она одинаково ограничивает достижимую точность для всех участников. Формулировка «первый внесённый» в описании была неточной — мы её исправили в docs/ontology.md

@larkin5154

28 сентября

а вебинара по итогу не было?

@yost4915

28 сентября

был, сказали, что через несколько дней будет запись

@yost4915

28 сентября

на вебинаре прозвучало, что размер решения может быть до 100 ГБ, а в обзоре указано 5 ГБ. какой лимит действует для решения?

@blanda7513

29 сентября

Нет. На вебинаре было сказано, что 100 гб это общий размер тома, который монтируется к окружению вашей команды. Из этого объема необходимо вычесть файловые артефакты которые загружаются на диск до вашего решения (примерно 1 гб). Кроме того следует помнить, что в оставшееся место должен поместиться как сам архив с вашим решением, так и он же в распакованном виде. Таким образом - "безопасный" максимальный размер решения не должен превышать 40 Гб.

@tillman2136

30 сентября

Всем привет! 👋

Спасибо за участие в воркшопе и за вопросы! По части из них мы обещали вернуться — собрали ответы ниже.

1 вопрос. Для fault_turn_hit@2: учитывается ли попадание turn, если класс предсказан неверно?

Ответ:

Нет. fault_turn_hit@2 требует одновременно верного класса и попадания в ход с точностью ±2. Если класс предсказан неверно, ход не засчитывается, каким бы точным он ни был. Так сделано намеренно: локализацию нельзя набирать отдельно от классификации.

2 вопрос. train.csv/test.csv доступные при сабмите и те, что доступны в гите, отличаются или нет?

Ответ:

Да, это разные наборы. На платформе — боевой датасет; в репозитории в папке data/ — демонстрационный, сгенерированный отдельно, той же природы. run_id у них разные: предсказания, сделанные для демо-файла, скорер не примет.

Боевой train.csv и публичную часть теста мы выложили в раздел «Данные».

3 вопрос. Вопрос про Robustness F1. В описании данных сказано, что это Macro F1 на сдвинутой части теста: около 33 % ранов, где больше агентов, длиннее логи и другие формулировки. А на странице задачи написано, что Robustness считается на "скрытом adversarial-подмножестве приватной части". Это одно и то же, те же сдвинутые раны? И колонка Robustness на публичном лидерборде считается так же, по сдвинутым ранам паблика?

Ответ:

Нет, формулировка на странице задачи неточна — приводим её к описанию данных.

Robustness F1 считается на обычных ранах со сдвигом распределения: длиннее траектории, больше агентов, редкие топологии, другой домен и другой словарь формулировок. Это примерно треть тестовых ранов. Специально сконструированных против решений примеров в датасете нет.

На публичном лидерборде метрика считается по сдвинутым ранам публичной части, на финальном — по сдвинутым ранам приватной.

4 вопрос. В правилах написано, что решения призёров могут перезапустить, чтобы проверить воспроизводимость. Два уточнения. Первое: перезапуск будет на той же машине, что и на лидерборде, с тем же GPU? Второе: на GPU повторный запуск иногда даёт чуть-чуть другие предсказания, даже при фиксированном seed. Если метрика при перезапуске отличается на тысячные, что пойдёт в зачёт: результат с лидерборда или новый? И есть ли допустимое расхождение?

Ответ:

Перезапуск выполняется на той же конфигурации: 8 vCPU, 32 ГБ, 1×A100.

В зачёт идёт результат с лидерборда. Перезапуск проверяет не побитовое совпадение, а отсутствие грубого расхождения: допустимое отклонение итогового скора — 0.005 абсолютных. Расхождение в пределах допуска считается нормальным недетерминизмом GPU и на результат не влияет. Отклонение больше допуска разбирается индивидуально.

Нет, формулировка на странице задачи неточна — приводим её к описанию данных.

@larkin5154

30 сентября

Добрый день!
Во вкладке "Данные" боевой train.csv и test.csv до сих пор отсутствует, не отображается возможность что-то скачать, как в других соревнованиях. Подскажите, пожалуйста, когда вы добавите файлы? Или может дадите ссылку на другой источник этих данных

@bahringer3641

30 сентября

Здравствуйте! Наш сабмит завершился с ошибкой, но в интерфейсе не видно причины.
Просим помочь с диагностикой — со своей стороны мы уже проверили архив локально.

Что отправляли:
  архив:   submission_HARDSplit_MIXOLD_20260927.zip
  размер:  3 466 549 547 байт (3.23 ГиБ), 71 файл
  sha256:  5d708742f54a23c1faec9dc8449254f799e078fbd851d02a8ebe6030490f16c4
  (если это другой сабмит — идентификатор джобы: <пришлите ваш job/run id>)

Что у нас: этот же архив офлайн, без интернета, на той же команде
(solution.py --train ... --test ... --output ...) отрабатывает до конца,
exit code 0, все 4000 тестовых строк, ≈22 минуты на RTX 4060 Ti,
пик RAM ≈6.9 ГиБ, пик VRAM ≈6.6 ГиБ.

Вопросы:
1. Идентификатор джобы и её время начала/окончания, итоговая длительность.
2. Полный stdout/stderr джобы — в первую очередь последние 50 строк до ошибки.
3. На какой стадии упало: распаковка архива / старт / загрузка моделей /
   инференс / запись ответа.
4. Тип и код ошибки: лимит времени, OOM, отсутствие пакета, ошибка CUDA/driver
   или что-то ещё.
5. Окружение и железо: GPU (модель), драйвер, версия CUDA, CPU-only или GPU;
   версии torch и transformers; поддерживается ли bf16.
6. Какие лимиты действуют: время работы, оперативная память, диск
   (нам важно знать и лимит на распакованный размер — у нас 3.98 ГиБ).
7. Запускались ли ранее наши другие архивы того же пайплайна (например
   submission_HARDSplit_A_20260927.zip, 666 МБ) и завершались ли они успешно.
   Это позволит понять, дело в общем окружении или в конкретном компоненте.

Спасибо!

@adams8223

2 октября

Здравствуйте! Хочу уточнить, что именно подразумевается под запретом «обратной разработки генератора» в FAQ.

На опубликованной обучающей выборке я обнаружил закономерность: числовой порядок идентификаторов артефактов (art_…) и номера агентов (a1, a2, …) позволяют приблизительно восстановить циклический порядок распределения подзадач. На этой основе я строю признаки пропущенных доставок: ожидаемая подзадача есть, а соответствующего результата нет.

run_id при построении признаков и предсказаний не используется. Закономерность выявлена анализом доступных участникам данных.

Допустим ли такой способ построения признаков при действующих правилах? Прошу уточнить, распространяется ли запрет обратной разработки генератора на восстановление подобных закономерностей по обучающей выборке.

@trantow2337

6 октября

Тоже очень жду ответа. Этот фактор очень важен

@okuneva4651

вчера

@tillman2136, можете ответить, пожалуйста?

@legros5667

5 октября

Здравствуйте!

У меня почему завис этап очистки диска, можете исправить?

@braun7332

5 октября

Здравствуйте!

завис этап очистки дискового пространства еще вчера.

@pacocha6731

5 октября

Здравствуйте! у меня тоже завис первый шаг!

@pagac5832

5 октября

Здравствуйте! Тоже завис первый шаг

@bins8017

5 октября

Здравствуйте, тоже завис первый шаг!!

@parker3083

5 октября

Доброе утро, завис первый шаг

@wilderman1475

5 октября

Доброе утро, завис первый шаг

@konopelski3253

5 октября

Добрый день, завис первый шаг

@wilderman1475

5 октября

А куда писать с вчерашнего дня висит на очистке диска ?

@konopelski3253

5 октября

Вроде пошло

@pagac5832

5 октября

Зависшее решение проскорилось, отправил новое, у него опять очистка дискового пространства уже минут 10

@bahringer3641

6 октября

Здравствуйте! Наш сабмит завершился с ошибкой, но в интерфейсе не видно причины.
Просим помочь с диагностикой submit от 06.10.2026 17:04
Голицын Вячеслав (@webzuweb)

Не могу понять, почему локально у меня все идет, у Вас ошибка
16. Статус работы кода инференса (полный сет)
Code run

@gleichner1254

6 октября

У меня точно такая же проблема

@wyman7307

7 октября

Subject: Submission stuck at "Распаковка данных" (data unpacking) step

Hello organizers,

I'm team member wyman7307. My submission submission_final.zip (52.68 MB) is failing at step 07 "Распаковка данных" / step 09 "Запуск кода инференса".

What I've verified on my end:

ZIP structure is flat: files at root level, no subfolders
solution.py is at the ZIP root
solution.py follows the required invocation: python solution.py --train <path> --test <path> --output <path>
All required dependencies included: step3_features.py, classes.json, base_cols_order.json, 25 .pkl model files
Locally the script runs end-to-end in ~10 minutes and produces a valid 4000-row predictions.csv
No duplicate run_ids, all labels are from the allowed 7 classes

Questions:

Is the ZIP structure acceptable?
Is the job stuck at unpacking due to platform load, or is there a specific issue with my upload?
Could you share the job log or stderr from the failed run so I can diagnose?

Thank you.

@wyman7307

7 октября

Тема: Заявка зависает на шаге "Распаковка данных"

Здравствуйте, организаторы,

Я участник команды wyman7307. Моя заявка submission_final.zip (52.68 МБ) не проходит шаг 07 "Распаковка данных" / шаг 09 "Запуск кода инференса".

Что я проверил со своей стороны:

Структура ZIP — плоская: файлы в корне, без вложенных папок
solution.py находится в корне ZIP
solution.py поддерживает требуемый вызов: python solution.py --train <path> --test <path> --output <path>
Все зависимости включены: step3_features.py, classes.json, base_cols_order.json, 25 файлов моделей .pkl
Локально скрипт выполняется за ~10 минут и создаёт корректный predictions.csv на 4000 строк
Нет дублирующихся run_id, все метки из разрешённых 7 классов

Вопросы:

Приемлема ли структура ZIP?
Зависание на распаковке — это из-за нагрузки на платформу или есть конкретная проблема с моей заявкой?
Можете ли вы поделиться логом задания или stderr упавшего запуска, чтобы я мог диагностировать?

Спасибо.

@marks8407

7 октября

Здравствуйте! Вопрос по документации к ранам с двумя аномалиями.

Если на него нельзя ответить без раскрытия устройства генератора - окей, но на всякий случай хочу спросить.

В версии ontology.md до 28.09 основной сбой описывался как внесенный в план первым. В текущей версии и в FAQ формулировка другая: основной — тот, на который указывает fault_turn, он не обязан быть самым ранним, и наблюдаемого различия между основным и вторичным может не быть (а может и быть).

Уточните, пожалуйста: прежняя формулировка была убрана как неточная, то есть основной сбой не обязательно внесен в план первым, или как избыточная, то есть она верна, но вы решили ее не фиксировать? Хочу просто понять, корректно ли опираться на ранний текст документации.

Спасибо!

@bahringer3641

7 октября

07.10.2026 12:44 Голицын Вячеслав (@webzuweb)

Не могу понять, почему локально у меня все идет, у Вас ошибка

16. Статус работы кода инференса (полный сет)

Code run

@bahringer3641

7 октября

07.10.2026 00:37 Голицын Вячеслав (@webzuweb)

Не могу понять, почему локально у меня все идет, у Вас ошибка

16. Статус работы кода инференса (полный сет)

Code run

@bahringer3641

7 октября

06.10.2026 21:13 Голицын Вячеслав (@webzuweb)

Не могу понять, почему локально у меня все идет, у Вас ошибка

16. Статус работы кода инференса (полный сет)

Code run

@wyman7307

8 октября

what is your score brohhh ??

@dicki2254

10 октября

В ontology.md сказано, что метка - это доминирующий сбой, "внесённый в план первым", а у ~25% ранов со сбоем есть вторичная неразмеченная аномалия. Восстановимо ли доминирование из лога (по документированным сигналам), или оно определяется скрытым состоянием генератора? Есть ли правило выбора между двумя полностью проявленными аномалиями, которое вы можете раскрыть?

@dicki2254

10 октября

Доброго времени суток. upd
На странице задачи указан фиксированный приоритет корневой причины (dropped_handoff > duplicated_work > deadlock > conflict > goal_drift > runaway_loop > clean), а в ontology.md сказано, что метка соответствует аномалии, внесённой в план первой, и что у ~25% ранов со сбоем есть вторичная неразмеченная аномалия. Эти правила дают разные ответы.

В train среди ранов, где явно есть и конфликт (>=3 перезаписей одного ключа shared_state), и дрейф (артефакт с subtask=off_topic), метка goal_drift у 46 из 89, conflict у 43 из 89. Приоритет conflict > goal_drift здесь не выполняется.

Мои вопросы такие)

1. Какое правило выбора метки действует в разметке train и private?

2. Восстановимо ли оно из лога по документированным полям (messages, shared_state, artifacts, agents, topology), или определяется скрытым состоянием генератора?

3. Совпадает ли правило в train и в private?

@bahringer3641

10 октября

Здесь кто-то отвечает вообще?Команда - Голицын Вячеслав (@webzuweb)

Не могу понять, почему локально у меня все идет, у Вас ошибка

16. Статус работы кода инференса (полный сет)

Code run

@bahringer3641

10 октября

Здесь кто-то отвечает вообще?Команда - Голицын Вячеслав (@webzuweb)

Не могу понять, почему локально у меня все идет, у Вас ошибка

16. Статус работы кода инференса (полный сет)

Code run

@bahringer3641

10 октября

Здесь кто-то отвечает вообще? Команда - Голицын Вячеслав (@webzuweb)

Не могу понять, почему локально у меня все идет, у Вас ошибка

16. Статус работы кода инференса (полный сет)

Code run

@bahringer3641

10 октября

Здесь кто-то отвечает вообще? Команда - Голицын Вячеслав (@webzuweb)

Не могу понять, почему локально у меня все идет, у Вас ошибка

16. Статус работы кода инференса (полный сет)

Code run

Просьба помочь. с 30.09 не могу получить ответ.

@bahringer3641

10 октября

Здесь кто-то отвечает вообще? Команда - Голицын Вячеслав (@webzuweb)

Не могу понять, почему локально у меня все идет, у Вас ошибка

16. Статус работы кода инференса (полный сет)

Code run

Просьба помочь. с 30.09 не могу получить ответ.

@yost4915

10 октября

попробуй на почту написать: support@gitverse.ru

довольно оперативно отвечают

@ortiz6199

вчера

Здравствуйте! Вы пишете, что различия между основным и вторичным сбоем в логе нет и неоднозначность одинаково ограничивает всех. Похоже, в данных есть косвенный след порядка генерации: списки shared_state и artifacts в большинстве ранов не отсортированы по t (по t упорядочены лишь ~24% и ~12% ранов), и порядок записей в них, по-видимому, отражает порядок внесения аномалий. Это может позволять различать основной и вторичный сбой не по содержанию лога. Допустимо ли использовать порядок записей в этих списках как признак (или это подпадает под п. 4.1)? И планируете ли отсортировать их по t в боевых данных?

Coordination Referee

Комментарии (1)

Комментарии (3)

Комментарии (1)

Комментарии (2)

Комментарии (1)

Комментарии (3)

Комментарии (1)

Комментарии (1)

Комментарии (2)

Комментарии (1)

Комментарии (2)

Комментарии (2)

Комментарии (1)

Комментарии (1)

Комментарии (1)

Комментарии (1)

Комментарии (1)

Комментарии (2)

Комментарии (1)

Комментарии (1)

Комментарии (1)

Комментарии (1)

Комментарии (3)

Комментарии (1)

Комментарии (2)

Комментарии (1)

Комментарии (3)

Комментарии (1)

Комментарии (1)

Комментарии (2)

Комментарии (1)

Комментарии (2)

Комментарии (2)

Комментарии (1)

Комментарии (1)

Комментарии (1)

Комментарии (1)

Комментарии (1)

Комментарии (2)

Комментарии (1)

Комментарии (1)

Комментарии (1)