Agent-as-Judge

Здравствуйте, сейчас я просматриваю датасет, и у меня появились вопросы по его разметке:

Пример 1
```
### Задание для оценки: Сложите два числа: 6328 + 7522 =

### Эталонный ответ:

13850

### Ответ для оценки:

6328 + 7522 = 13840

### Критерий оценки:

Правильность ответа и формата

### Шкала оценивания по критерию:

0: Ответ содержит ошибки и не выполнены требования из инструкции.

1: Формат ответа совпадает с требуемым в инструкции, но ответ содержит ошибки.

2: Ответ правильный, но не выполнены требования из инструкции.

3: Ответ правильный и соответствует требованиям формата.
```

Оценка эксперта (судя по датасету): 1, но здесь должно ведь быть 0, так как формат неправильный.

Пример 2
```
### Задание для оценки:

Реши математическую задачу на сложение чисел. Выведи ответ в формате "number", где number - число, которое является результатом сложения.

Ответ:

### Эталонный ответ:

56463

### Ответ для оценки:

55663

### Критерий оценки:

Правильность ответа и формата

### Шкала оценивания по критерию:

0: Ответ содержит ошибки и не выполнены требования из инструкции.

1: Формат ответа совпадает с требуемым в инструкции, но ответ содержит ошибки.

2: Ответ правильный, но не выполнены требования из инструкции.

3: Ответ правильный и соответствует требованиям формата.
```

Здесь вообще не описана задача

Пример 3
```
### Задание для оценки:

Реши математическую задачу на сложение чисел. Выведи ответ в формате "number", где number - число, которое является результатом сложения. Ответ:

### Эталонный ответ:

984

### Ответ для оценки:

984<end_of_turn>

### Критерий оценки:

Правильность ответа и формата

### Шкала оценивания по критерию:

0: Ответ содержит ошибки и не выполнены требования из инструкции.

1: Формат ответа совпадает с требуемым в инструкции, но ответ содержит ошибки.

2: Ответ правильный, но не выполнены требования из инструкции.

3: Ответ правильный и соответствует требованиям формата.
```

Оценка эксперта: 3, здесь нет описания задачи и формат ошибочен.

Пожалуйста, проверьте датасет!

Добавьте, пожалуйста, пример submission.zip (как архива), чтобы он запускался.

Здравствуйте!
А будут ли в ходе соревнования предоставлены данные (пример для обучения) по 2 и 3 подзадачам?

Доступен ли в этой задаче GigaChat API?

Вопросы по ограничениям.
> Размер файла с сабмитом не должен превышать 5GB.

Тут имеется в виду размер архива или размер распакованных данных?

> размер всех файлов решения во время работы и библиотек образа не должен превышать 10GB

Эти 10GB включают в себя 5Gb, которые описаны выше?

Тестовый прогон идет только на данных для публичного лидерборда, а для приватного будет отдельно после завершения соревнования?

При загрузке решения в пайплайн внизу (История запусков) иногда пропадает ячейка выбора, вчера при отправке ее вообще не было, хотя я отправлял несколько, сейчас появилась и снова пропала будто я не закидывал ничего

Появилась проблема с "Новым запуском". Невозможно загрузить решение. Кнопки для загрузки куда-то пропали.

Можно ли уточнить сколько семплов в тестовой выборке чтобы рассчитать инференс под условие работы 1 часа?

зависла задача, несколько часов крутится распаковка

Уважаемые участники. При обращении по проблеме с запуском сабмиста, указывайте, пожалуйста, имя команды и примерное время сабмита.

Здравствуйте! А можно ли попросить увидеть пример function calling промпта (пример с overview страницы) на русском языке

Здравствуйте! Уже более двух часов крутится шаг 2 статус очистки дискового пространства(( Будто бы что-то подвисло...

О и в этом конкурсе все легло. Привет от создателей памяти для ИИ)

такаяже проблема

Уважаемые участники, на настоящий момент, ранее наблюдаемый аппаратный сбой был устранен. Задача полностью функциональна.

А можно какую то шкалу выполнения когда основной дата-сет проверяется, а то непонятно выдержит ли тайм-аут решение или нет, становится понятно только когда час проходит((((

Добрый день, новая ошибка с ранерами
ℹ️ NODES INFO

Nodes: hpcsrv-048.k2

2025-09-22T05:38:52Z Job lm-mpi-job-784af365-d21a-4265-879f-265eb9e81260 (binary) is starting...

2025-09-22T05:38:52Z cat: /home/jovyan/.ssh/ai0001071-04586.pub: No such file or directory

2025-09-22T05:38:52Z 🕒 Waiting for workers to be ready... 🕒

2025-09-22T05:39:07Z Connecting to mpimaster-0 ..... Ready ✓

2025-09-22T05:39:07Z 🚀 All workers are READY 🚀

🤖 CLOUD.RU PLATFORM LOGS 🤖

ℹ️ JOB INFO

lm-mpi-job-784af365-d21a-4265-879f-265eb9e81260

Status: Failed

А когда можно ожидать решения проблемы, описанной выше?

Когда в логах нет записи об ошибке, а статус Failed?

Крутиться с вчерашнего дня 16. Статус работы кода инференса (полный сет)

Здравствуйте 18. Статус расчета метрики

Code run падает и нет логов пробовал разные решения все так же команда Владимир Калюта

Добрый день! Пропустил информацию про вебинар по задаче. Запись где то можно посмотреть?

А можно ли как-то скачать свое старое решение, которое давно было отправлено? Вижу, что его можно заново отправить на проверку, значит оно где-то сохранено?

How to submit the solution? When i tried to upload the baseline.zip it is uploading very slow, showing 7 hours to just upload. Can anyone please guide me.

Добрый день, всё таки подскажите размер приватной выборки в сравнении с публичной?

Может быть есть результаты за сколько бейзлайн выполняется на приватной части?

Два вопроса:
1. Где можно посмотреть запись вебинара?
2. Можно ли по сабмиту, который не вошел в лидерборд узнать оценки не финальной rmse общей, а по каждой из 3х задач?

остался вопрос организаторам про записи вебинаров

Если изучить примеры, то видно, что для первой задачи возможные значения оценок - {0,1,2,3}. Для второй - {0,1,2}. Для третьей - {-1,0,1,2}. Для первой задачи у нас есть возможность свериться с обучающей выборкой и понять, что там, аналогично примеру, всюду дается набор {0,1,2,3}. Однако для второй и третьей задач у нас нет возможности провалидировать диапазоны оценок. Верно ли понимаю, что в промптах для этих двух задач не будет отклонений от примеров из раздела "Обзор"? То есть для второй задачи у нас всегда только {0,1,2}, а для третьей только {-1,0,1,2}. Или же может оказаться, например {0,1,2,3} для второй и {-1,0,1} для третьей в каких-то случах?

Добрый день, команда SoloTech загружал ваш baseline.zip, скаченный сегодня и получил ошибку. Подскажите, как исправить?

ℹ️ NODES INFO

Nodes: hpcsrv-048.k2

2025-10-20T10:37:43.855057341+03:00 Job lm-mpi-job-38ad264c-83d8-4477-8aeb-7c6e7b8813c0 (binary) is starting...

2025-10-20T10:37:43.900097632+03:00 cat: /home/jovyan/.ssh/ai0001071-05180.pub: No such file or directory

2025-10-20T10:37:43.928535981+03:00 🕒 Waiting for workers to be ready... 🕒

2025-10-20T10:37:58.946455951+03:00 Connecting to mpimaster-0 ..... Ready ✓

2025-10-20T10:37:58.946515224+03:00 🚀 All workers are READY 🚀

2025-10-20T10:37:59.275492119+03:00 [1,0]<stderr>:python: can't open file '/home/jovyan/a9a6ec39-a7fa-456b-a959-065326b01da6/run.py': [Errno 2] No such file or directory

2025-10-20T10:37:59.299474510+03:00 --------------------------------------------------------------------------

2025-10-20T10:37:59.299487395+03:00 Primary job terminated normally, but 1 process returned

2025-10-20T10:37:59.299496201+03:00 a non-zero exit code. Per user-direction, the job has been aborted.

2025-10-20T10:37:59.299504237+03:00 --------------------------------------------------------------------------

2025-10-20T10:38:01.300866809+03:00 --------------------------------------------------------------------------

2025-10-20T10:38:01.300890414+03:00 mpirun detected that one or more processes exited with non-zero status, thus causing

2025-10-20T10:38:01.300898900+03:00 the job to be terminated. The first process to do so was:

2025-10-20T10:38:01.300906324+03:00

2025-10-20T10:38:01.300914189+03:00 Process name: [[13941,1],0]

2025-10-20T10:38:01.300922205+03:00 Exit code: 2

2025-10-20T10:38:01.300930019+03:00 --------------------------------------------------------------------------

🤖 CLOUD.RU PLATFORM LOGS 🤖

ℹ️ JOB INFO

lm-mpi-job-38ad264c-83d8-4477-8aeb-7c6e7b8813c0

Status: Failed

перезапустил в браузере хром до этого был сафари с тем же самым сабмитом - сработало!

Hey, can anyone help me to find the data for subtask 2. I am unable to get it from the BFCL. Can anyone suggest me what to do?

Добрый вечер, бесконечно работает очистка дискового пространства(((

Добрый день! а можно ли в соревновании написать свой кастомный run.py и использовать другие библиотеки в run.py, например peft? установлена ли она на платформе?

Эй, какой максимальный размер модели по количеству параметров ты можешь использовать для этого соревнования? Сейчас я могу использовать примерно модель с 2 миллиардами параметров. Возможно ли вообще использовать модель большего размера?

Шаг 16 время выполнения истек, можете ли вы предоставить журнал?

организаторы пожалуйста разъясните вот сейчас 27 человек занимают призовые места золото серебро бронза между ними поделится приз или получит только три первых человека?

Загрузил исправленное решение, где оказался неверный путь к файлу из бейзлайна.

Висит полчаса уже на этапе
02. Статус очистки дискового пространства

Code run

Что делать?

Или там надо было старый удалять, но сейчас это сделать невозможно.

И ещё, тут кличка странная, beatty6278.
Я вроде правильную ставил, MedAI, она опять слетела.
Я тут новый если что, условия пару дней назад смотрел, но зайти только сегодня получилось.
Поменять ее самому можно?

Это точно висит из-за очереди?
Первый сабмит быстро запустился.
Может там чистить надо всё-таки?
Модераторы, скажите?

Попытался удалить, ничего не вышло. Всё висит по-прежнему.

будет какое-то продление из-за бага?

Всё висит уже 4 часа наглухо
Есть какая-то поддержка или чат в телеграм по задаче или контесту?
Будет ли засчитана попытка и передано решение, которое я загрузил на расчёт, но не успел мне пайплайн обсчитать, чуть ниже, отдать на контест?

через 6 часов ещё 2 раза pipeline successfully started, и все на том же месте

02. Статус очистки дискового пространства

Уже 10 минут...

02. Статус очистки дискового пространства

через 7 часов ещё 2 раза pipeline successfully started, и все на том же месте

сдвинуть с этого места невозможно

пишу сюда без конца

продвинулся запуск, но висит теперь на
14. Статус распаковки данных

Code run

очень долго
а кнопка Submit неактивна

Уважаемые участники!

Для вашего удобства мы продлеваем время выбора трёх итоговых сабмитов для оценки на приватных данных до 12:00 (по МСК) 31.10.25

Для всех отправленных решений к этому времени будут рассчитаны оценки на публичной турнирной таблице.

Если Участники Конкурса не выберут три решения самостоятельно, то, по Правилам Конкурса, выбор будет сделан автоматически — на проверку уйдут три лучшие решения по скору на публичной турнирной таблице. На приватную турнирную таблицу (итоговый лидерборд) попадает одно из трех решений Задачи с лучшим значением метрики.

С уважением,

Команда AIJ Contest

моделька посчиталась, и для первого обсчёта всё не так уж и плохо, было бы, но кнопка Submit неактивна.
Вроде в таблицу попало, имя подлиннее и цифры подлиннее на лидерборде светятся.
А у меня это единственный положительный результат из 2х, поданный за 8 с лишним часов до окончания принятия решений.
Жалко, что меньше суток участвовал, мог бы и в призёры попасть и по второй задаче не успел немного подать

а приват будет только 14 числа?

Охренеть, до сих пор считаются кнопки, которые я повторно тыкал, когда думал, что все зависло. одна точно. Знал бы, доработал до топа)))

Уважаемые организаторы,

Подскажите пожалуйста, что означают три запуска от 31.10? Если это запуск из трёх лучших за всю историю, то отобранные сабмиты таковыми не являются.

ЗЫ да, галочки я не ставил, но было обозначено, что «Если Участники Конкурса не выберут три решения самостоятельно, то, по Правилам Конкурса, выбор будет сделан автоматически — на проверку уйдут три лучшие решения по скору на публичной турнирной таблице». Сейчас не так.

Vsem privet!