Agent-as-Judge

Здравствуйте, сейчас я просматриваю датасет, и у меня появились вопросы по его разметке:

Пример 1
```
### Задание для оценки: Сложите два числа: 6328 + 7522 =

### Эталонный ответ:

13850

### Ответ для оценки:

6328 + 7522 = 13840

### Критерий оценки:

Правильность ответа и формата

### Шкала оценивания по критерию:

0: Ответ содержит ошибки и не выполнены требования из инструкции.

1: Формат ответа совпадает с требуемым в инструкции, но ответ содержит ошибки.

2: Ответ правильный, но не выполнены требования из инструкции.

3: Ответ правильный и соответствует требованиям формата.
```

Оценка эксперта (судя по датасету): 1, но здесь должно ведь быть 0, так как формат неправильный.

Пример 2
```
### Задание для оценки:

Реши математическую задачу на сложение чисел. Выведи ответ в формате "number", где number - число, которое является результатом сложения.

Ответ:

### Эталонный ответ:

56463

### Ответ для оценки:

55663

### Критерий оценки:

Правильность ответа и формата

### Шкала оценивания по критерию:

0: Ответ содержит ошибки и не выполнены требования из инструкции.

1: Формат ответа совпадает с требуемым в инструкции, но ответ содержит ошибки.

2: Ответ правильный, но не выполнены требования из инструкции.

3: Ответ правильный и соответствует требованиям формата.
```

Здесь вообще не описана задача

Пример 3
```
### Задание для оценки:

Реши математическую задачу на сложение чисел. Выведи ответ в формате "number", где number - число, которое является результатом сложения. Ответ:

### Эталонный ответ:

984

### Ответ для оценки:

984<end_of_turn>

### Критерий оценки:

Правильность ответа и формата

### Шкала оценивания по критерию:

0: Ответ содержит ошибки и не выполнены требования из инструкции.

1: Формат ответа совпадает с требуемым в инструкции, но ответ содержит ошибки.

2: Ответ правильный, но не выполнены требования из инструкции.

3: Ответ правильный и соответствует требованиям формата.
```

Оценка эксперта: 3, здесь нет описания задачи и формат ошибочен.

Пожалуйста, проверьте датасет!

Добавьте, пожалуйста, пример submission.zip (как архива), чтобы он запускался.

Здравствуйте!
А будут ли в ходе соревнования предоставлены данные (пример для обучения) по 2 и 3 подзадачам?

Доступен ли в этой задаче GigaChat API?

Вопросы по ограничениям.
> Размер файла с сабмитом не должен превышать 5GB.

Тут имеется в виду размер архива или размер распакованных данных?

> размер всех файлов решения во время работы и библиотек образа не должен превышать 10GB

Эти 10GB включают в себя 5Gb, которые описаны выше?

Тестовый прогон идет только на данных для публичного лидерборда, а для приватного будет отдельно после завершения соревнования?

При загрузке решения в пайплайн внизу (История запусков) иногда пропадает ячейка выбора, вчера при отправке ее вообще не было, хотя я отправлял несколько, сейчас появилась и снова пропала будто я не закидывал ничего

Появилась проблема с "Новым запуском". Невозможно загрузить решение. Кнопки для загрузки куда-то пропали.

Можно ли уточнить сколько семплов в тестовой выборке чтобы рассчитать инференс под условие работы 1 часа?

зависла задача, несколько часов крутится распаковка

Уважаемые участники. При обращении по проблеме с запуском сабмиста, указывайте, пожалуйста, имя команды и примерное время сабмита.

Здравствуйте! А можно ли попросить увидеть пример function calling промпта (пример с overview страницы) на русском языке

Здравствуйте! Уже более двух часов крутится шаг 2 статус очистки дискового пространства(( Будто бы что-то подвисло...

О и в этом конкурсе все легло. Привет от создателей памяти для ИИ)

такаяже проблема

Уважаемые участники, на настоящий момент, ранее наблюдаемый аппаратный сбой был устранен. Задача полностью функциональна.

А можно какую то шкалу выполнения когда основной дата-сет проверяется, а то непонятно выдержит ли тайм-аут решение или нет, становится понятно только когда час проходит((((

Добрый день, новая ошибка с ранерами
ℹ️ NODES INFO

Nodes: hpcsrv-048.k2

2025-09-22T05:38:52Z Job lm-mpi-job-784af365-d21a-4265-879f-265eb9e81260 (binary) is starting...

2025-09-22T05:38:52Z cat: /home/jovyan/.ssh/ai0001071-04586.pub: No such file or directory

2025-09-22T05:38:52Z 🕒 Waiting for workers to be ready... 🕒

2025-09-22T05:39:07Z Connecting to mpimaster-0 ..... Ready ✓

2025-09-22T05:39:07Z 🚀 All workers are READY 🚀

🤖 CLOUD.RU PLATFORM LOGS 🤖

ℹ️ JOB INFO

lm-mpi-job-784af365-d21a-4265-879f-265eb9e81260

Status: Failed

А когда можно ожидать решения проблемы, описанной выше?

Когда в логах нет записи об ошибке, а статус Failed?

Крутиться с вчерашнего дня 16. Статус работы кода инференса (полный сет)

Здравствуйте 18. Статус расчета метрики

Code run падает и нет логов пробовал разные решения все так же команда Владимир Калюта

Добрый день! Пропустил информацию про вебинар по задаче. Запись где то можно посмотреть?

А можно ли как-то скачать свое старое решение, которое давно было отправлено? Вижу, что его можно заново отправить на проверку, значит оно где-то сохранено?

How to submit the solution? When i tried to upload the baseline.zip it is uploading very slow, showing 7 hours to just upload. Can anyone please guide me.

Добрый день, всё таки подскажите размер приватной выборки в сравнении с публичной?

Может быть есть результаты за сколько бейзлайн выполняется на приватной части?

Два вопроса:
1. Где можно посмотреть запись вебинара?
2. Можно ли по сабмиту, который не вошел в лидерборд узнать оценки не финальной rmse общей, а по каждой из 3х задач?

остался вопрос организаторам про записи вебинаров

Если изучить примеры, то видно, что для первой задачи возможные значения оценок - {0,1,2,3}. Для второй - {0,1,2}. Для третьей - {-1,0,1,2}. Для первой задачи у нас есть возможность свериться с обучающей выборкой и понять, что там, аналогично примеру, всюду дается набор {0,1,2,3}. Однако для второй и третьей задач у нас нет возможности провалидировать диапазоны оценок. Верно ли понимаю, что в промптах для этих двух задач не будет отклонений от примеров из раздела "Обзор"? То есть для второй задачи у нас всегда только {0,1,2}, а для третьей только {-1,0,1,2}. Или же может оказаться, например {0,1,2,3} для второй и {-1,0,1} для третьей в каких-то случах?

Добрый день, команда SoloTech загружал ваш baseline.zip, скаченный сегодня и получил ошибку. Подскажите, как исправить?

ℹ️ NODES INFO

Nodes: hpcsrv-048.k2

2025-10-20T10:37:43.855057341+03:00 Job lm-mpi-job-38ad264c-83d8-4477-8aeb-7c6e7b8813c0 (binary) is starting...

2025-10-20T10:37:43.900097632+03:00 cat: /home/jovyan/.ssh/ai0001071-05180.pub: No such file or directory

2025-10-20T10:37:43.928535981+03:00 🕒 Waiting for workers to be ready... 🕒

2025-10-20T10:37:58.946455951+03:00 Connecting to mpimaster-0 ..... Ready ✓

2025-10-20T10:37:58.946515224+03:00 🚀 All workers are READY 🚀

2025-10-20T10:37:59.275492119+03:00 [1,0]<stderr>:python: can't open file '/home/jovyan/a9a6ec39-a7fa-456b-a959-065326b01da6/run.py': [Errno 2] No such file or directory

2025-10-20T10:37:59.299474510+03:00 --------------------------------------------------------------------------

2025-10-20T10:37:59.299487395+03:00 Primary job terminated normally, but 1 process returned

2025-10-20T10:37:59.299496201+03:00 a non-zero exit code. Per user-direction, the job has been aborted.

2025-10-20T10:37:59.299504237+03:00 --------------------------------------------------------------------------

2025-10-20T10:38:01.300866809+03:00 --------------------------------------------------------------------------

2025-10-20T10:38:01.300890414+03:00 mpirun detected that one or more processes exited with non-zero status, thus causing

2025-10-20T10:38:01.300898900+03:00 the job to be terminated. The first process to do so was:

2025-10-20T10:38:01.300906324+03:00

2025-10-20T10:38:01.300914189+03:00 Process name: [[13941,1],0]

2025-10-20T10:38:01.300922205+03:00 Exit code: 2

2025-10-20T10:38:01.300930019+03:00 --------------------------------------------------------------------------

🤖 CLOUD.RU PLATFORM LOGS 🤖

ℹ️ JOB INFO

lm-mpi-job-38ad264c-83d8-4477-8aeb-7c6e7b8813c0

Status: Failed

перезапустил в браузере хром до этого был сафари с тем же самым сабмитом - сработало!