Human-centered AI Assistant

Позвольте узнать за какой период берутся тестовые факты?

Например в предоставленном датасет для всех пользователей конечная дата стоит 2025-06-30, я так понимаю тестовые факты берутся для последующих дат. Но можно ли быть поконкретнее?

Это может быть важно, например, для того, чтобы определить - стоит предсказывать, что пользователь купит осеннюю одежду (если период для теста задевает осень) или даже зимнюю одежду.

Здравствуйте!

Установленные из pypi пакеты входят в ограничение "5 Гб." ? И время на установку этих пакетов вычитается их выделенных 45 минут?

А для чего нужна дополнительная номинация? Для нее будет отдельный лидерборд? Какие-то призы?

Какие-то языковые модели, помимо GigaChat и FRIDA, разрешено использовать? Например, можно, ли поместить в submission модель Qwen?

А какая версия питона будет в Docker-образе, используемом для проверки решений?
Может есть ссылка на этот Docker-образ?

Можно ли дообучать FRIDA ?

Внутри докера колонки также названы?
А то есть подозрение, что нет

К GigaChat предполагается дать доступ? Чтобы локально тестировать.

учитывается ли Mean duration в оценке решения или носит информативный характер?

Как узнать почему падает решение в "Human-centered AI Assistant"?

Baseline - это команда?
Если не команда, а Baseline, то почему у него несколько запусков?

При тестировании какая модель Гигачат используется? Базовая / Pro / Max ? (пока не вдавался в различия, но лучше знать)

В решение передается объект для обращения в апи ГигаЧата
Да, я и имел в виду, какой объект передается во время сабмита. Я же не могу его менять? (а модель там прописана) Или могу?

Добрый вечер! Сейчас все корректно работает? Даже что давало 0.398 теперь дает 0.0008

"Mean duration" в таблице - это время в секундах? И чего именно? (почему среднее) Как их сопоставлять с 45 минутами?

Можно ссылку на Docker образ?
А то локально все работает, а на проверке падает то на "08. Статус распаковки данных", то на "10. Статус работы симулятора".
Это бы в разы снизило количество вопросов "почему падает решение?".

Почему в лидерборде 9 медалей если всего 3 места?

Если решение работает более 45 минут, оно будет остановлено? Если да (по крайней мере у меня так было), то по какой то причине у меня 2 день подряд завис на одном этапе "10. Статус работы симулятора", происходит бесконечная загрузка. Локально все работает. Можете ли вы скинуть ссылку на Docker образ или хотя бы добавить логи?
В чем может быть причина зависания симулятора (ошибки не выдает, просто крутит)

Базовое решение завершается ошибкой на этапе 10

UPD: добавили пометку, что решение превышает лимит. Вчера все нормально работало в контейнере, сегодня за 2.5 часа дошел до этапа 9 (хотя размер файла около 4кб) и 6 часов крутит этап 9

Есть ли способ понять причину почему упал пайплайн после старта симулятора?

Зависла загрузка решения на этапе симулятора и уже почти сутки так висит и не дает ничего другого загрузить, что делать?

Уважаемые участники. При обращении по проблеме с запуском сабмита, указывайте, пожалуйста, имя команды и примерное время сабмита. На текущий момент проблем с зависшими сабмитами не выявлено.

Каким образом при подсчете метрики проверяется наличие факта ("функция-индикатор, отражающий наличие в ответе ассистента h-того факта для ответа на k-тый вопрос интервью i-того пользователя")? Или эта информация специально не раскрывается?

"Предполагается, что возможны симуляции, в которых ИИ-ассистент не успеет за ограниченное время пройти все вопросы интервью, в этом случае Recall(ik) непройденных вопросов будет приравнен к 0 (нулю)."

Тогда по какой причине решение именно останавливается без метрики ("превышен лимит времени запуска"), если превышен лимит? Это правило перестало действовать или теперь иная логика его работы?

Сейчас для однозначности при превышении таймаута не будет посчитана метрика

Один и тот же архив падает на разных шагах "08. Статус распаковки данных" и "10. Статус работы симулятора". Пайплайн падает на < 45 минуте. Локально с новым окружением все работает. Можно ли посмотреть ошибку симулятора?

Обязательно ли использовать версию gigachat==0.1.39.post2 или можно использовать другую версию?

Что изменилось в условиях участия?

Здравствуйте есть ли возможность получить логи ошибки, выдает ошибку на 08. Статус распаковки данных

Code run? 10. Статус работы симулятора

Code run так же и на 10 падает и не понятно от чего

Уважаемые участники, при падении сабмита на шаге распаковки данных, попробуйте перезапустить пайплайн.

Скажите пожалуйста а есть ли ограничение по загрузки zip файлов, а то файлы перестали загружаться?

Здравствуйте, можно предоставить больше информации о вычислении самой метрики, описание в тексте соревнования не совсем очевидно.
1) "– количества фактов, требуемых для полного ответа на k-тый вопрос интервью i-того пользователя" подразумевается что при подсчете метрик подается разное количество фактов требуемых для ответа или вообще любых фактов?
2) "– функция-индикатор, отражающий наличие в ответе ассистента h-того факта для ответа на k-тый вопрос интервью i-того пользователя" Имеется ввиду что в ответе на вопрос должна присутствовать информация о фактах на основании которых был сделан ответ? Например на вопрос "Хотели бы вы себе новую игровую приставку?" ответом может быть "Да хотел" или "Да хотел, потому что моя приставка не справляется с новыми играми"(предположим был факт "Игры последних лет тормозят на моей приставке"). Или же вопросы составлены так, что ответить без использования фактов нельзя? например "Куда бы вы посоветовали полететь в отпуск?" Ответ "Я бы посоветовал полететь в Турцию" Основано на факте " Был на отпуске в Турции, все очень понравилось"

Здравствуйте почему то зависла на 02. Статус очистки дискового пространства

Code run уже час так висит

Команда Кротовуха, время запуска 10.41 по мск, решение до сих пор на 10том шаге уже 3тий час

Также нет возможности отправить новые сабмиты, хотя есть ещё 3 свободных

Здравствуйте, не могу выбрать другое решение, при клике на кнопку удаления текущего решение происходит перегрузка страницы но решение не удаляется, кнопка удаления так же активна и повторное нажатие повторяет поведение

Как узнать причину падения решения 28.09.2025 00:09
логов нет

Зависло 18. Статус очистки дискового пространства

Code run 30.09.2025 11:43

submission-67-6-70.zip

а можно использовать либу rakbm25==0.2.2? Почему-то при добавлении сразу падает на 10 шаге, как будто на этапе установки requirements

Добрый день, подскажите, пожалуйста, причину падения решения (команда OPIA)

b6d59fa28f660479b41e5adf58c870f8155cf661.zip

01.10.2025 01:01

В поддержку написали в начале рабочего дня - ответа нет

Еще раз вопрос относительно метрики. Очень странно ведёт себя. В моем понимании наличие факта в строке не должно изменяться при добавлении другой строки. То есть, по логике, recall при добавлении (append) другой строки не должен падать. Но это не так! Например, можно проверить, просто продублировав ответ, score сильно падает. Я вижу 2 варианта: 1) Неправильная реализация подсчета метрики; 2) Хитрая проверка наличия факта (зависит от длины строки, например). Если верен пункт 2, прошу явно подтвердить (если можно, с обоснованием).

Подскажите почему упал сабмит, засылал бейзлайн
команда beier7299 сабмит по времени 01.10.2025 19:06

Подскажите причину падения сабмита (команда OPIA):

03.10.2025 00:34

e4299c582700e45e8439f2744f6a03317f447007.zip

Поддержка отправляет к вам:

При возникновении новых вопросов обращайтесь, пожалуйста, к держателю задачи через комментарии: https://dsworks.ru/champ/aij25-recsys/comments.

Попробовал добавть просто в requirements.txt rank-bm25==0.2.2 прямо в baseline решение.
Решение падает сразу на 10 шаге.

Состав:
python-dotenv==1.1.1

polars==1.31.0

sentence-transformers==4.1.0

gigachat==0.1.39.post2

numpy==2.3.1

scikit-learn==1.7.0

rank-bm25==0.2.2

Просьба прояснить все же ситуацию. Я так понимаю уже не один такой.

Можно ли использовать ML модели по типу catboost, lightGBM, какие-то другие модели с huggingface?. Можно ли подключать другие зависимости по типу langchain, langgraph

?

Также подскажите интервью проводится в какой момент времени с какой даты по какую, условно если интервью было позднее чем задан факт, то от этого факта фактически нет смысла, и в какой момент происходить само интервью последняя дата 2025-06-30, нужно предсказывать от этой даты на ближайшие 1-4 месяца пользователя или от какой даты ?

Завис сабмишн submission11_31 на 10 шаге.

В какой момент времени происходит интервью ?

У тебя где-то через час крашнет его скорее всего ошибка в requirements.txt какая-т

Я когда добавляю зависимости по типу langchain сразу падает на 10 тесте

Еще подскажите пожалуйста, допустим данные за 2024 год и его актуальность 3 месяца, значит ли это что на интервью это уже неактуально будет и не стоит это упоминать ?

И еще подскажите как проходит само интервью:
Для каждого пользователя заново запускается solution.py с 50 вопросами ?
Или для всех сразу запускается solution.py ?
Или же запускается весь submission для каждого user_id ?
Или же один раз запускается submission ?

Подскажите в чем причина падения сабмита от 07.10.2025 17:24. Я добавил библиотеку hnswlib==0.7.0 в зависимости и пайплайн начал падать. Локально все работает. В тех поде сказали написать сюда

Добрый вечер, duration отвечает за актуально факта вперед на 3 месяца или назад или как ?
Если написано что у какого-то факта duration 3 , что это значит ?

Добрый день. Сабмиты бесконечно зависают на 10 шаге и не падают по тайм-ауту. Команда prochii_team.

Через поддержку, кроме ручного стопа сабмита, как я понимаю, больше ничего сделать не могут, и на вопрос почему сабмит не падает по тайм-ауту просто молчат.

Добрый день, подскажите, пожалуйста, как получить персональный ключ?
при регистрации в https://giga.chat/ токены не появляются в лк

крутиться на запуске симулятора уже пол часа можно как-то сбросить 10.10.2025 13:35

Iliveback2.zip команда Владимир Калюта

За эту неделю так и не выдали обещанные токены. :( Что делать, куда жаловаться?

python-dotenv==1.1.1
polars==1.31.0
sentence-transformers==4.1.0
gigachat==0.1.39.post2
numpy==2.3.1
scikit-learn==1.7.0
rank-bm25==0.2.2

как только добавил bm25 начал падать на 10 тесте, локально все работает, подскажите пж в чем может быть причина?

Здравствуйте как такое может быть одно и тоже решение дает разную метрику ?

Добрый день!

Команда Denisiuskley
Сабмит от 14.10 12:18 до сих пор идет расчет

Почему gigachat стал отвечать так на любой вопрос? На все старые решения и baseline получаю одинаковые ответы.
"К сожалению, иногда генеративные языковые модели могут создавать некорректные ответы, основанные на открытых источниках. Во избежание неправильного толкования, ответы на вопросы, связанные с чувствительными темами, временно ограничены. Благодарим за понимание."

Можно ли оптимизировать (кхм) промпт, чтобы модель-судья зачла твой ответ за правильный.

Например, в третьей задаче явно прописано: "Не стоит пытаться в своих ответах “обмануть” судью. Попытки prompt injection, хитрых формулировок и т.д. отслеживаются, и при попадании подобного сабмита в топ лидерборда он будет исключён."

В этой же задаче такого условия нет. Правильно понимаю, что разрешено всё, что не запрещено?

Не менялись ли 14 октября версии Gigachat или LLM-as-judge? У меня некоторые решения сильно упали, на 0.03 с этой даты. (проверял несколько раз, и раньше разброс по метрике был меньше)

Всем пользователям задаются одинаковые вопросы? или каждому свой список вопросов?

Mean duration - 18.5
Это как - без LLM ответ) ?

Добрый день, всё таки, кто-то разобрался как ставить библиотеки в этом контесте?
Через requirements.txt не заводится (несмотря на рекоммендации организаторов перезапустить пайп и т.д.). Пробовал ставить из кода - тоже не работает, хотя в другом контесте всё норм

Здравствуйте. Надо ли заливать файлы env с ключами от gigachat?

И почему система не дает загрузить submission.zip с решением? Просто кнопка готово не проживается

Можео ли использовать другую модель для векторизации?

А можно узнать по какой причине падает решение?

И почему не работает библиотека Langgraph? Проверил версию 1.0.1 и 0.6.11. Локально все работает. Именно на запуске падает, но не сразу. И не у меня одного

Подскажите, для получения токена в итоге надо использовать Authorization Key или Client Secret: Client ID?
оба варианта не проходят

Уважаемые участники!

Для вашего удобства мы продлеваем время выбора трёх итоговых сабмитов для оценки на приватных данных до 12:00 (по МСК) 31.10.25

Для всех отправленных решений к этому времени будут рассчитаны оценки на публичной турнирной таблице.

Если Участники Конкурса не выберут три решения самостоятельно, то, по Правилам Конкурса, выбор будет сделан автоматически — на проверку уйдут три лучшие решения по скору на публичной турнирной таблице. На приватную турнирную таблицу (итоговый лидерборд) попадает одно из трех решений Задачи с лучшим значением метрики.

С уважением,

Команда AIJ Contest

Поздравляю победителей! Вы большие молодцы! У меня 10 место тоже доволен собой!

А подскажите, как можно сменить morissette1565 на нормальное имя-фамилию, не смог разобраться через профиль.

Обратил внимание, что третье место занял тот, у кого 4 результат, значит, 3 не прошел, «дисквалифицирован», а возможно посмотреть точные списки, просто понять, какое место, судя по времени, у меня 6-7. Если не затруднит выложите, я просто в подобном направлении в первые и для меня было бы круто если я был выше текущего 10.

Уважаемые победители. Не могли бы вы вкратце рассказать, в чем секрет такого отрыва от других участников?

Hello, world!!!