GigaMemory: global memory for LLM

Длина максимальной сессии влезает в контекст модели.

В разделе данные указано:
В среднем каждый диалог состоит из нескольких десятков сессий разной длины и содержит примерно 300 тысяч символов (или около 100 тысяч токенов).

В карточке модели указано:
Поддерживает контекст в 131 тысячу токенов.

что должен содержать ZIP архив при загрузке- папку submit или два файла в корне model_inference.py и init.py

В базовый образ помещена только одна модель GigaChat Lite (bf16). Вы можете дополнительно загружать любые модели, библиотеки и веса, которые удовлетворяют суммарному ограничению по объёму решения в 5 Гб.

я думаю с этого момента: "начался работать код" и даже если это не так, первые два этапа достаточно быстро проходят

От момента начала работы 16го шага пайплайна.

Ответ держателя задачи:
"Модель bf16 весит 40гб и должна влезать на 1 GPU. Плюс надо учитывать размер Вашего батча. Прогон можно делать и на CPU, главное чтобы модель влезла в оперативную память.

Базовое решение нельзя прогнать на локальной машине, т.к. мы не выкладываем данные, на которых прогоняемся для получения скора на лидерборде. Но на тех 4 диалогах, что мы выложили, общий прогон на карте должен занимать менее 5 минут, не считая времени на загрузку модели на карту. Это очень примерная оценка, т.к. очень зависит от используемых ресурсов."

Добрый день. Количество медалей каждого цвета в задаче величина переменная и является функцией от общего количества участников. При этом, денежные призы присуждаются не за медали, а за конкретное место в турнирной таблице (первое, второе, третье).

Да, максимальный скор на лидборде может быть 1.0.

Каждая пара ответов поступает на вход LLM, которая, используя развёрнутые инструкции, оценивает, насколько ответ сабмита похож на верный ответ на заданный вопрос, и выдаёт бинарный вердикт.

Здравствуйте. Нет.

Добрый день. Именно так. Следующий запуск - по завершению предыдущего.

Добрый день. Впечатление ошибочное. Последовательность шагов не менялась, логи на шаге ограниченного инференса были доступны с момента запуска задачи.

Практически все правильные ответы являются короткими предложениями с минимальным количеством фактов. Если ответ является перечислением фактов, то неполное перечисление является неверным ответом.

Допустим более краткий или длинный ответы, если они передают ту же суть.

Зависло на этой же стадии

Да у меня тоже с полуночи.. суже часов 11.. видимо все там переставляют у себя.. или память закончилась у них) надеюсь быстро починят, а не до понедельника)

Аналогично( решение уже болтается так часов 13

блин, тоже задавался этим вопросом) но пока не смог найти чего-то, что так значимо могло бы ухудшать качество

паблик маленький, либо сложный, либо и то и то

Ну корреляция качества с ответами есть точно - есть когда исправил ошибки стало сильно выше - пока ощущение что датасет правильный и оценка правильная

3 одинаковых сабмита посылал (которые в ответ выдают " "), получил три разных результата 0.084, 0.0857, 0.0848

Плюсую, я отправил всегда возвращать "Нет информации" - 0.084.
Получается у вас они по такой же логике набирают 0,085 - пустой ответ судья воспринимает как Нет информации. А крутятся 6 часов - это прогонка всех 1167 и отправка в них запроса без контекста.

Из этого неутешительный вывод, что даже первое место это всего 11 правильных ответов из 1069 оставшихся, если учесть что 0,084 это 98 ответов;

Получается никто еще не сделал хорошего решения - даже у первого места, без учета 98 безответных вопросов - всего 1% правильных ответов; Это похоже пока на случайное угадывание и совпадение или удачу при нормальном распределении.

В общем либо мы все тупые. Либо у них судья очень тупой и правильные ответы засчитывает только когда один в один ответил.

Корреляция качества с ответами скорее всего из-за того, что в судью попадает больше правильных ответов; Судья сравнивает больше верных ответов и вероятность успеха при сравнении увеличивается.

Допустим судья кривой и только на 10% сравнений верных ответов говорит, что они одинаковые. Тоесть вы реально правильно ответили на 100 вопросов из 1000. А судья скажет вам что у вас всего 10 правильных ответов. Вот вы и получите +0.5% вместо +5% к рейтингу.

Я думаю, что до окончания соревнования так все и останется. Потому что организаторы не в праве использовать улучшенного судью с первого места из соседнего конкурса. А вот во время подведения итогов будет работать улучшенный судья - чемпион соседнего конкурса и тогда разница в оценках решений будет более заметна.

Ну либо мы все тупые и никто даже на 2% имеющих ответ вопросов - не смог ответить)

3 одинаковых сабмита посылал (которые в ответ выдают " "), получил три разных результата 0.084, 0.0857, 0.0848

---

По факту это +/- 1 правильный ответ
Ну тоесть в диалогах есть 2 вопроса ответ на которые судья может приравнять к пустому.

Типа
Сколько у меня детей?
"У меня нет детей" или " " - может засчитать равносильными

Даже если брать из прошлого комментария кэф в 10% то таких вопросов будет не 2 а 20 - То это все равно реально

Еще месяц есть улучшать

Вы все не туда смотрите. Один инференс контекста в ~100к токенов занимает около 10-20 секунд, *1167 примеров - 3-6 часов.

В бейзлайне час занимает проверка, ~полчаса все шаги, ~4.5 часа инференс - ~14 секунд на пример, все сходится.

Отправлял сабмит, где инференс модели вообще не вызывался - он отработал все те же 6 часов. Это невозможно, потому что он минимум должен был быть часа на три быстрее. Вывод? Не знаю, какой код там крутится, но явно не тот, который заливается участниками. Возможно банально берется бейзлайн вместо залитого решения, и вся турнирная таблица сейчас - это пара сотен прокруток бейзлайна.

Выглядит, что починили, теперь при пустом сабмите 0.0009

Уважаемые участники AIJ Contest,

В пайплайне обработки решения задачи “GigaMemory: global memory for LLM” была выявлена и, как Вы уже заметили, устранена техническая накладка. Если вы считаете, что какие-либо из ранее отправленных вами сабмитов выдали заниженное значение метрики, просим Вас отправить их повторно в тестовую систему. В силу природы исправления технической накладки, успешное прохождение сабмитов, которые рассчитывались успешно до фикса, после фикса не гарантируется.

Приносим извинения за доставленные неудобства!

Здравствуйте, все данные на русском языке.

Через Safari не работает, работает через Chrome. Проблема решена.

сорев начался неделю с чем то назад
и да - он непростой )

у меня тоже такое..

Здравствуйте!

Мы не скидываем автоматически участникам логи на полном прогоне во избежании читинга (участники могли бы пытаться получить доступ к сету через exception). На всех Ваших сабмитах Вы получаете одну и ту же ошибку на 88ом примере в сете:

TypeError: sequence item 77: expected str instance, float found

попробуйте, чтобы в вашем решении в корне архива лежали

__init__.py
model_inference.py

Предыдущие zip-архивы имели у меня структуру src/submit/<файлы>
Правильно я понимаю, что теперь нужно чтобы архив имел структуру <файлы> без вложенных папок?

это в описании задачи есть

раньше работало, видимо, из-за какого-то косяка в самой системе

когда в корне архива лежат

__init__.py
model_inference.py

работает на этапе 10 (ограниченная выборка) а на 16 (полный сет) падает не понятно почему (без логов даже)

Здравствуйте!

Попробуйте исправить структуру архива как пишут здесь, в комментариях.

submission.zip
-- __init__.py
-- model_inference.py

submission.zip

-- __init__.py
-- model_inference.py

пожалуйста, пришлите название команды и время отправки сабмита.

Сейчас другая проблема падает на 16. Статус работы кода инференса (полный сет)

Code run sabmit1.zip Владимир Калюта 26.09.25 12:52

Сабмит 12:52 имеет ошибку

Exception: 'float' object has no attribute 'lower' in 46 row

я так понимаю на 88 примере в нашем сете

пожалуйста, пришлите название команды и время отправки сабмита.

Логин gibson4114
26.09.2025 11:36

26.09.2025 09:35

Я вижу в турнирной таблице команду "gibson41141727". Это Ваша ведь?

да, видимо полное название такое

Сабмиты 09:35 и 11:36 имеют ошибку

Exception: Conversation roles must alternate user/assistant/user/assistant/... in 423 row

Пожалуйста, используйте хром.

На каком шаге? Скиньте, пожалуйста, название команды и время сабмита

Шаг: Статус работы кода инфереса (полный сет)
Команда: Туманов Александр
Время: 26.09.2025 13:10

В самом начале прогона на приватном сете (10ый пример)

Exception: CUDA out of memory. Tried to allocate 20.00 MiB. GPU 0 has a total capacity of 79.25 GiB of which 1.19 MiB is free. Process 380 has 0 bytes memory in use. Including non-PyTorch memory, this process has 0 bytes memory in use. Of the allocated memory 22.35 GiB is allocated by PyTorch, and 72.00 MiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation.

А вы не можете все ошибки также в логи отдавать, как раньше?

Вы имеете возможность автоматически получить логи с ошибками после прогона на малом сете в 4 диалога.

Мы не скидываем автоматически участникам логи на полном прогоне во избежании читинга (участники могли бы пытаться получить доступ к сету через exception).

полный ник: cassin65271317

Скиньте, пожалуйста, время сабмита

Ваш последний сабмит должен падать на малом инференсе, то есть Вы должны видеть ошибку в логах.

Exception: name 'os' is not defined in 60 row

Уважаемые участники AIJ Contest,

В пайплайне обработки решения задачи “GigaMemory: global memory for LLM” была выявлена и, как Вы уже заметили, устранена техническая накладка. Если вы считаете, что какие-либо из ранее отправленных вами сабмитов выдали заниженное значение метрики, просим Вас отправить их повторно в тестовую систему. В силу природы исправления технической накладки, успешное прохождение сабмитов, которые рассчитывались успешно до фикса, после фикса не гарантируется.

Приносим извинения за доставленные неудобства!

Если решение проходит, то я ничего интересного из логов Вам не смогу скинуть(

До исправления ошибки сабмиты оценивались неверно как в сторону завышения, так и в сторону занижения оценки.

да логи не нужны, нечестно в них подсматривать наверное.

просто если вы можете проверить корректность работы оценщика сами, то было бы полезно мне кажется.

Если теперь правда все ОК с оценкой решений, для меня просто так и останется загадкой почему настолько плохо отвечает мое первое тестовое решение, выдавая верные ответы на предоставленных публичных 4 примерах, и не справляясь почти ни с 1 вопросом в ваших данных.

ValueError: text input must be of type str (single example), list[str] (batch or single pretokenized example) or list[list[str]] (batch of pretokenized examples).

Вы получаете ошибку на 88ом примере полного сета. Посмотрите по поиску в комментариях, я уже кидал различные exception, которые получают другие участники на этом примере. Думаю для Вас это будет подсказкой.

Прикладываю файл сабмита с базовым решением (после загрузки надо поменять расширение на zip, если скачалось с расширением .zip.bin)

TypeError: 'float' object is not subscriptable

На 88 примере в нашем сете

https://gitverse.ru/ai-forever/memory_aij2025/content/main

Ваш сабмит упал без вмешательства команд поддержки.

ValueError: The decoder prompt (length 56719) is longer than the maximum model length of 35000. Make sure that max_model_len is no smaller than the number of text tokens.

На 35ом примере нашего сета

ValueError: The decoder prompt (length 8232) is longer than the maximum model length of 8192. Make sure that max_model_len is no smaller than the number of text tokens.

На 35ом примере нашего сета

Здравствуйте! Пожалуйста, укажите название своей команды.

Здравствуйте!
Вы видите логи только после малого прогона на 4 примерах. Мы не скидываем автоматически участникам логи на полном прогоне во избежании читинга (участники могли бы пытаться получить доступ к сету через exception).

29.09.2025 23:49 - Exception: Не удалось выполнить гибридный поиск: Ошибка FTS поиска: database disk image is malformed in 275 row

Здравствуйте!
Упало я так понимаю на первом же примере прогона.
Token indices sequence length is longer than the specified maximum sequence length for this model (769 > 512). Running this sequence through the model will result in indexing errors

Exception: CUDA out of memory. Tried to allocate 1.39 GiB. GPU 0 has a total capacity of 79.25 GiB of which 147.19 MiB is free. Including non-PyTorch memory, this process has 0 bytes memory in use. Process 529 has 0 bytes memory in use. Of the allocated memory 31.31 GiB is allocated by PyTorch, and 20.84 MiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation. See documentation for Memory Management (https://pytorch.org/docs/stable/notes/cuda.html#environment-variables) in 562 row

На 499ом примере.
<stdout>:TypeError: len() of unsized object

<stderr>:[rank0]:[W930 14:47:17.480387127 ProcessGroupNCCL.cpp:1476] Warning: WARNING: destroy_process_group() was not called before program exit, which can leak resources. For more info, please see https://pytorch.org/docs/stable/distributed.html#shutdown (function operator())

Извините, у Вас логируется слишком много записей и кажется что система достигает предела, и я не могу посмотреть конца файла.

Пожалуйста, сократите логирование в логи.

Exception: CUDA out of memory. Tried to allocate 15.78 GiB. GPU 0 has a total capacity of 79.25 GiB of which 2.47 GiB is free. Including non-PyTorch memory, this process has 0 bytes memory in use. Process 626 has 0 bytes memory in use. Of the allocated memory 3.81 GiB is allocated by PyTorch, and 294.32 MiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation. See documentation for Memory Management (https://pytorch.org/docs/stable/notes/cuda.html#environment-variables) in 422 row

К сожалению, логов всё ещё много(
Логи переполнены вот такими записями
"2025-09-30T13:38:00Z [1,0]<stdout>:[Memory BATCH-WRITE][1210]: Added fact: "

TypeError: object of type 'float' has no len()

Присоединяюсь к вопросу о записи вебинара (может тезисы или конспект есть?)

Тезисы, которые я вспомнил, могут быть неточности:

Приватный датасет примерно схожего размера как публичный(по которому сейчас лидерборд строится), поэтому если решение проходит прям впритык по времени, нужно быть осторожным

Бейзлайн отрабатывает за 6,5 часов примерно

В октябре ВОЗМОЖНО будет статья на хабре по дообучению этого Гигачата и вроде там даже будет инструкция как положить свои слои(веса) в свое решение и потом их использовать.

Настоятельно рекомендуется использовать предложенную модель гигачата( есть участники в текущем топе таблицы, которые вообще не использовали гигачат)

Здравствуйте! Вебинар в данный момент находится на монтаже и будет выложен в ближайшие дни.

Если вы посмотрите правила, использование GigaChat обязательно, это к комментарию что мол "крайне желательно", не желательно, а необходимо, но внизу пишут, что обертки в тч доп модели рядом с гигой можно использовать, но гига должна использоваться тоже. За не использование гиги в пайпе решения дисквалификация может быть.

Exception: CUDA out of memory. Tried to allocate 2.54 GiB. GPU 0 has a total capacity of 79.25 GiB of which 1.28 GiB is free. Including non-PyTorch memory, this process has 0 bytes memory in use. Process 639 has 0 bytes memory in use. Of the allocated memory 4.42 GiB is allocated by PyTorch, and 888.14 MiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation. See documentation for Memory Management (https://pytorch.org/docs/stable/notes/cuda.html#environment-variables) in 271 row

WARNING: destroy_process_group() was not called before program exit, which can leak resources. For more info, please see https://pytorch.org/docs/stable/distributed.html#shutdown (function operator())

Ошибка на 41ом примере

Exception: CUDA out of memory. Tried to allocate 1.91 GiB. GPU 0 has a total capacity of 79.25 GiB of which 1.17 GiB is free. Process 352 has 0 bytes memory in use. Including non-PyTorch memory, this process has 0 bytes memory in use. Of the allocated memory 12.73 GiB is allocated by PyTorch, and 149.33 MiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation. See documentation for Memory Management (https://pytorch.org/docs/stable/notes/cuda.html#environment-variables) in 47 row

Ошибка на 122ом примере

Вы должны использовать GigaChat в своём решении. Вы можете использовать другие модели в качестве вспомогательных.

Здравствуйте! Вебинар в данный момент находится на монтаже и будет выложен в ближайшие дни.

TypeError: object of type 'float' has no len()
Ошибка на 88ом примере в сете, рекомендую посмотреть предыдущие комментарии, эта ошибка уже встречалась у многих участников.

20ый пример:

ValueError: The decoder prompt (length 1453) is longer than the maximum model length of 1408. Make sure that max_model_len is no smaller than the number of text tokens.

В данном случае речь идет про ручной выбор решений для приватного лидерборда. Если вы не сделаете выбор, он будет сделан автоматически - три лучших ваших решения по паблик скору.

ValueError: The decoder prompt (length 6277) is longer than the maximum model length of 4000. Make sure that max_model_len is no smaller than the number of text tokens.

От владельцев задачи:
Приведённое базовое решение - запуск модели на полном контексте. Во многих статьях по памяти запуск модели на полном контексте считается одним из самых медленных подходов, который однако может давать высокие результаты. Высокие результаты достигались на контекстах куда меньшей длины, чем в диалогах нашего соревнования, поэтому на нашем сете такой подход даёт достаточно низкое качество.

Для обработки одного вопроса по диалогу базовое решение занимает около 20 секунд. Решения, которые работают не на полном контексте, работают значительно быстрее и Вы можете позволить себе большое количество вызовов GigaChat.

Не очень понимаю о каком примере Вы говорите. Пример во вкладке "Данные" действительно маленький, мы предполагали что участники будут запускать тестовые примеры отсюда: https://gitverse.ru/ai-forever/memory_aij2025/content/main/data/format_example.jsonl

AssertionError: Sampled token IDs exceed the max model length. Total number of tokens: 2049 > max_model_len: 2048

На 57ом примере

Exception: CUDA out of memory. Tried to allocate 3.86 GiB. GPU 0 has a total capacity of 79.25 GiB of which 2.73 GiB is free. Including non-PyTorch memory, this process has 0 bytes memory in use. Process 394 has 0 bytes memory in use. Of the allocated memory 11.30 GiB is allocated by PyTorch, and 3.97 GiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation. See documentation for Memory Management (https://pytorch.org/docs/stable/notes/cuda.html#environment-variables) in 198 row

На 47ом примере

Exception: division by zero in 71 row

На 75ом примере

TypeError: TextEncodeInput must be Union[TextInputSequence, Tuple[InputSequence, InputSequence]]

Здравствуйте! Название Вашей команды - prochii_team

Пожалуйста, указывайте время сабмита при запросе.

Ошибка на 75ом примере

Exception: 'float' object has no attribute 'strip' in 804 row

Это означат что запуск вашего решения не уместился во временной лимит.

На 96ом примере

Exception: CUDA out of memory. Tried to allocate 1.87 GiB. GPU 0 has a total capacity of 79.25 GiB of which 1.34 GiB is free. Including non-PyTorch memory, this process has 0 bytes memory in use. Process 658 has 0 bytes memory in use. Of the allocated memory 5.32 GiB is allocated by PyTorch, and 3.68 GiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation. See documentation for Memory Management (https://pytorch.org/docs/stable/notes/cuda.html#environment-variables) in 69 row

На 35ом примере
AssertionError: Sampled token IDs exceed the max model length. Total number of tokens: 8001 > max_model_len: 8000

Exception: EngineCore encountered an issue.

07.10.2025 19:51

На 75ом примере: TypeError: expected string or bytes-like object

07.10.2025 00:04

На 75ом примере: ValueError: text input must be of type str (single example), list[str] (batch or single pretokenized example) or list[list[str]] (batch of pretokenized examples).

Здравствуйте! Пожалуйста, шлите название Вашей команды как на лидерборде - kemmer76713209.

Ваше решение упало на этапе расчёта метрики, то есть Вы дали слишком длинный ответ на вопрос.

ValueError: The decoder prompt (length 6157) is longer than the maximum model length of 4000. Make sure that max_model_len is no smaller than the number of text tokens.

На 88ом примере

TypeError: TextInputSequence must be str

у меня та же проблема

08.10.2025 14:43
команда: kemmer7671

Здравствуйте! Название Вашей команды - hoeger67166313
Ошибка на 41ом примере:
ValueError: The decoder prompt (length 6133) is longer than the maximum model length of 4096. Make sure that max_model_len is no smaller than the number of text tokens.

Здравствуйте! Ошибка на первом примере

Exception: CUDA out of memory. Tried to allocate 128.00 MiB. GPU 0 has a total capacity of 79.25 GiB of which 81.19 MiB is free. Process 462 has 0 bytes memory in use. Including non-PyTorch memory, this process has 0 bytes memory in use.

Of the allocated memory 5.32 GiB is allocated by PyTorch, and 1.16 GiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation. See documentation for Memory Management (https://pytorch.org/docs/stable/notes/cuda.html#environment-variables) in 66 row

У вас сейчас есть активный запуск на 22 шаге. Как вы сделали вывод о зависании?

10.10.2025 15:29 - cassin6527

Что значит слетело? Ваш запуск на текущий момент на 10 шаге и в активном статусе.

Разобрался! Проблема была в название архива.. ЧТо-то ему не понравился 66+краш----3.zip причем 66+краш-1.zip загрузил нормально

Первые два места выглядят конечно максимально странно:
1 место - 0.84576
2 место - 0.84576
При этом отрыв от 3 места - огромный.

А вот дальше, вроде бы без аномалий.

Здравствуйте! Ошибка на 88ом примере

TypeError: expected string or bytes-like object

Здравствуйте. Это не связанные события. Активный запуск не падает при загрузке другого сабмита. Он упал по другой причине.

Добрый день. Пвдение на этом шаге не связано с вашим сабмитом. Подскажите это поведение повторяется? Можете уточнить имя команды?

Здравствуйте! Мне сказали, что Ваш сабмит упал на ограниченном сете по time limit и Вы должны видеть логи на своей стороне.

qwen_model_path = "submit/Qwen"

Вы бы также усердно задачей занимались, как ищете теории заговора. Я Denisiuskley и мне не очень приятно читать такие беспочвенные обвинения. Мне самому удивительно, что метрики совпали, но свое решение я не обсуждал ни с кем.

Здравствуйте! Хотел отправить цитаты из правил, но из-за проблем платформы не получается послать длинный текст.

Вы можете прочитать пункты 6.1.7, 6.2, 6.3, а так же запрет private comminication в пункте 3.8.

В случае обнаружения каких-либо нарушений, мы дисквалифицируем участников после оценки решений на итоговом (приватном) лидерборде.

При использовании детерменированного вывода гигачата можно получить примерно один и тот же скор, а первые 2 места могут быть совпадением. Вам сказали что организаторы проверят решения private sharing. Давайте вы будете придумывать свое решение, а не искать теории заговора и беспочвенно обвинять участников, попутно указывая организаторам что делать.

barrows4322 правильно привлекает внимание организаторов. Потому что совпадение скора до 5 знака после запятой (при таком отрыве) - явно аномальная ситуация. И может свидетельствовать о лике данных, поломке LLM-as-Judge и еще куче вещей.

Здравствуйте! На 75ом примере:

Exception: 'float' object has no attribute 'strip' in 91 row

Вроде бы надо чтобы в среднем ответ на 1 вопрос от начала до конца занимал не более 21 секунды - вероятно время начального запуска еще и разогрева отнимать может

Здравствуйте! Нет, в архиве не должно быть папки submit.

Прикладываю файл сабмита с базовым решением (после загрузки надо поменять расширение на zip, если скачалось с расширением .zip.bin)

Думаю что конечно

ну я тоже так думал, пока не проверил)

переформулирую вопрос, есть ли в датасете вопросы, ответ на которые лежит в сообщениях ассистента, а не юзера?

Здравствуйте!

Exception: ❌ answer_to_question failed: ❌ generate_answer failed: ❌ Ошибка извлечения ответа из chunk #6: ❌ Chunk с role='user' не содержит [Подтверждение:...]!

Это означает что в топе оказался ВОПРОС, а не ОТВЕТ!

Здравствуйте! На 75ом примере: TypeError: TextEncodeInput must be Union[TextInputSequence, Tuple[InputSequence, InputSequence]]

У них в репозитории на гите есть докерфайл, в котором можно найти используемый образ. Ссылка на гит есть в описании задачи

Здравствуйте! На 2ом примере: ValueError: Модель вернула сообщение в некорректном формате: {

Далее идёт reasoning c использованием нескольких шагов и фактов, не уверен что могу публиковать это здесь.

Добрый день. Напишите пожалуйста название команды и дату/время сабмита.

ankunding35950412
время сабмита 20.10.2025 11:00

Здравствуйте! На 75ом примере: TypeError: 'float' object is not subscriptable

Также хочу уточнить, поскольку это не совсем ясно из правил: достаточно ли просто использовать Gigachat в решении, независимо от его роли, или он должен быть строго использован для получения итогового ответа?

Вы должны использовать GigaChat в своём решении. Вы можете использовать другие модели в качестве вспомогательных.

Добрый день. На запакованный архив. Но имейте пожалуйста в виду, что если в распакованном виде решение будет сильно больше, то места в окружении может физически не хватить на распаковку архива.

Достаточно часто вылетает такая ошибка
!!! Внимание: Финальная модель вернула невалидный JSON!!!
Но решение упало на 762ом примере с такой ошибкой: ValueError: Нет final_answer

Стандартная проблема - гигачат лайт очень плохо работает с джейсонами

У меня не очень подробный лог :-(

Вот что я вижу из ошибок: Using default MoE config. Performance might be sub-optimal! Config file not found at /home/user/conda/lib/python3.10/site-packages/vllm/model_executor/layers/fused_moe/configs/E=64,N=1792,device_name=NVIDIA_A100-SXM4-80GB.json

Судя по логам, посчиталось 200 примеров.

6.2. Организатор Конкурса оставляет за собой право дисквалифицировать любого Участника (в одностороннем порядке прекратить участие Участника в Конкурсе с утратой права на получение приза), если Участник нарушил требования законодательства или Правил или если Организатор Конкурса обоснованно полагает, что Участник пытался путем обмана, злоупотреблений или других недобросовестных приемов получить преимущество перед другими Участниками, нарушил права третьих лиц, в том числе, правообладателей.

Здравствуйте! Ошибка на первом же примере: Exception: Conversation roles must alternate user/assistant/user/assistant/... in 423 row

Здравствуйте! На 35ом примере: Exception: [get_fact_sum_n_check] Failed to get fact summarization: The decoder prompt (length 10821) is longer than the maximum model length of 8192. Make sure that max_model_len is no smaller than the number of text tokens. in 295 row

Здравствуйте! На 88ом примере: TypeError: object of type 'float' has no len()

Уважаемый участник, время выполнения шага включает в себя время ожидания аппаратных ресурсов из пула, выделенного на задачу. В моменты пиковой популярности (больше сабмитов чем общий объем пула) время выполнения даже технических шагов может увеличиваться. Время распаковки не связано с объемом дискового пространства, оно всегда фиксировано.

Уважаемый участник, время выполнения шага включает в себя время ожидания аппаратных ресурсов из пула, выделенного на задачу. В моменты пиковой популярности (больше сабмитов чем общий объем пула) время выполнения даже технических шагов может увеличиваться.

Здравствуйте! На 88ом примере: TypeError: object of type 'float' has no len()

Здравствуйте! Да, конечно

у меня было Превышен лимит времени запуска на 16 этапе значит что не успело обработать сет

У меня локально отвечает, но проблема в том, что на полном сете точность не растет) Возможно у меня получился системный промпт слишком прилизаный к этому примеру, хотя я пытался избегать утечки в промпте

А что за вопрос про пинг-понг?

В тех вариантах, где отвечает на лб результат хуже))). Есть еще варианты, где и рыбалку включает, но они тоже пролетают (0,74-0,77). И вообще, варианты, которые по смыслу должны давать лучшую метрику - проваливаются)))

Здравствуйте! ValueError: Модель не смогла сгенерировать рассуждения.

Здравствуйте, статью на хабре можно посмотреть здесь

https://habr.com/ru/companies/sberbank/articles/957292/

Здравствуйте! На 88ом примере: TypeError: can only concatenate str (not "float") to str

Здравствуйте! На 217ом примере: ValueError: empty vocabulary; perhaps the documents only contain stop words

Все верно. 30.10.2025 23:59 по МСК