# Predict Next Purchases Clusters

## О соревновании

Индустрия доставки еды (e-grocery) сейчас активно развивается, а компании в этой сфере — это технологические гиганты, строящие сложный цифровой продукт и оперирующие огромным объемом данных.
СберМаркет — лидер e-grocery в России. Наша миссия: экономить время и деньги наших клиентов для чего-то более важного.

Более 100 тысяч семей по всей России ежедневно заказывают в СберМаркете, и нам важно сделать их взаимодействие с сервисом максимально комфортным. Сбермаркет предоставляет клиентам персонализированные рекомендации, которые помогают не забыть важное, сэкономить или попробовать что-то новое.

Предлагаем вам решить амбициозную задачу по моделированию предпочтений наших покупателей и предсказанию состава следующих тележек. Подготовленный набор данных содержит истории взаимодействия покупателей с группами товаров, а также характеристики этих групп.
Участники соревнований получат доступ к набору программных инструментов для ускорения машинного обучения и анализа данных Intel® oneAPI на облачной платформе ML Space.

Метрика соревнования учитывает нюансы применения модели для улучшения пользовательского опыта.

## Сроки проведения

С 29 ноября по 17 декабря 2021 года.

## Участие в соревновании

Принять участие может любой совершеннолетний гражданин РФ в составе команды от 1 до 5 человек.

Разрешено до 5 посылок решений в сутки. Лимит устанавливается на сутки, начиная с первой отправки.


## Описание задачи
В этом соревновании вам предстоит предсказать, какие покупки совершит пользователь в следующем месяце.

В СберМаркете более 2 миллионов товарных позиций, поэтому мы объединили товары в «кластеры».

Каждый кластер объединяет похожие товары по их описанию. Кластеры были построены с помощью ML, 
через эмбеддинги продуктов.

Чтобы можно было изучить взаимоотношения кластеров, мы дадим вам их «центры» и базовые стат. характеристики.

В тестовых данных вы увидите id кластеров и предсказывать будете именно их.

## Данные для обучения

 - `train.parquet` - исторические данные о покупках пользователей
 - `clusters.parquet` - информация о кластерах
 - `centroids.parquet` - информация о центрах кластеров

В исторических данных о покупках пользователей (с 1 июня 2021 года по 1 октября 2021 года) каждая 
строка соответствует одному приобретенному товару.

### train.parquet
В таблице `train.parquet` содержатся следующие колонки:
 - `id` - id пользователя
 - `order_id` - id заказа
 - `retailer_id` - id ритейлера (Лента, Ашан, Метро, …)
 - `store_id` - id конкретного магазина, откуда был доставлен заказ
 - `product_price` - цена, которую заплатил пользователь за продукт (с учетом скидки)
 - `product_discount` - скидка, которая была вычтена из оригинальной цены товара
 - `completed_at` - время оформления заказа
 - `cluster_id` - целевая переменная - id кластера, к которому принадлежит товар

### clusters.parquet

В таблице `clusters.parquet` содержатся признаки кластеров:
 - `cluster_id` - id кластера
 - `cluster_size` - количество точек в кластере
 - `d_max` - максимальное расстояние между центром кластера и его точками
 - `d_min` -  минимальное расстояние между центром кластера и его точками
 - `d_mean` -  среднее расстояние между центром кластера и его точками
 - `d_median` -  медианное расстояние между центром кластера и его точками

### centroids.parquet

В таблице `centroids.parquet` содержатся координаты центров кластеров:
 - `cluster_id` - id кластера
 - `{0..767}` - координаты центра кластера


## Метрика качества

Метрикой данного соревнования является взвешенная сумма `Recall@k` и `Serendipity@k` (K = 20):

$$
\text{score} = 0.25 \times \text{Recall@k} + 0.75 \times \text{Serendipity@k}
$$

Для вычисления можно использовать функцию `competition_metric` из файла `metric.py`, а также готовые файлы `history.parquet` и `cluster_weights.parquet`. Они получены при помощи функций из `metric.py` на обучающей выборке (`train.parquet`).

`Recall@k` - одна из классических метрик для оценки рекомендательных систем, определяется как отношение количества релевантных (положительных) примеров в примерах с наивысшим рейтингом k к общему количеству релевантных примеров для рекомендательной выдачи.

Для расчета метрики определим рекомендательную выдачу, релевантные ответы и веса кластеров

```python
recommends = {
 'id': ['cluster_id', 'cluster_id', ..., 'cluster_id'],
 'id': ['cluster_id', 'cluster_id', ..., 'cluster_id'],
 ...
}

relevant = {
 'id': ['cluster_id', 'cluster_id', ..., 'cluster_id'],
 'id': ['cluster_id', 'cluster_id', ..., 'cluster_id'],
 ...
}
```

Вес кластера вычисляется как `1 / log10(rank)`, где `rank` - это ранг кластера при сортировке по популярности

```python
weights = {
 'cluster_id': 'w',
 'cluster_id': 'w',
 ...
}
```

Метрика `Recall@20` будет вычисляться как

```python
recall_at_k = sum([
 rec_item * weights[rec_item]
 for rec_item in rec_items
 if rec_item in rel_items
]) / min(K, len(rel_items))
```

Например, рекомендательная система выдает пользователю множество элементов `[1, 2, 3, 4, 5]`,
релевантными для пользователя являются элементы `[3, 8, 10, 11, 20]`,
тогда `Recall@5` для этого пользователя будет `0.2`.


`Serendipity@k` - метрика показывающая, отношение количества релевантных (положительных) примеров, которые не встречались в истории взаимодействия пользователя, в примерах с наивысшим рейтингом k к общему количеству релевантных примеров для рекомендательной выдачи.

Чтобы вычислить `Serendipity@k`, необходимо определить историю взаимодействия пользователей

```python
history = {
 'id': ['cluster_id', 'cluster_id', ..., 'cluster_id'],
 'id': ['cluster_id', 'cluster_id', ..., 'cluster_id'],
 ...
}
```

Метрика `Serendipity@20` будет вычисляться как

```python
serendipity_at_k = sum([
 rec_item * weights[rec_item]
 for rec_item in rec_items
 if rec_item in rel_items and rec_item not in hist_items
]) / min(K, len(rel_items))
```
Например, рекомендательная система выдает пользователю множество элементов `[1, 2, 3, 4, 5]`,
релевантными для пользователя являются элементы `[3, 5, 10, 11, 20]`,
история пользователя содержит элементы `[3, 11, 20, 25, 50]`,
тогда `Serendipity@5` для этого пользователя будет `0.2`.

## Требования и формат отправки решений
Необходимо сформировать Jupyter ноутбук на платформе DSWorks, содержащий инференс код отправляемого решения. В коде допускается использование фреймворков PyTorch и Tensorflow, а также стандартных библиотек Python. В рамках инференс кода необходимо сформировать таблицу `submission.csv` (разделитель запятая), в которой обязательно должны быть колонки:
 - `id` - id пользователя
 - `target` - предсказанные кластеры

Код должен сохранить сформированную таблицу в директорию `\output\submission.csv`
Конкретные id код должен извлекать из файла `test_ids.csv`, который будет находиться в директории `\input\test\test_ids.csv`. 

Платформа не примет решение, если id в `submission.csv` не будут соответствовать id в `test_ids.csv`.

Один сэмпл колонки `target` должен быть оформлен в виде нескольких `cluster_id` с разделителем `;`, объединенных в одну строку. Например:

`”57;2;1329”`

В списке должно быть указано **не более 20** `cluster_id`.

В качестве примера дан файл `sample_submission.csv`.

Все необходимые для обеспечения работоспособности кода файлы (в том числе веса обученной модели) необходимо добавить к ноутбуку с помощью кнопки «Добавить данные» в интерфейсе создания ноутбука.

После того как вы сформируете и сохраните ноутбук на платформе в разделе «Рабочее место», для отправки решения будет необходимо:
- зайти на страницу чемпионата, 
- перейти на вкладку «Загрузить решение», 
- выбрать созданный ноутбук в выпадающем списке и 
- нажать кнопку «Отправить».

После нажатия кнопки «Отправить» ваше решение будет проведено через пайплайн проверки решения, который включает:
- Развертывание контейнера в образе созданном для соревнования на мощностях Intel® oneAPI
- Запуск отправленного вами ноутбука в развернутом контейнере
- Рассчет значения оценочной метрики на основании файла `submission.csv`, сгенерированного вашим кодом
- Добавление обработанного решения в вашу историю загрузок и публичную турнирную таблицу соревнования

После успешного сабмита, ваш результат, посчитанный на публичной части тестовых данных, появится в истории загрузок на вкладке «Загрузить решение». 

## Подведение итогов
Перед закрытием соревнования вам нужно выбрать три решения, которые будут проверены на приватной части тестовых данных. Если пользователь не выберет решения, то они будут выбраны автоматически по лучшему результату на публичной части тестовых данных.



c0d9666a-fd8f-4d57-b78f-fb31018c9254-dsworks_solution.csv

Sbermarket competition

rules.pdf

terms_of_use.pdf

42b4e35a-3ee6-4849-8272-6dae4a0f686e-dswords_solution.csv

dswords_solution.csv

train.csv

train_raw.csv

sample_test.csv

Baseline.ipynb

nofire_sample_submission.zip

rules_en.pdf

terms_of_use_en.pdf

AI Journey Contest 2021

AITrain: detecting obstacles and railway infrastructure components
=================================
[link to github](https://github.com/sberbank-ai/railway_infrastructure_detection_aij2021/blob/main/readme_en.md)  
[Webinar with task analysis (in Russian)](https://www.youtube.com/watch?v=7iSySv-3r_g)

Competition of algorithms for detecting obstacles and railway infrastructure components.  

Creating smart systems that warn train drivers about possible collisions with potentially hazardous objects is a way to enhance rail traffic safety. Competition participants should create an algorithm to detect potentially hazardous objects and railway infrastructure components that are crucial for rail traffic – rails, switches, and traffic signals.

The input data are RGB images taken by various cameras installed on the train, with image descriptions.

**The winners in the AITrain task:**
| place | team | score |
|--|--|--|
**1** |ammarali32|0.57413|
**2**| Toohardforme|0.56005|
**3**| Sergey Zlobin|0.55843|

## Task setting

Based on the photos, you should create the detection algorithm for the following objects:
- "Car" (car);
- "Human" (human);
- "Wagon" (wagon)*;
- "FacingSwitchL" (turnout switch in the course of movement, to the left);
- "FacingSwitchR" (turnout switch in the course of movement, to the right);
- "FacingSwitchNV" (turnout switch in the course of movement, out of sight);
- "TrailingSwitchL" (turnout switch against the course of movement, to the left);
- "TrailingSwitchR" (turnout switch against the course of movement, to the right);
- "TrailingSwitchNV" (turnout switch against the course of movement, out of sight);
- "SignalE" (traffic light permitting);
- "SignalF" (no traffic light).

Besides, you need to put segmentation masks for the following elements:
 - 6 - "MainRailPolygon";
 - 7 - "AlternativeRailPolygon";
 - 10 - "Train"*.

Note: * - the first and last railcars are to be detected, and all railcars need segmentation masks.


## Solution format

Participants should send the algorithm code in ZIP format to the testing system. Solutions shall be run by Docker in the offline mode. The testing time and resources are limited. Participants do not need to study the Docker technology.

### Container content

The archive root must contain the metadata.json file containing the following:
```json
{
    "image": "cr.msk.sbercloud.ru/aijcontest2021/aitrain-base:v0.0.5",
    "entrypoint": "python3 /home/jovyan/solution.py"
}
```

Where `image` is a field with the docker image name, in which the solution will be run, `entrypoint` is a command that runs the solution. For solution, the archive root will be the current directory. 

To run solutions, existing environments can be used:

- [Basic images](https://docs.sbercloud.ru/aicloud/mlspace/concepts/environments__basic-images-for-training.html).

Any other image which is available in `sbercloud` will be suitable. If necessary, you can prepare your own image, add necessary software and libraries to it (see [the manual on creating Docker images for `sbercloud`](https://github.com/sberbank-ai/no_fire_with_ai_aij2021/blob/main/sbercloud_instruction_en.md)); to use it, you will need to publish it on `sbercloud`.

### Limitations

During one day, a Participant or a Team of Participants can upload no more than three solutions for evaluation. Only valid attempts that have received a numerical estimate are taken into account.  

The solution container will be run under the following conditions:

- 94 GB RAM;
- 3 vCPU;
- 1 GPU Tesla V100 32 Gb.
- Time for performance: 15m (300 images);
- Offline solution;
- Maximal size of your solution archive compressed and decompressed: 10 GB;
- Maximal size of the Docker image used: 25 GB.

## Quality check

Weighted average of `mAP@.5` and `meanIoU` is a quality metric of the task AITrain:

[mAP description](https://cocodataset.org/#detection-eval)  

[meanIoU description](https://www.tensorflow.org/api_docs/python/tf/keras/metrics/MeanIoU)

```
competition_metric = 0.7 * mAP@.5 + 0.3 * meanIoU
```

You may choose three solutions to submit for the final evaluation. By default, these are solutions with the best Leaderboard metric. 

If several Participants have the same competition_metric values, their solutions are assessed based on processing time (the time spent on processing tasks).  The faster the decision is processed, the higher the position in the leaderboard.

If both the competition_metric values and the processing time of the models for several participants coincide, then the time to upload the solution to the Contest Site will be taken into account. The previously uploaded solution to the Contest Site will be assigned a higher place.


##
[Terms of use](https://api.dsworks.ru/dsworks-transfer/api/v1/public/file/terms_of_use_en.pdf/download)  
[Rules](https://api.dsworks.ru/dsworks-transfer/api/v1/public/file/rules_en.pdf/download)


AITrain: детекция препятствий и элементов дорожной инфраструктуры
=================================
[link to github](https://github.com/sberbank-ai/railway_infrastructure_detection_aij2021)  
[Вебинар с разбором задачи](https://www.youtube.com/watch?v=7iSySv-3r_g)

Соревнование алгоритмов определения препятствий и элементов ЖД-инфраструктуры.  

Одним из способов повышения безопасности ЖД перевозок является создание интеллектуальных систем, предупреждающих машиниста о возможном столкновении с потенциально опасными объектами. В рамках соревнования требуется создать алгоритм, детектирующий такие объекты, а также определяющий элементы дорожной инфраструктуры, определяющие движение поезда - рельсы, стрелочные переводы и светофоры.  
В качестве входных данных используются RGB изображения, полученные с различных камер, установленных на электропоезде и аннотации к ним.

**Победители задачи AITrain:**
| place | team | score |
|--|--|--|
**1** |ammarali32|0.57413|
**2**| Toohardforme|0.56005|
**3**| Sergey Zlobin|0.55843|

## Постановка задачи

На основе размеченных фотографий необходимо создать алгоритм детекции следующих объектов:
- "Car" (автомобиль),
- "Human" (человек),
- "Wagon" (вагон)*,
- "FacingSwitchL" (стрелочный перевод по ходу движения, влево),
- "FacingSwitchR" (стрелочный перевод по ходу движения, вправо),
- "FacingSwitchNV" (стрелочный перевод по ходу движения, вне видимости),
- "TrailingSwitchL" (стрелочный перевод против хода движения, влево),
- "TrailingSwitchR" (стрелочный перевод против хода движения, вправо),
- "TrailingSwitchNV" (стрелочный перевод против хода движения, вне видимости),
- "SignalE" (разрешающий сигнал светофора),
- "SignalF" (запрещающий сигнал светофора).

Одновременно требуется разметить сегментационные маски для следующих элементов:
 - 6 - "MainRailPolygon" (главный ЖД-полигон);
 - 7 - "AlternativeRailPolygon" (вспомогательный ЖД-полигон);
 - 10 - "Train" (поезд)*.

Примечание: требуется детектировать первый и последний вагоны поезда, также для всех вагонов требуются сегментационные маски.


## Формат решения

В проверяющую систему необходимо отправить код алгоритма, запакованный в ZIP-архив. Решения запускаются в изолированном окружении при помощи Docker. Время и ресурсы во время тестирования ограничены. Участнику нет необходимости разбираться с технологией Docker.

### Содержимое контейнера

В корне архива обязательно должен быть файл metadata.json следующего содержания:
```json
{
    "image": "cr.msk.sbercloud.ru/aijcontest2021/aitrain-base:v0.0.5",
    "entrypoint": "python3 /home/jovyan/solution.py"
}
```

Здесь `image` — поле с названием docker-образа, в котором будет запускаться решение, `entrypoint` — команда, при помощи которой запускается решение. Для решения текущей директорией будет являться корень архива. 

Для запуска решений можно использовать существующие окружения:

- [Базовые образы для задач обучения](https://docs.sbercloud.ru/aicloud/mlspace/concepts/environments__basic-images-for-training.html).

Подойдет любой другой образ, доступный для загрузки из `sbercloud`. При необходимости, Вы можете подготовить свой образ, добавить в него необходимое ПО и библиотеки (см. [инструкцию по созданию Docker-образов для `sbercloud`](https://github.com/sberbank-ai/no_fire_with_ai_aij2021/blob/main/sbercloud_instruction.md)); для использования его необходимо будет опубликовать на `sbercloud`.

### Ограничения

В течение одного дня Участник или Команда Участников может загрузить для оценки не более трёх решений. Учитываются только валидные попытки, получившие численную оценку.  

Контейнер с решением запускается в следующих условиях:

- 94 Гб оперативной памяти;
- 3 vCPU;
- 1 GPU Tesla V100 32 Gb.
- время на выполнение решения: 15 минут (300 изображений)
- решение не имеет доступа к ресурсам интернета
- максимальный размер упакованного и распакованного архива с решением: 10 Гб
- максимальный размер используемого Docker-образа: 25 Гб

## Проверка качества

В качестве метрики качества соревнования используется взвешенное среднее `mAP@.5` и `meanIoU`:

[Описание mAP](https://cocodataset.org/#detection-eval)  

[Описание meanIoU](https://www.tensorflow.org/api_docs/python/tf/keras/metrics/MeanIoU)

```
competition_metric = 0.7 * mAP@.5 + 0.3 * meanIoU
```

Для финальной оценки можно выбрать 3 решения. По умолчанию это решения с наилучшей метрикой на лидерборде. 

В случае одинаковых значений метрики competition_metric у нескольких участников, их решения оцениваются по processing time (время, затраченное на обработку задач). Чем быстрее обрабатывается решение, тем выше позиция в лидерборде. 

Если же и значения competition_metric, и processing time моделей у нескольких участников совпадают, то будет учитываться время загрузки решения на Сайт Конкурса. Ранее загруженному решению на Сайт Конкурса будет присвоено более высокое место.



##
[Пользовательское соглашение](https://api.dsworks.ru/dsworks-transfer/api/v1/public/file/terms_of_use.pdf/download)  
[Правила соревнования](https://api.dsworks.ru/dsworks-transfer/api/v1/public/file/rules.pdf/download)
