<p>Перед тем, как участвовать в соревновании, приглашаем вас в <a href="https://ods.ai/tracks/nlp_in_practice" rel="noopener noreferrer" target="_blank">трек &ldquo;NLP in practice&rdquo;</a>, где мы подробно разбираем все технические этапы, с которыми сталкиваются дата-сайентисты в NLP на практике. Переходите <a href="https://ods.ai/tracks/nlp_in_practice" rel="noopener noreferrer" target="_blank">по ссылке</a>, смотрите обучающие видео и участвуйте в квизах по ним!</p>

<h2><strong>Правила участия</strong></h2>

<p>Нажимая кнопку &quot;Участвовать&quot; и/или &quot;Отправить решение&quot;, вы соглашаетесь с <a href="http://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/AlfaDF23/Rules_Data_Fest_2023.pdf" rel="noopener noreferrer" target="_blank">Правилами проведения онлайн-соревнования &quot;Data Fest 2023. Соревнование по структуризации чеков ОФД&quot;.</a></p>

<h2><strong>Задача</strong></h2>

<p>Данные чеков ОФД содержат детальную информацию о тратах клиентов. Они помогают улучшать качество моделей кредитного скоринга и склонности к банковским продуктам, а также улучшать пользовательский опыт за счет структуризации трат клиентов в мобильном приложении. Однако работа с этим источником затрудняется его неструктурированностью: вся информация о купленном товаре лежит в одной строке произвольного формата.</p>

<p>В предположении что каждая чековая позиция описывает какой-либо товар, наименование этого товара, а также его бренд, являются главной информацией, которую можно извлечь из чека. По итогу задача структуризации этих данных ограничивается выделением и нормализацией брендов и товаров.</p>

<h2><strong>Данные</strong></h2>

<p>Участникам соревнования предоставляются два датасета с чековыми позициями, размеченный и неразмеченный:</p>

<ol>
<li>В размеченном датасете для каждой чековой позиции указаны нормализованные бренды и товары входящие в нее в исходном виде.</li>
<li>В неразмеченном датасете даны только сами чековые позиции.</li>
</ol>

<p>Подробное описание файлов и полей датасета соревнования можно найти во вкладке&nbsp;<a href="https://ods.ai/competitions/nlp-receipts/data" rel="noopener noreferrer" target="_blank">Данные</a>.</p>

<h2><strong>Метрика соревнования</strong></h2>

<p>Метрика соревнования - (F1_good + 2 * F1_brand) / 3, где F1_good- это метрика F1 на товарах, а F1_brand - это метрика F1 на брендах. Для подсчета F1 мы для считаем две метрики:</p>

<ul>
<li>Precision - доля сущностей из предсказания модели, которые оказались верными (то есть присутствуют в ответе для соответствующих примеров)</li>
<li>Recall - доля сущностей в ответах, которые выделила модель</li>
</ul>

<p>После чего метрика считается по знакомой формуле F1 = 2 / (1 / precision + 1 / recall)</p>

<p>Подробнее о данной модификации F1 для задач, подобных NER, можете прочитать по&nbsp;<a href="https://www.davidsbatista.net/blog/2018/05/09/Named_Entity_Evaluation/" rel="noopener noreferrer" target="_blank">ссылке</a> (раздел CoNLL).</p>

<h2><strong>Этапы соревнования</strong></h2>

<ol>
<li>CSV-соревнование<strong> (вы находитесь здесь)</strong>.

<ul>
<li>Сроки проведения: 2 июня 17:00 - 1 июля 23:59</li>
<li>Решения принимаются в формате CSV-файлов с ответами на тестовый датасет. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>В следующий этап проходят топ-20% (но не более 20) участников согласно окончательной таблице лидеров соревнования</li>
</ul>
</li>
<li>Docker-соревнование.
<ul>
<li>Сроки проведения: 2 июля 12:00 - 15 июля 23:59</li>
<li>Решения принимаются в формате Docker-контейнеров с инференсом модели. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>Для подтверждения участия в этом соревновании необходимо до 4 июля 23:59 отправить в соревнование решение в виде Docker-контейнера (формат описан в пункте &ldquo;Проверка решения&rdquo;) с лучшим решением этапа 1 в тестирующую систему (до этого момента в системе будет тестовый датасет из этапа 1). Участники, чей результат в CSV-соревновании будет сильно отличаться от результата их Docker-контейнера, будут дисквалифицированы.</li>
<li>В следующий этап проходят топ-10 команд согласно окончательной таблице лидеров соревнования</li>
</ul>
</li>
<li>Доразметка.
<ul>
<li>Сроки проведения: 16 июля 12:00 - 23 июля 23:59</li>
<li>Для получения дополнительной разметки каждая команда дошедшая до данного этапа может выбрать среди неразмеченного датасета не более 3000 примеров и направить их идентификаторы организаторам не позднее 16 июля 23:59 в&nbsp;<a href="https://t.me/xterrafunny" rel="noopener noreferrer" target="_blank">telegram</a>.</li>
<li>Не позднее 23 июля 23:59 организаторы вышлют всем командам, которые запрашивали дополнительную разметку, их размеченные примеры через telegram.</li>
</ul>
</li>
<li>Docker-соревнование.
<ul>
<li>Сроки проведения: 24 июля 12:00 - 6 августа 23:59</li>
<li>На данном этапе разрешается использовать доразметку полученную на этапе 3</li>
<li>Решения принимаются в формате Docker-контейнеров с инференсом модели. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>Авторы трех решений с наибольшей метрикой на private-части объявляются победителями и делят денежный приз</li>
</ul>
</li>
</ol>

<h2><strong>Проверка решения</strong></h2>

<h2><strong>Этап 1</strong></h2>

<p>Решения принимаются в виде csv-файла с тремя колонками: &quot;id&quot; - уникальный идентификтор, &quot;brand&quot; - бренды содержащиеся в данной чековой позиции, и &quot;good&quot; - товары содержащиеся в данной чековой позиции. Пример сабмита можно найти в файле sample_submission.csv.</p>

<p>Если в чековой позиции содержится больше одного бренда или товара, то нужно указать их через запятую. Промежуточные итоги подводятся на public-части тестовой выборки. Победители и призеры определяются на private-части тестовой выборки. И промежуточную, и окончательную таблицу лидеров можно найти во вкладке&nbsp;<a href="https://ods.ai/competitions/nlp-receipts/leaderboard" rel="noopener noreferrer" target="_blank">Таблица лидеров</a>.</p>

<h2><strong>Этапы 2 и 4</strong></h2>

<p>Решения принимаются в виде zip-архива размером не более 5Gb, имеющего структуру:</p>

<ul>
<li>metadata.json</li>
<li>user_file_1</li>
<li>user_file_2</li>
<li>&hellip;</li>
<li>user_file_n</li>
</ul>

<p>В файле metadata.json должны быть два поля:</p>

<ul>
<li>image - публичный образ в DockerHub, например &ldquo;xterrafunny/baseline-nlp-in-practice:latest&rdquo;</li>
<li>entry_point - команда для запуска в контейнере, например &ldquo;python run.py&rdquo;</li>
</ul>

<p>Решение запускается в Docker-контейнере, указанном в metadata.json. На вход в entry_point подаются:</p>

<ul>
<li><code>--dataset DATASET_PATH</code> - путь к датасету</li>
<li><code>--output OUTPUT_PATH</code> - путь для сохранения предсказаний модели</li>
</ul>

<p>Пример подаваемых аргументов: <code>--dataset ./dataset.csv --output ./pred.csv</code></p>

<p>Ресурсы для образа:</p>

<ul>
<li>8 vCPU</li>
<li>96Gb RAM</li>
<li>Nvidia V100, 32Gb</li>
<li>10Gb дискового пространства</li>
<li>Время на исполнение - 45 минут</li>
</ul>

<p>Предсказания модели должны представлять собой csv-файл с тремя колонками: &quot;id&quot; - уникальный идентификтор, &quot;brand&quot; - бренды содержащиеся в данной чековой позиции, и &quot;good&quot; - товары содержащиеся в данной чековой позиции. Пример предсказаний можно найти в файле sample_submission.csv. Если в чековой позиции содержится больше одного бренда или товара, то нужно указать их через запятую.</p>

<p>Промежуточные итоги подводятся на public-части тестовой выборки. Победители и призеры определяются на private-части тестовой выборки.</p>

<h2><strong>Использование внешней разметки</strong></h2>

<p>Запрещается использовать полученную вручную разметку, кроме предоставленной организаторами в датасетах и в рамках процесса доразметки, в выборках для модели, а также в посылках. Организаторы имеют право запросить Docker-контейнер с обучением и инференсом модели для подтверждения честности полученных результатов.</p>

<p>Однако разрешается собирать неразмеченные данные из открытых источников, при условии полной автоматизации данного процесса (то есть участник может предоставить Docker-контейнер в котором воспроизводится весь процесс)</p>

<h2><strong>Объединение в команды</strong></h2>

<p>В соревновании разрешено объединение участников в команды до 3 человек. Возможность объединения в команды закрывается 24 июня в 23:59.</p>

<h2><strong>Базовые решения и полезные функции</strong></h2>

<p>Чтобы помочь вам быстрее влиться в задачу соревнования, мы подготовили несколько базовых решений задачи. Все эти материалы можно найти в репозитории по&nbsp;<a href="https://github.com/xterrafunny/nlp_in_practice_receipts" rel="noopener noreferrer" target="_blank">ссылке</a>.</p>

<h2><strong>Призовой фонд</strong></h2>

<p>Призовой фонд разделят авторы 3 решений с наибольшей метрикой на private-части тестовой выборки на этапе 4</p>

<ul>
<li>1 место &ndash; 450 000 рублей</li>
<li>2 место &ndash; 250 000 рублей</li>
<li>3 место &ndash; 100 000 рублей</li>
</ul>

<p>Для получения денежных призов победителям и призерам соревнования необходимо прислать свое решение в виде Docker-контейнера, содержащего код для обучения и инференса лучшей модели на языке Python.</p>

Примите участие в первом DataScience-соревновании от Альфа-Банка! Это не будет соревнованием по машинному обучению, так как на последнем этапе вы не будете подбирать гиперпараметры, а будете выбирать данные для разметки, как это происходит на практике, чтобы улучшить свое решение

Public

Private

User Agreement

<p>I accept <a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/UserAgreement.pdf" rel="noopener noreferrer" target="_blank">Terms of User Agreement and Privacy Policy</a></p>

Privacy Policy

<p>I give my<a href="http://storage.yandexcloud.net/ds-ods/files/data/docs/events/DataFest2023/20230324-Consent_en.pdf"> consen</a>t to &laquo;Sorevnovaniya Analiza Dannykh&raquo; LLC to process and transfer my personal data to the partners of the event for information interaction</p>

Consent

<p>I agree to receive newsletters from &laquo;Sorevnovaniya Analiza Dannykh&raquo; LLC&nbsp;about key ODS.AI activities</p>

#	Teams (134)	F1 score	Last	Entries
1	tg kaggle_fucker	0.8428951774	21m	56
2	Andrey Kuznetsov	0.8209243028	21m	40
3	Andrei Babkin	0.816688894	21m	41
4	Ivan Yu Bondarenko	0.8148605143	21m	7
5	Dmitry Kuzyurin	0.8141254652	21m	23
6	Mikhail Utrobin	0.8087335591	22m	19
7	Andrey Khlopotnukh	0.8038481659	22m	44
8	Aleksandr Shatilov	0.8011746943	21m	11
9	Poly Team	0.8007980861	21m	43
10	Eskender Dzhemadinov	0.7996547261	21m	36
11	One Piece	0.7974671979	21m	4
12	BibaAndBoba	0.7950652488	21m	8
13	Vladimir Testov	0.7927154989	21m	6
14	Stanislav Chistyakov	0.789823755	21m	35
15	Ilia Kuleshov	0.7859871928	22m	2
16	Ilia Kolzin	0.7846927314	22m	28
17	Nikolai Semiachkin	0.7820349997	21m	10
18	Alesha	0.7798592238	21m	3
19	Vladimir Vorobev	0.778161194	22m	17
20	Valentin Gromov	0.7772005846	21m	10
21	tg ai_minds	0.7771312471	21m	45
22	ZA DENGI DA	0.7746410909	21m	8
23	killer-queen	0.7708931514	21m	14
24	Kirill Bobylev	0.7687000532	21m	34
25	ML Rocks	0.766739933	21m	3
26	sfdc9d969c9c8	0.7654881446	21m	5
27	qklent	0.7653834111	22m	30
28	Tcofaz	0.7629305688	22m	16
29	Postironiia Dlia russkikh	0.761722488	22m	36
30	Nikolai Vdovin	0.7614064073	22m	13
31	Maksim Maklygin	0.7597594896	21m	12
32	Aleksey Aleksey	0.7543554661	22m	22
33	hfd9721d83824	0.7536636768	21m	3
34	Max Milkov	0.7523761309	22m	15
35	Rinat	0.7505879002	22m	14
36	Pavel Orlov	0.7467183877	21m	20
37	Aleksey Savotchenko	0.7445153341	22m	25
38	aujdijbnawi	0.7444115342	22m	12
39	Evgenii Vigurskii	0.7419609932	22m	23
40	Artiom Akopian	0.7386759072	21m	30
41	Mikhail Cherpakov	0.7372282828	22m	8
42	Tatyana Zh	0.7368986599	21m	6
43	Arseniy Polyakov	0.7356384902	21m	33
44	svq	0.7351060074	22m	12
45	Sergei Kozhevnikov	0.7304474216	22m	9
46	Dungeon Master	0.7297684211	22m	2
47	Aleksandr Gritckevich	0.7267095746	22m	28
48	Хомячки	0.7201701223	21m	13
49	Alexander Dudin	0.7186868309	22m	21
50	сансеймайсамба	0.7167153642	21m	35