FAQ


Что нужно отправлять в решении?

Zip-архив с решением должен содержать jsonl файлы, именованные в соответствии с названиями задач, например, RuMedDaNet.jsonl или RuMedTest.jsonl. Пример решения можно посмотреть здесь.


После загрузки решения я получаю ошибку, что мне делать?

Пожалуйста, ещё раз убедитесь в корректности формата решения (именование и формат файлов, точное совпадение идентификаторов и т.п.). Если ошибка повторяется, создайте issue в репозитории проекта.


Можно ли загрузить неполный архив?

Да, на проверку может быть отправлено решение отдельных задач.


Сколько раз в день можно загружать решения?

Мы доверяем научному сообществу. Вопрос о допустимом количестве проверок решения оставляем на совести каждого из участников.


Полагается ли выплата призовых за решение задач?

Нет.


Как я могу сослаться на эту работу?

Пожалуйста, используйте статью:

@misc{blinov2022rumedbench, title={RuMedBench: A Russian Medical Language Understanding Benchmark}, author={Pavel Blinov and Arina Reshetnikova and Aleksandr Nesterov and Galina Zubkova and Vladimir Kokh}, year={2022}, eprint={2201.06499}, archivePrefix={arXiv}, primaryClass={cs.CL} }

Я не знаю с чего начать, есть ли обучающий материал?

Можете ознакомиться с существующими решениями в репозитории проекта.


Нужно ли регистрироваться на сайте, чтобы загрузить решение?

Нет, проверить свои решения вы можете без регистрации, достаточно загрузить архив с ответами через кнопку "Загрузить решение" на странице "Лидерборд".


Я нашёл ошибку / у меня предложение / вопросы по бенчмарку, куда я могу сообщить об этом?

Пожалуйста, открывайте запросы в разделе Issues или пишите на MedBench@yandex.ru.


Есть ли у этого проекта группа для обсуждения?

Нет, все обсуждения через инструменты в GitHub-репозитории.


Под какой лицензией распространяются данные?

Все данные доступны под лицензией Apache License, Version 2.0.


Есть ли в данных персональная информация / как она защищена?

Нет, данные не содержат персональной информации.


Есть ли дедлайн для отправки решений?

Нет, мы не устанавливаем крайний срок для отправки решений.


Могу ли я проверить своё решение без публикации его на лидерборде?

Да, отправляйте решение на проверку, результат будет доступен только вам. Чтобы ваше решение появилось на лидерборде оно должно пройти дополнительную проверку и его код должен быть опубликован в репозитории.


Как загрузить решение, чтобы оно попало на лидерборд?

Если вы хотите, чтобы ваше решение появилось на лидерборде, нужно оформить его в виде pull-request или прислать код на проверку на MedBench@yandex.ru.


С какой организацией аффилирован данный бенчмарк?

Ни с какой, настоящий бенчмарк — открытая инициатива заинтересованных исследователей.


Есть ли какие-либо правила или ограничения для разрабатываемых систем?

Запрещена "ручная" разметка тестовых данных. В остальном выбор методов и деталей реализации автоматических интеллектуальных систем на усмотрение участников.


Можно ли использовать дополнительные данные/разметку?

Да, участники могут использовать дополнительные обучающие данные, но при публикации решения такие данные также должны быть размещены в открытом доступе.