FAQ
Что нужно отправлять в решении?
Zip-архив с решением должен содержать jsonl файлы, именованные в соответствии с названиями задач, например, RuMedDaNet.jsonl или RuMedTest.jsonl. Пример решения можно посмотреть здесь.
После загрузки решения я получаю ошибку, что мне делать?
Пожалуйста, ещё раз убедитесь в корректности формата решения (именование и формат файлов, точное совпадение идентификаторов и т.п.). Если ошибка повторяется, создайте issue в репозитории проекта.
Можно ли загрузить неполный архив?
Да, на проверку может быть отправлено решение отдельных задач.
Сколько раз в день можно загружать решения?
Мы доверяем научному сообществу. Вопрос о допустимом количестве проверок решения оставляем на совести каждого из участников.
Полагается ли выплата призовых за решение задач?
Нет.
Как я могу сослаться на эту работу?
Пожалуйста, используйте статью:
Я не знаю с чего начать, есть ли обучающий материал?
Можете ознакомиться с существующими решениями в репозитории проекта.
Нужно ли регистрироваться на сайте, чтобы загрузить решение?
Нет, проверить свои решения вы можете без регистрации, достаточно загрузить архив с ответами через кнопку "Загрузить решение" на странице "Лидерборд".
Я нашёл ошибку / у меня предложение / вопросы по бенчмарку, куда я могу сообщить об этом?
Пожалуйста, открывайте запросы в разделе Issues или пишите на MedBench@yandex.ru.
Есть ли у этого проекта группа для обсуждения?
Нет, все обсуждения через инструменты в GitHub-репозитории.
Под какой лицензией распространяются данные?
Все данные доступны под лицензией CC BY-NC 4.0.
Есть ли в данных персональная информация / как она защищена?
Нет, данные не содержат персональной информации.
Есть ли дедлайн для отправки решений?
Нет, мы не устанавливаем крайний срок для отправки решений.
Могу ли я проверить своё решение без публикации его на лидерборде?
Да, отправляйте решение на проверку, результат будет доступен только вам. Чтобы ваше решение появилось на лидерборде оно должно пройти дополнительную проверку и его код должен быть опубликован в репозитории.
Как загрузить решение, чтобы оно попало на лидерборд?
Если вы хотите, чтобы ваше решение появилось на лидерборде, нужно оформить его в виде pull-request или прислать код на проверку на MedBench@yandex.ru.
С какой организацией аффилирован данный бенчмарк?
Ни с какой, настоящий бенчмарк — открытая инициатива заинтересованных исследователей.
Есть ли какие-либо правила или ограничения для разрабатываемых систем?
Запрещена "ручная" разметка тестовых данных. В остальном выбор методов и деталей реализации автоматических интеллектуальных систем на усмотрение участников.
Можно ли использовать дополнительные данные/разметку?
Да, участники могут использовать дополнительные обучающие данные, но при публикации решения такие данные также должны быть размещены в открытом доступе.