Крауд разметку чаще всего используют, когда примеры есть, нужно обучить на них ML модель, а разметки нет. Однако крауд, в частности с помощью Толоки, можно использовать для множества практических задач помимо непосредственно обучения модели.

В этом докладе я расскажу про такие примеры:

• Human-in-the-loop мониторинг ML моделей с помощью крауда. Подводные камни и наш собственный опыт с внедрением такой системы.
• Стартер пак для реализации своего пайплайна мониторинга. Крауд разметка для калибровки моделей.
• Кластеризация данных с помощью крауда. Используем крауд для очистки датасетов от шума.

* Active learning: размечаем только то, что нужно для обучения модели.

Доклад будет полезен специалистам, работающим с ML моделями, как аналитикам данных, так и инженерам.