Расскажем о том, что такое дистилляция знаний на примере задач текстового представления и поиска. Какая дистилляция бывает, как мы используем её для ускорения и облегчения моделей в production. Немного поделимся хинтами и современными подходами в данном направлении.