Neural networks and knowledge distillation

Abstract

Tato diplomová práce se zabývá metodou destilace znalostí (knowledge distillation), což je tréninková technika v kontextu neuronových sítí, a navrhuje novou metodu, ve které je standardní volba Kullback-Leiblerovy divergence v minimalizované ztrátové funkci nahrazena obecnou Rényiho divergencí s parametrem α. Navržená technika je hodnocena testováním na úloze počítačového vidění, a to pomocí běžně používané obrazové databáze a neuronové architektury, přičemž se zohledňuje rychlost konvergence a dosažená přes- nost. Na základě důkladného odvození a empirických testů byly formulovány a porovnány tři různé přístupy. Tato práce vytváří základ pro budoucí výzkum aplikace Rényiho di- vergence v oblasti destilace znalostí. 1

This thesis studies knowledge distillation, a training technique in the context of neural networks, and proposes a novel method in which the standard choice of Kullback-Leibler divergence in the minimized loss is replaced with the general Rényi divergence with parameter α. The proposed technique is evaluated by testing on a computer vision task using a standard image dataset and neural architecture, in terms of speed of convergence and final accuracy. Based on rigorous derivations and empirical testing, a total of three different approaches were formulated and compared. This work establishes a foundation for future research into the application of Rényi divergence in knowledge distillation. 1