Extrakce znalostí pomocí vrstevnatých neuronových sítí

Abstract

Model vrstevnatých neuronových sítí je známý především díky své univerzální aproximační schopnosti. Již základní algoritmus zpětného šíření dává výsledky použtelné v reálných aplikacích. Efektivní řešení složitých úloh by však mělo vyhovovat náročným požadavkům na rychlost procesu učení a na transparentní strukturu vytvořené sítě. Ta totiž souvisí s lepší schopností sítě zobecňovat extrahované znalosti a následně i se snazší interpretací funkce naučené sítě. Lepšího zobecňování lze dosáhnout použitím různých technik, jako je např. učení s nápovědou, prořezávání a analýza citlivosti. Mezi rychlé algoritmy učení pak patří metody konjugovaných gradientů. V první části této práce jsme shrnuli a navzájem porovnali výše zmíněné techniky. Následně jsme odvodili novou metodu, která v sobě spojuje výhody předchozích technik. Navržený algoritmus je inspirovaný extrémně rychlou metodou škálovaných konjugovaných gradientů. Původní metodu jsme však rozšířili o vynucovanou kondenzovanou interní reprezentaci a prořezávání motivované citlivostní analýzou. Vlastnosti navržené techniky jsme otestovali na umělých úlohách i na reálných datech ze Světové banky. Doposud provedené experimenty naznačují slibné výsledky nového přístupu. Navržená technika dává ve všech ohledech mnohem lepší výsledky než jednotlivé původní metody a...

Multi-layered neural networks of the back-propagation type are well known for their universal approximation capability. Already the standard back-propagation training algorithm used for their adjustment provides often applicable results. However, e cient solutions to complex tasks currently dealt with require a quick convergence and a transparent network structure. This supports both an improved generalization capability of the formed networks and an easier interpretation of their function later on. Various techniques used to optimize the structure of the networks like learning with hints; pruning and sensitivity analysis are expected to impact a better generalization, too. One of the fast learning algorithms is the conjugate gradient method. In this thesis, we discuss, test and analyze the above-mentioned methods. Then, we derive a new technique combining together the advantages of them. The proposed algorithm is based on the rapid scaled conjugate gradient technique. This classical method is enhanced with the enforcement of a transparent internal knowledge representation and with pruning of redundant hidden and input neurons inspired by sensitivity analysis. The performance of the developed technique has been tested on arti cial data and on real-world data obtained from the World Bank. Experiments done...