Deep Learning for Symbolic Regression

Abstract

Symbolic regression is a task of finding mathematical equation based on the observed data. Historically, genetic programming was the main tool to tackle the symbolic regres- sion, however, recently, new neural network based approaches emerged. In this work, we propose transformer based approach which predicts the expression as a whole without the need of finding the expression coefficients in post-processing step. We also use a local gradient search to further improve the expression coefficients. We compare our so- lution to previous approaches on several benchmarks and demonstrate, that our solution is comparable in terms of performance while outperforming them in terms of speed of the prediction in the average case. 1

Symbolická regrese je úloha hledání matematické rovnice z pozorovaných dat. His- toricky bylo genetické programování hlavním nástrojem k řešení symbolické regrese, avšak v nedávné době se objevily nové přistupy založené na neuronových sítích. V této práci navrhujeme přístup založený na Transformeru, který předpovidá rovnici jako celek, bez toho aniž by musel hledat koeficienty v závěrečném kroku. Také používáme gradientní lokální prohledávání k tomu, abychom dále zlepšili koeficienty u hledané matematické rovnice. Naše řešení pak porovnáváme s předchozími přístupy a ukazujeme, že je výkon- nostně porovnatelné, přičmež je zároveň v průměru rychlejší při predikci než předchozí přístupy. 1