Applications of the least squares method

Abstract

Tato práce se zaměřuje na aplikaci metody nejmenších čtverců, široce používaného nástroje v lineární algebře a numerické matematice pro aproximaci řešení přeurčených systémů. Práce aplikuje stávající výsledky řešením vybraných úloh z učebnice "Intro- duction to Applied Linear Algebra" Boyda a Vandenberghe. Mezi probíraná témata patří fitování dat, lineární regrese, klasifikace a optimalizace s omezeními. Cílem je prohloubit znalosti prostřednictvím prezentací vyřešených řešení spolu s vysvětlením potřebné te- orie. Práce také rozebírá, jak se metoda nejmenších čtverců projevuje v oblastech, jako jsou finance a strojové učení, a upozorňuje na některá její omezení, včetně problémů s nelineárními nebo řídkými daty.

This thesis focuses on the application of the least squares method, a widely used tool in linear algebra and numerical mathematics for approximating solutions to overdetermined systems. The thesis applies existing results by solving selected exercises from the textbook Introduction to Applied Linear Algebra by Boyd and Vandenberghe. Topics covered include data fitting, linear regression, classification, and constrained optimization. The aim is to deepen understanding through practice by presenting worked solutions alongside explanations of the necessary theory. The thesis also discusses how least squares appears in areas such as finance and machine learning, and notes some of its limitations, including challenges with nonlinear or sparse data.