Použití LLM k vytvoření znalostní databáze nad dokumenty

Abstract

Velké jazykové modely (LLM) čelí při použití v oblasti podnikových dokumentů řadě výzev, včetně zastaralých znalostí, halucinací a rizik spojených s ochranou soukromí při využívání cloudových služeb. Tato práce se těmito problémy zabývá prostřednictvím návrhu plně lokální implementace retrieval-augmented generation na běžném osobním počítači s cílem zajistit úplnou ochranu dat. Výzkum se zaměřuje na analýzu charakteristik dokumentů, zejména finančních zpráv, a na vytvoření počátečního proof-of-concept řešení pomocí open-source nástrojů, jako je Ollama a kvantované LLM. Práce využívá iterativní přístup k vývoji systému, kdy je systém postupně vylepšován cílenými úpravami jednotlivých komponent pipeline. Každá iterace je systematicky hodnocena pomocí LLM, který slouží jako hodnotitel změn výkonu a kvality. Výsledkem je funkční pipeline pro retrieval-augmented generation, která ukazuje praktickou proveditelnost bezpečného a soukromí chránícího vyhledávání informací na osobním počítači. Tato práce přináší poznatky o optimalizaci lokálních konfigurací, hodnotí kompromisy při omezených zdrojích a nabízí nový rámec pro hodnocení a zlepšování retrieval-augmented generation pipeline.

Large language models (LLMs) face challenges when applied to enterprise documents, including outdated knowledge, hallucinations, and privacy risks associated with cloud-based services. This thesis addresses these problems by exploring a fully local implementation of retrieval-augmented generation on standard personal computer to ensure complete data privacy. The research focuses on analyzing document characteristics, particularly financial reports, and building an initial proof-of-concept pipeline using open-source tools such as Ollama and quantized LLMs. The work adopts an iterative development approach, refining the system through targeted modifications of individual pipeline components. Each iteration is systematically evaluated using an LLM as a judge to assess changes in performance and quality. The final outcome is a functional retrieval-augmented generation pipeline that demonstrates the practical feasibility of secure, privacy-preserving information retrieval on a personal computer. This thesis provides insights into optimizing local configurations, evaluates trade-offs under resource constraints, and offers a novel assessment framework for improving retrieval-augmented generation pipelines.