Context-Enriched Prompting Strategies for Automated Data Specification Adjustment in Dataspecer Using LLMs, RAG and MCP

Abstract

This thesis elaborates on the application of LLMs to the automated adjustment of data specifications in response to real-world changes, such as updates of APIs and database schemas. The work is situated in the context of Dataspecer, a tool designed to make data specifications management more intuitive and natural. Research focuses on de- signing and evaluating strategies for LLM input and output to support specification maintenance, with particular attention to prompting techniques such as chaining, role- based prompting, and few-shot examples. The study explores the integration of LLMs into more complex tool environments using the MCP and RAG for the stated purpose. The expected outcomes include a methodology and prototype solution for effective LLM- driven specifications adjustment, alongside an experimental evaluation of the proposed approach.

Tato práce se zabývá aplikací velkých jazykových modelů (LLM) pro automatizovanou úpravu datových specifikací v reakci na změny v reálném prostředí, jako jsou aktualizace API a databázových schémat. Práce je zasazena do kontextu nástroje Dataspecer, který je navržen tak, aby správa datových specifikací byla intuitivnější a přirozenější. Výzkum se zaměřuje na návrh a vyhodnocení strategií pro vstupy a výstupy LLM při podpoře údržby specifikací, se zvláštním důrazem na techniky promptování, jako je řetězení promptů, role-based prompting a využití few-shot příkladů. Studie se rovněž zabývá integrací LLM do složitějších vývojových prostředí prostřednictvím Model Context Protocolu (MCP) a Retrieval-augmented generation (RAG) za uvedeným účelem. Očekávanými výstupy jsou metodologie a prototypové řešení pro efektivní úpravy specifikací pomocí LLM, doplněné o experimentální vyhodnocení navrženého přístupu z hlediska přesnosti detekce rozdílů, klasifikace a úsudku.