Data Lineage Analysis for Qlik Sense

Abstract

Počas posledných rokov sa Business Intelligence stala veľmi dôležitou pre všetky spoločnosti a organizácie po celom svete v oblasti rozhodovania a pozorovania dlhodobých trendov. Často sa stáva, že nástroje Business Intelligence sa postupne stanú veľmi zložitými a vykonanie akýchkoľvek zmien je veľmi náročné. Tento problém dokáže riešiť data lineage vizualizáciou dátových tokov a zobrazením vzájomných závislostí. Manta Flow je platforma, ktorá takúto lineage vytvára a podporuje programovacie jazyky (Java, C), databázy (Oracle, MS SQL), či nástroje Business Intelligence (Cognos, Qlik Sense). Cieľom tejto práce bolo implementovať prototyp skenerového modulu pre platformu Manta Flow, ktorý by zanalyzoval dátové toky v Qlik Sense a vytvoril by graf data lineage od dátových zdrojov až po prezentačnú vrstvu. Tento modul extrahuje metadáta potrebné pre analýzu, resolvuje objekty prítomné v danej Qlik Sense aplikácii a analyzuje dátové toky v nich. Výsledný graf data lineage je následne vizualizovaný inými komponentami platformy Manta Flow. 1

Business Intelligence has become essential for all companies and organizations in the world over the past few years when it comes to decision-making and observing long-term trends. It often happens that Business Intelligence tools that are used become very com- plex over time and it can then be very difficult to make any changes. Data lineage solves this problem by visualizing data flows and showing relative dependencies. Manta Flow is the platform which creates such lineage which supports programming languages (Java, C), databases (Oracle, MS SQL) or Business Intelligence tools (Cognos, Qlik Sense). The goal of this thesis was to implement a prototype of a scanner module for the Manta Flow platform, which would analyze data flows in Qlik Sense and create a data lineage graph from data sources to the presentation layer. This module extracts metadata neces- sary for the analysis, resolves the objects that are present in the Qlik Sense applications, and analyzes data flows in them. The resulting data lineage graph is then visualized by other components of the Manta Flow platform. 1