Web page analyzer for scraping
Analyzátor webových stránek pro extrakci dat
bachelor thesis (DEFENDED)
![Document thumbnail](/bitstream/handle/20.500.11956/183127/thumbnail.png?sequence=8&isAllowed=y)
View/ Open
Permanent link
http://hdl.handle.net/20.500.11956/183127Identifiers
Study Information System: 258782
Collections
- Kvalifikační práce [10925]
Author
Advisor
Referee
Petříček, Tomáš
Faculty / Institute
Faculty of Mathematics and Physics
Discipline
Programming and Software Systems
Department
Department of Theoretical Computer Science and Mathematical Logic
Date of defense
29. 6. 2023
Publisher
Univerzita Karlova, Matematicko-fyzikální fakultaLanguage
English
Grade
Good
Keywords (Czech)
extrakce dat z webu|analyzátor webových stránekKeywords (English)
web scraping|page analyserWeb scraping je technika používaná ve spoustě aplikací k získání dat z webových stránek. Pro vytvoření scraperu musí vývojář nejdříve provést analýzu webové stránky, ze které chce data stahovat. Tato analýza se dělá pomocí nástrojů jako web devtools nebo Postman a je zapotřebí na nalezení dat a na určení efektivního způsobu jak scrapovat webstránku. Struktury jed- notlivých webových stránek se velmi liší, a proto je proces analýzy zdlouhavý a časově náročný. Cílem tohoto projektu je vytvořit nástroj, který by mohl použít i běžný uživatel, aby získal přehled o tom, jak lze data z dané webové stránky efek- tivně stáhnout. Tento nástroj provede analýzu vstupní webové stránky, jejíž výsledky jsou prezentovány v minimalistickém uživatelském rozhraní. Výstup analýzy může být použitý jako návod na konfiguraci web scrapingových ná- strojů bez psaní kódu a rovněž jako podklad pro vývoj webového scraperu.
Web scraping is a technique used for a variety of applications to extract data from the web. To create a scraper, a developer needs to perform an analysis of the scraped website using tools like web devtools or Postman. This analysis is necessary to locate the data and to determine an effective way to scrape the website. The structure of websites varies greatly and the process of analysis is tedious and time-consuming. The goal of this project is to create a tool, that a non-developer could use to get an insight into where the data is stored on the website and how it can be scraped. An analysis is performed on the input website. Results of the analysis are presented in a minimalist user interface. Output of the analysis can be used as a guide for no code web scraping tools configuration as well as a baseline for a web scraper development.