Matej Perejda

Koordinované získavanie a extrakcia dát z webových portálov cez spolupracujúce rozšírenia webových prehliadačov

Diplomová práca

Prírodovedecká fakulta, Univerzita Pavla Jozefa Šafárika v Košiciach
2. stupeň
2017 - súčasnosť

Ďalej...

O práci

Téma:

Koordinované získavanie a extrakcia dát z webových portálov cez spolupracujúce rozšírenia webových prehliadačov

Vedúci práce:

RNDr. Peter Gurský, PhD.

Ciele

Porovnanie súčasných spôsobov extrakcie dát z webových portálov najmä z hľadiska schopnosti extrahovať dáta z dynamicky vytváraných webových stránok cez AJAX volania a schopnosti distribúcie procesu prehľadávania a extrakcie.

Obohatenie existujúceho rozšírenia webového prehliadača na anotáciu webových stránok o schopnosť prehľadávania a extrakcie dát z webu aj pre dynamické webové stránky simuláciou správania používateľa.

Návrh a vytvorenie škálovateľného servera koordinujúceho spoluprácu viacerých inštancií vytvoreného rozšírenia webového prehliadača z cieľa 2.

Otestovanie korektnosti a škálovateľnosti vytvoreného riešenia extrakciou reálnych webových portálov.

Postup práce

Dokument schválený vedúcim práce

Literatúra

[1] Liu, Bing: Web Data Mining: Exploring Hyperlinks, Contents, and Usage Data. Second Edition, ISBN 978-3-642-19459-7, Springer, 2011

[2] Kushmerick, N.: Wrapper induction: efficiency and expressiveness. Artificial Intelligence, 118:15-68, 2000.

[3] Muslea, I., Minton, S. and Knoblock, C.: A hierarchical approach to wrapper induction. Agents-99, 1999.

[4] Cohen, W., Hurst, M., and Jensen, L.: A flexible learning system for wrapping tables and lists in HTML documents. WWW-2002, 2002.

[5] Hsu, C.N., Dung, M.T.: Generating finite-state transducers for semistructured data extraction from the Web. Information Systems. 23(8): 521-538, 1998.

[6] Chabaľ, V: Poloautomatická extrakcia komentárov z produktových katalógov. Diplomová práca. Košice 2014

[7] Crescenzi, V., Mecca, G., Merialdo,P.: Roadrunner: Towards automatic data extraction from large web sites. In Proceedings of VLDB 2001, pp. 109-118.

Dokumenty

Dokumenty

Prezentácia témy (PDSI) - 29.11.2017

Rozšírené zadanie diplomovej práce (PDSI) - 8.12.2017

Prezentácia progresu práce (SDI1a) - 2.5.2018

Dokument s analýzou schválený vedúcim práce (SDI1a) - 8.6.2018

Propagačný referát o stave riešenia diplomovej práce (SDI1b) - 3.10.2018

Prezentácia výsledkov práce (SDI1b) - 5.12.2018

Prezentácia ŠVK (SDI1c) - 24.4.2019

Kontakt

V prípade akýchkoľvek otázok ma kontaktujte.

Matej Perejda

mat.per.vt[at]gmail.com (private) matej.perejda[at]student.upjs.sk (UPJŠ)