Adaptacyjny Web Scraper z Modelami Językowymi

Adaptacyjny Web Scraper z wykorzystaniem modeli językowych

Koncepcja adaptacyjnego systemu ekstrakcji danych z wykorzystaniem AI

Adaptacyjny Web Scraper z wykorzystaniem modeli językowych

Seminarium dyplomowe - poziom magisterski

---

Photo by Umberto on Unsplash

Adaptacyjny Web Scraper z wykorzystaniem modeli językowych

Seminarium dyplomowe (poziom magisterski) | Autor: Łukasz Rotko

• Struktura prezentacji
• Problem badawczy i cel pracy
• Podstawy i techniki scrapingu
• Modele językowe w ekstrakcji danych
• Architektura i workflow systemu
• Metodologia i hipotezy badawcze
• Analiza zalet, wad i ograniczeń
• Podsumowanie i wnioski

• Problem badawczy i cel pracy
• Podstawy scrapingu i techniki ekstrakcji
• Modele językowe w ekstrakcji danych
• Architektura i workflow systemu
• Metodologia i hipotezy badawcze
• Analiza zalet, wad i ograniczeń praktycznych
• Możliwości rozwoju i podsumowanie

• Proces ekstrakcji danych jest często niestabilny i podatny na częste błędy.
• Struktura stron WWW jest wysoce nieustrukturyzowana i dynamicznie zmienna.
• Klasyczne scrapery wymagają stałej, kosztownej ręcznej aktualizacji reguł.
• Brak odporności na zmiany struktury HTML ogranicza skalowalność rozwiązań.

• Ekstrakcja danych z internetu jest procesem niestabilnym i podatnym na błędy.
• Dane na stronach WWW są nieustrukturyzowane i dynamicznie zmienne.
• Klasyczne narzędzia są bardzo wrażliwe na zmiany struktury HTML.
• Wysoki koszt utrzymania i ciągłej aktualizacji parserów danych.
• Główny problem: brak odporności systemu na zmiany strony.

• Zaprojektowanie systemu adaptacyjnego do ekstrakcji danych WWW.
• Wykorzystanie modeli językowych (LLM) jako wsparcia klasycznego scrapingu.
• Analiza efektywności podejścia hybrydowego (HTML/API + LLM).
• Porównanie rozwiązań pod kątem dokładności, kosztów i wydajności.
• Przygotowanie teoretycznych podstaw dla przyszłej implementacji.

• Zaprojektowanie systemu ekstrakcji o podwyższonej adaptacyjności do zmian.
• Wykorzystanie modeli językowych (LLM) jako warstwy inteligentnego wsparcia.
• Analiza porównawcza podejść w kontekście jakości, kosztów i wydajności.
• Przygotowanie koncepcji gotowej do implementacji i dalszych badań.

Podstawy teoretyczne i techniki ekstrakcji

Analiza klasycznych metod scrapingu i możliwości LLM

Podstawy i metodyka scrapingu

Fundamenty techniczne ekstrakcji danych z sieci WWW

---

Photo by Umberto on Unsplash

• Web scraping to proces automatycznego pobierania danych ze stron.
• Standardowy proces: pobieranie HTML, analiza DOM, ekstrakcja, zapis.
• Kluczowe techniki: XPath, selektory CSS, API (JSON), headless browsers.
• Główna słabość: sztywna zależność od struktury strony internetowej.
• Potrzeba przejścia na podejście hybrydowe (klasyka + AI).

• Web scraping: automatyczne pobieranie i przetwarzanie treści ze stron WWW.
• Standardowy workflow: Pobranie (HTTP) -> Parsowanie (DOM) -> Ekstrakcja danych -> Zapis.
• Kluczowe ograniczenia: Sztywna zależność od struktury HTML/CSS/XPath.
• Brak elastyczności prowadzi do częstych awarii przy zmianach designu strony.

• Modele językowe (LLM) oferują zaawansowaną interpretację nieustrukturyzowanych danych.
• Możliwość ekstrakcji informacji i mapowania ich na format JSON.
• Wykorzystanie jako inteligentny fallback w przypadku błędów parsera.
• Techniki: Prompt-based extraction, Few-shot learning, Schema-based prompting.
• Klucz do adaptacyjności: interpretacja semantyczna zamiast analizy składniowej.

• Parsing HTML: Bezpośrednia analiza kodu strukturalnego (np. BeautifulSoup).
• Interfejsy API: Pobieranie ustrukturyzowanych danych (JSON) - najbardziej stabilne.
• Headless Browsers: Symulacja zachowania użytkownika (np. Playwright, Selenium).
• Podejścia hybrydowe: Łączenie wydajności parsingu z elastycznością przeglądarek.

Architektura i Workflow systemu

Koncepcja hybrydowego systemu adaptacyjnego

Modele językowe w scrapingu

Wykorzystanie potencjału LLM w inteligentnej ekstrakcji danych

---

Photo by Tom Parkes on Unsplash

• Modułowy crawler odpowiedzialny za pobieranie treści strony.
• Parser klasyczny działający jako pierwsza linia ekstrakcji.
• Moduł LLM uruchamiany w przypadku awarii parsera.
• Warstwa walidacji zapewniająca spójność strukturalną danych.
• Zintegrowany proces zapisu wyników do bazy danych.

---

Photo by Kelly Sikkema on Unsplash

• LLM pozwalają na zaawansowaną interpretację i rozumienie nieustrukturyzowanego tekstu.
• Ekstrakcja informacji: Przetwarzanie treści HTML na strukturalne dane (np. JSON).
• Mechanizm Fallback: Automatyczne użycie modelu w przypadku niepowodzenia klasycznego parsera.
• Zdolność do generalizacji: Modele lepiej radzą sobie z nieznanymi strukturami stron.

• Prompt-based extraction: Definiowanie reguł ekstrakcji poprzez instrukcje naturalnego języka.
• Few-shot learning: Podawanie przykładów struktury danych dla poprawy trafności.
• Schema-based extraction: Wymuszanie formatu wyjściowego zgodnego z definicją (JSON Schema).
• Pełna integracja z klasycznym scrapingiem jako warstwa inteligencji.

Metodologia i oczekiwane rezultaty

Teoretyczne ramy badań i hipotezy

Architektura i metodologia

Projekt systemu adaptacyjnego oraz plan badań

---

Photo by Tom Parkes on Unsplash

• Porównanie efektywności podejścia klasycznego oraz hybrydowego.
• Testowanie modeli: GPT (właścicielskie) vs LLaMA/Mistral (open source).
• Metryki analizy: dokładność (accuracy), czas odpowiedzi, koszt obliczeniowy.
• Skupienie na kompromisie: wydajność vs. stabilność ekstrakcji.
• Analiza bez gotowych wyników – podejście teoretyczno-hipotetyczne.

• Moduł Crawlera: Odpowiedzialny za pobieranie treści ze stron internetowych.
• Parser Klasyczny: Szybka ekstrakcja oparta na znanych selektorach.
• Moduł LLM: Inteligentna analiza danych w przypadku błędów parsowania.
• Warstwa walidacji: Weryfikacja spójności danych przed ostatecznym zapisem.

• Hipoteza: Podejście hybrydowe osiąga najlepszy balans między jakością a kosztem.
• LLM znacząco zwiększą odporność systemu na zmiany struktury stron.
• Modele open source będą tańsze, ale mogą wymagać więcej zasobów lokalnych.
• Czas przetwarzania będzie wyższy w systemach wspieranych przez LLM.
• Ekstrakcja oparta na LLM zredukuje liczbę błędów w danych nieustrukturyzowanych.

• Porównanie podejść: klasyczny scraping vs. podejście hybrydowe (wsparcie LLM).
• Testowane modele: Komercyjne (GPT-4) oraz Open Source (LLaMA/Mistral).
• Metryki oceny: Dokładność (accuracy), czas przetwarzania i koszt (API/GPU).
• Analiza kompromisu między wydajnością czasową a kosztem obliczeniowym.

Zalety podejścia LLM

• Wysoka elastyczność ekstrakcji.
• Odporność na zmiany HTML.
• Zrozumienie kontekstu danych.

Wady i wyzwania

• Wysoki koszt zapytań do API.
• Potencjalne błędy interpretacji.
• Zależność od jakości promptu.

Zalety podejścia LLM

• Wysoka odporność na zmiany DOM.
• Elastyczność ekstrakcji danych.
• Zdolność interpretacji treści.
• Mniejsza potrzeba ręcznych reguł.

Wady i ograniczenia

• Wysoki koszt zapytań API.
• Ryzyko halucynacji modelu.
• Zależność od jakości promptu.
• Wyższe zużycie zasobów.

Zalety podejścia LLM

• Znacznie wyższa odporność na zmiany struktury HTML stron.
• Wysoka elastyczność w ekstrakcji różnorodnych danych.
• Zredukowany nakład pracy na ręczne utrzymanie reguł.

Ograniczenia praktyczne

• Znaczący koszt zapytań do modeli (API/GPU).
• Ryzyko błędów interpretacji danych (hallucinations).
• Zależność od precyzji przygotowanego promptu.
• Problemy z systemami anty-bot i wymogami prawnymi.

• Zastosowania: monitoring cen, agregacja danych, analiza treści.
• Ograniczenia: zabezpieczenia anty-bot (WAF, Captcha).
• Wyzwania związane z dostępnością i limitami API.
• Istotne aspekty prawne i etyczne pozyskiwania danych.

• Główne obszary: Monitoring cen, agregacja danych, analiza treści.
• Wyzwania techniczne: systemy anti-bot, konieczność obsługi API.
• Aspekty prawne: zgodność z regulaminami stron (ToS), RODO.
• Ograniczenia: konieczność skalowalności przy dużej liczbie danych.
• Potrzeba zabezpieczeń przeciwko blokowaniu przez serwery docelowe.

• Modele LLM zwiększają stabilność systemów przy dynamicznych stronach.
• Podejście hybrydowe pozwala zrównoważyć koszty z precyzją ekstrakcji.
• Hipoteza: System hybrydowy zapewnia optymalny balans koszt-jakość.
• Dalsze kierunki: Auto-optymalizacja promptów, fine-tuning i bazy wiedzy.

• Automatyczna optymalizacja promptów (prompt engineering).
• Fine-tuning modeli językowych pod specyficzne domeny.
• Głęboka integracja z zewnętrznymi bazami wiedzy.
• Rozszerzenie systemu o obsługę skomplikowanych stron dynamicznych.

• Automatyczna optymalizacja promptów (Self-correction).
• Fine-tuning modeli językowych pod specyficzne domeny danych.
• Integracja z grafowymi bazami wiedzy dla lepszego kontekstu.
• Rozszerzenie wsparcia dla bardzo dynamicznych stron SPA.
• Rozwój systemów automatycznego wykrywania zmian struktury HTML.

Dziękuję za uwagę

Dziękuję za uwagę. Czy mają Państwo jakieś pytania?

Podejście hybrydowe stanowi najbardziej efektywne rozwiązanie problemów niestabilności klasycznego web scrapingu.

Podsumowanie koncepcji systemu adaptacyjnego

---

Photo by Nastuh Abootalebi on Unsplash

Podsumowanie: Podejście hybrydowe jest przyszłością ekstrakcji danych.

Dziękuję za uwagę. Czy mają Państwo jakieś pytania?

Dziękuję za uwagę - czy mają Państwo pytania?

Zapraszam do dyskusji