Jeden scraper, trzy aplikacje AI: jak moje produkty czytają internet, zanim coś napiszą
Matury Online, Smart-Copy i Smart-Edu korzystają z jednej usługi, która pobiera i czyści strony internetowe dla modeli AI. Jak działa, ile kosztuje i dlaczego odpowiedź z podanym źródłem jest warta więcej niż odpowiedź z głowy.
Karol Leszczyński · Toruń
Model językowy pisze płynnie także wtedy, gdy nie ma pojęcia, o czym pisze. Dla trzech moich produktów było to nie do przyjęcia. Matury Online ocenia wypracowanie ucznia i musi sprawdzić fakty. Smart-Copy pisze artykuł na zamówienie i ma się opierać na tym, co w danym temacie już opublikowano. Smart-Edu składa rozdział pracy akademickiej z przypisami do prawdziwych publikacji. Każdy z nich potrzebował tego samego: pobrać kilka–kilkadziesiąt stron z internetu, oczyścić je z menu, reklam i skryptów, a potem podać modelowi jako materiał źródłowy.
Zamiast trzech kopii tego samego kodu powstała jedna osobna usługa. Stoi na własnej małej maszynie w AWS, ma jeden adres i trzy aplikacje pytają ją o to samo: „daj mi treść tej strony”.
Co robi ta usługa
Dostaje adres strony, zwraca czysty tekst. Po drodze rozstrzyga, z jaką stroną ma do czynienia. Zwykłe strony (artykuły, wpisy, dokumenty) czyta bezpośrednio, w ułamku sekundy. Strony budowane w przeglądarce (aplikacje, w których treść pojawia się dopiero po wykonaniu skryptów) rozpoznaje po charakterystycznych znacznikach i otwiera w prawdziwej, niewidocznej przeglądarce Chrome, czeka, aż tekst się załaduje, i dopiero wtedy go zbiera. To trwa od 5 do 30 sekund i pochłania około 100 MB pamięci na jedną przeglądarkę, więc na maszynie pracują cztery takie przeglądarki naraz.
Rozpoznawanie typu strony jest heurystyką: działa w około 95 % przypadków. Pozostałe 5 % to strony, które wyglądają na aplikacje, a nimi nie są (przeglądarka uruchamia się niepotrzebnie), albo aplikacje bez typowych znaczników (usługa zwraca pusty tekst i aplikacja-klient próbuje inaczej).
Trzy produkty, trzy różne apetyty
| Produkt | Ile stron na jedno zadanie | Ile czasu może czekać | Po co |
|---|---|---|---|
| Matury Online | 5 | do 2 minut (uczeń patrzy na ekran) | sprawdzić fakty w wypracowaniu przed oceną |
| Smart-Copy | 10–20 | do 5 minut (klient dostanie mail) | wybrać 3–8 najlepszych źródeł do artykułu |
| Smart-Edu | 30–45 na rozdział | godziny (praca powstaje w tle) | zebrać publikacje naukowe do przypisów |
Różnica w cierpliwości przekłada się na ustawienia. Uczeń czekający na ocenę widzi komunikat „sprawdzam źródła” i dostaje wynik w kilkadziesiąt sekund albo ocenę bez sprawdzania. Klient Smart-Copy złożył zamówienie i dostanie tekst mailem, więc usługa może czytać dłużej. Smart-Edu generuje pracę rozdział po rozdziale, każdy z trzema zapytaniami do Google (ogólnym, szczegółowym i takim z dopiskiem „pdf”, bo dokumenty PDF częściej są publikacjami naukowymi), a potem model odrzuca wszystko, co nie jest artykułem recenzowanym, podręcznikiem albo raportem badawczym.
Dlaczego osobna usługa, a nie fragment każdej aplikacji
Cztery przeglądarki Chrome to 400 MB pamięci. Trzymanie ich obok każdej z trzech aplikacji potroiłoby koszty i niepotrzebnie skomplikowało całość. Jedna dedykowana maszyna kosztuje około 20 dolarów miesięcznie i wystarcza dla obecnej skali. Do tego dochodzą zapytania do wyszukiwarki Google: pierwsze sto dziennie jest darmowe, powyżej płaci się 5 dolarów za tysiąc, co przy trzech produktach daje 5–10 dolarów miesięcznie.
Cena za taką konstrukcję to jedno wspólne miejsce awarii. Gdy usługa nie odpowiada, wszystkie trzy produkty tracą możliwość czytania internetu w tym samym momencie. Dlatego każdy z nich ma zapasową ścieżkę: Matury Online oceniają bez sprawdzania faktów i mówią o tym użytkownikowi, Smart-Copy pisze z własnych źródeł klienta, Smart-Edu odkłada rozdział do kolejki i wraca do niego później.
Czego się nauczyłem przez rok pracy tej usługi
Największym problemem nie była technika, tylko szczyty obciążenia. Kiedy Smart-Edu składa pracę magisterską (45 stron do przeczytania) w tym samym czasie, gdy Smart-Copy dostaje zamówienie na długi artykuł (15 stron), sześćdziesiąt zapytań trafia do czterech przeglądarek i ustawia się w kolejce. Rozwiązaniem okazała się kolejka z priorytetami: zadanie, na które ktoś patrzy, wyprzedza zadanie, które i tak pójdzie mailem.
Druga lekcja dotyczy zaufania. Odpowiedź z podanym źródłem daje się sprawdzić jednym kliknięciem; bez źródła zostaje zaufanie do modelu. W Matury Online uczeń widzi, na jakiej podstawie ocena wskazuje błąd rzeczowy. W Smart-Edu każdy przypis prowadzi do publikacji, którą system faktycznie przeczytał. Ta zasada przeniosła się później do Cytado, gdzie cytat dopina się do numeru strony, a jeśli źródła nie ma w korpusie, system mówi „nie znaleziono” zamiast wymyślać.
Co z tego wynika dla firmy, która chce wdrożyć AI
Jeśli asystent ma odpowiadać na pytania o Wasze produkty, umowy albo dokumentację, sam model nie wystarczy. Potrzebna jest warstwa, która dociera do właściwych dokumentów, czyści je i podaje modelowi razem z informacją, skąd pochodzą. Tak zbudowane wdrożenie AI daje odpowiedzi, które pracownik może zweryfikować jednym kliknięciem, i rachunek policzony na każde wywołanie, z limitem, żeby koszt nie zaskoczył. Wdrożenie zaczyna się od 5 000 zł netto; jeśli macie dokumenty, na których taki asystent miałby pracować, opiszcie mi je, a pokażę próbę na Waszych danych.