Karol Leszczyński Build & Develop

Matury Online — platforma, która ocenia to, czego nikt nie oceniał.

Własny produkt, zbudowany i prowadzony od pierwszej linijki kodu. Poniżej to, czego nie widać w portfolio: skąd wziął się pomysł, jaka decyzja okazała się najważniejsza i co po drodze było naprawdę trudne.

17 300+
zadań w bazie
11
przedmiotów maturalnych
19
typów zadań z arkuszy CKE
~17 s
średni czas oceny wypracowania

Problem

Wszyscy automatyzowali tę część, która była łatwa.

Do matury przygotowuje się co roku kilkaset tysięcy osób i istnieje pod to sporo aplikacji. Prawie wszystkie robiły to samo: testy jednokrotnego wyboru, licznik poprawnych odpowiedzi, ranking. Czyli dokładnie tę część egzaminu, która waży najmniej.

  1. 01

    Punkty leżą w zadaniach otwartych

    Na maturze z polskiego 35 z 60 punktów przypada na jedno wypracowanie. W matematyce i przedmiotach przyrodniczych punktowany jest tok rozumowania, nie sama końcowa liczba.

  2. 02

    Rynek automatyzował tylko łatwą część

    Zadania zamknięte porównuje się z kluczem, więc ma je każda aplikacja. Przy otwartych platformy pokazywały odpowiedź wzorcową i zostawiały ocenę uczniowi.

  3. 03

    Uczeń pytał o coś innego

    Nie o to, jak wygląda odpowiedź idealna, tylko ile punktów dostałby za swoją. Odpowiedź wzorcowa na to pytanie nie odpowiada.

Rozwiązanie

Różnica nie polega na tym, że użyłem AI.

Modelu językowego używa dziś każdy i samo w sobie nie znaczy to nic. Rzecz w tym, co ten model dostaje do ręki — i tu leżała cała robota.

Ocena na kryteriach, nie na ogólnym poleceniu

Model dostaje odpowiedź ucznia razem z rubryką oceniania dla danego typu zadania. Ta sama, według której punktuje egzaminator. To zamienia „oceń to wypracowanie” w zadanie z jasno określonym wynikiem.

Punktacja z rozbiciem i uzasadnieniem

Wraca liczba punktów w każdej kategorii, wskazanie miejsc, w których przepadły, i powód. Uczeń widzi, co poprawić, a nie samą ocenę.

Kilkanaście sekund zamiast dwóch tygodni

Średni czas oceny wypracowania to około siedemnastu sekund. Nauczyciel z trzydziestoma pracami tygodniowo nie ma tu z czym konkurować i nie o to chodzi — to narzędzie do treningu między lekcjami.

To samo w zadaniach ze słuchu

Nagrania powstają na bieżąco zamiast odtwarzać się z gotowej puli, a odpowiedzi otwarte do nich wracają z punktacją. Tego nie robi w Polsce nikt inny.

Sam problem opisałem szerzej na stronie produktu: zadania otwarte na maturze.

Z aplikacji

Jak to wygląda od środka.

Trzy ekrany z działającej aplikacji, w kolejności, w jakiej rzecz się dzieje: uczeń pisze własną odpowiedź, ocenianie idzie etapami, wraca raport z punktacją.

Matury Online — Zadanie otwarte w trakcie egzaminu
Zadanie otwarte w trakcie egzaminu Puste pole i polecenie „wyjaśnij sens sformułowania”. Dokładnie ten typ zadania, którego konkurencja nie sprawdza. Obok licznik czasu i informacja, ile zadań zostało.
Matury Online — Ocenianie krok po kroku
Ocenianie krok po kroku Zadania zamknięte lecą od ręki, bo wystarczy klucz. Zadania otwarte, notatka i wypracowanie to osobne etapy — każdy z własną rubryką oceniania.
Matury Online — Raport z punktacją
Raport z punktacją Wynik z progiem zdawalności, ile punktów brakuje i komentarz odnoszący się do konkretnych braków ucznia, a nie ogólne „ucz się więcej”.
Matury Online — wybór języka w trybie słuchania

Nagrania powstają w momencie, w którym o nie prosisz

Zamiast puli kilkuset plików kupionej raz, model układa świeży transkrypt, a syntezator czyta go głosem w odpowiednim akcencie. Materiał się nie kończy, a odtworzyć można dwa razy — tak jak na prawdziwej maturze. Odpowiedzi otwarte do tych nagrań też wracają z punktacją.

Co było trudne

Cztery rzeczy, które zajęły najwięcej czasu.

  • Ocena musiała być powtarzalna Model, któremu każesz „ocenić wypracowanie”, za każdym razem odpowie inaczej. Dopiero podanie rubryki i wymuszenie odpowiedzi w ustalonej strukturze robi z tego narzędzie, któremu można ufać.
  • Koszt liczony na każdą odpowiedź Każda ocena to realny wydatek na wywołanie modelu. Przy abonamencie 49 zł miesięcznie trzeba było policzyć, ile ocen mieści się w cenie, i zbudować limity, zanim rachunek zrobi niespodziankę.
  • Nagrania generowane w locie Zamiast kupić raz pulę nagrań, aplikacja układa świeży transkrypt i syntezuje głos przy każdym podejściu. Materiał się nie wyczerpuje, ale całość musi zmieścić się w czasie, w którym uczeń jeszcze czeka.
  • Jedno zaplecze, dwa wejścia Aplikacja mobilna w Google Play korzysta z tego samego backendu co wersja przeglądarkowa. Jedna logika oceniania, jedno konto, żadnego rozjeżdżania się wersji.

Co z tego dla Ciebie

Ten sam schemat działa poza edukacją.

Model oceniający pracę według sztywnych kryteriów, rozliczany co do wywołania i wpięty w produkt z płatnościami — to nie jest rozwiązanie dla maturzystów, tylko wzorzec. Sprawdza się wszędzie tam, gdzie ktoś dziś ocenia coś ręcznie według stałej listy punktów: wnioski, zgłoszenia, oferty, dokumentację.

Jeśli masz taki proces u siebie, opowiedz mi o nim — policzę, ile kosztowałoby wywołanie i czy w ogóle jest sens.

Powiązane usługi

Czym się zajmuję poza własnymi produktami.

Ten projekt to aplikacja webowa z wdrożeniem AI. Poniżej pozostałe rzeczy, które robię dla firm, razem z ceną wyjściową.

Rozmowa

Masz proces, który ktoś ocenia ręcznie?

Opisz, jak to dziś wygląda i według czego się to ocenia. Odpiszę, czy da się z tego zrobić narzędzie, ile mniej więcej kosztowałoby wywołanie i od czego zacząć — zwykle jeszcze tego samego dnia.