Ocena na kryteriach, nie na ogólnym poleceniu
Model dostaje odpowiedź ucznia razem z rubryką oceniania dla danego typu zadania. Ta sama, według której punktuje egzaminator. To zamienia „oceń to wypracowanie” w zadanie z jasno określonym wynikiem.
Własny produkt, zbudowany i prowadzony od pierwszej linijki kodu. Poniżej to, czego nie widać w portfolio: skąd wziął się pomysł, jaka decyzja okazała się najważniejsza i co po drodze było naprawdę trudne.
Problem
Do matury przygotowuje się co roku kilkaset tysięcy osób i istnieje pod to sporo aplikacji. Prawie wszystkie robiły to samo: testy jednokrotnego wyboru, licznik poprawnych odpowiedzi, ranking. Czyli dokładnie tę część egzaminu, która waży najmniej.
Na maturze z polskiego 35 z 60 punktów przypada na jedno wypracowanie. W matematyce i przedmiotach przyrodniczych punktowany jest tok rozumowania, nie sama końcowa liczba.
Zadania zamknięte porównuje się z kluczem, więc ma je każda aplikacja. Przy otwartych platformy pokazywały odpowiedź wzorcową i zostawiały ocenę uczniowi.
Nie o to, jak wygląda odpowiedź idealna, tylko ile punktów dostałby za swoją. Odpowiedź wzorcowa na to pytanie nie odpowiada.
Rozwiązanie
Modelu językowego używa dziś każdy i samo w sobie nie znaczy to nic. Rzecz w tym, co ten model dostaje do ręki — i tu leżała cała robota.
Model dostaje odpowiedź ucznia razem z rubryką oceniania dla danego typu zadania. Ta sama, według której punktuje egzaminator. To zamienia „oceń to wypracowanie” w zadanie z jasno określonym wynikiem.
Wraca liczba punktów w każdej kategorii, wskazanie miejsc, w których przepadły, i powód. Uczeń widzi, co poprawić, a nie samą ocenę.
Średni czas oceny wypracowania to około siedemnastu sekund. Nauczyciel z trzydziestoma pracami tygodniowo nie ma tu z czym konkurować i nie o to chodzi — to narzędzie do treningu między lekcjami.
Nagrania powstają na bieżąco zamiast odtwarzać się z gotowej puli, a odpowiedzi otwarte do nich wracają z punktacją. Tego nie robi w Polsce nikt inny.
Sam problem opisałem szerzej na stronie produktu: zadania otwarte na maturze.
Z aplikacji
Trzy ekrany z działającej aplikacji, w kolejności, w jakiej rzecz się dzieje: uczeń pisze własną odpowiedź, ocenianie idzie etapami, wraca raport z punktacją.
Zamiast puli kilkuset plików kupionej raz, model układa świeży transkrypt, a syntezator czyta go głosem w odpowiednim akcencie. Materiał się nie kończy, a odtworzyć można dwa razy — tak jak na prawdziwej maturze. Odpowiedzi otwarte do tych nagrań też wracają z punktacją.
Co było trudne
Co z tego dla Ciebie
Model oceniający pracę według sztywnych kryteriów, rozliczany co do wywołania i wpięty w produkt z płatnościami — to nie jest rozwiązanie dla maturzystów, tylko wzorzec. Sprawdza się wszędzie tam, gdzie ktoś dziś ocenia coś ręcznie według stałej listy punktów: wnioski, zgłoszenia, oferty, dokumentację.
Jeśli masz taki proces u siebie, opowiedz mi o nim — policzę, ile kosztowałoby wywołanie i czy w ogóle jest sens.
Powiązane usługi
Ten projekt to aplikacja webowa z wdrożeniem AI. Poniżej pozostałe rzeczy, które robię dla firm, razem z ceną wyjściową.
Rozmowa
Opisz, jak to dziś wygląda i według czego się to ocenia. Odpiszę, czy da się z tego zrobić narzędzie, ile mniej więcej kosztowałoby wywołanie i od czego zacząć — zwykle jeszcze tego samego dnia.