Jak weryfikować teksty z AI?
Stan prawny na
Każdy konkret w tekście z AI, czyli przepis, orzeczenie, źródło, dane osoby, liczbę albo link, trzeba potwierdzić w źródle, zanim tekst zostanie podpisany. Drugi model może wskazać, co sprawdzić, ale weryfikacją jest wyłącznie sięgnięcie do źródła.
Dlaczego trzeba sprawdzać
Model językowy nie „pamięta” bazy orzeczeń ani Dziennika Ustaw. Dopasowuje kolejne słowa do wzoru, dlatego zmyślona treść brzmi równie pewnie jak prawdziwa.
Na szkoleniach pracujemy na sześciu kategoriach halucynacji i zasadzie „cytuj albo wycofaj”. Uczestnik dostaje te materiały na zajęciach.
Jak sprawdzić orzeczenie
Sprawdza się w bazie właściwej dla sądu: Centralnej Bazie Orzeczeń Sądów Administracyjnych, Portalu Orzeczeń Sądów Powszechnych, bazie Sądu Najwyższego, bazie orzeczeń KIO albo w curia dla TSUE. Nie w wyszukiwarce ogólnej i nie w drugim czacie.
Porównuje się cztery rzeczy naraz: sygnaturę, datę, organ i przedmiot rozstrzygnięcia. Zgodność samej sygnatury nic nie znaczy. Polskie sygnatury mają regularny wzór, więc wygenerowana sygnatura często trafia w numer, który istnieje, tylko dotyczy innej sprawy.
Potem trzeba otworzyć uzasadnienie i znaleźć zdanie, które chce się powołać. Na koniec sprawdza się los orzeczenia: orzeczenie uchylone waży tyle co zmyślone.
Drugi model to nie weryfikacja
Drugi model może wskazać, co sprawdzić, ale weryfikacją jest wyłącznie sięgnięcie do źródła.
Sygnały ostrzegawcze
- Zbyt gładkie dopasowanie: orzeczenie odpowiada dokładnie na pytanie, w jego brzmieniu.
- Powtarzające się zwroty w streszczeniach kolejnych orzeczeń.
- Cytat bez umiejscowienia: model nie wskazuje, gdzie w uzasadnieniu się znajduje.
- Odpowiedź, która twardnieje przy dopytaniu: na pytanie „czy na pewno?” narzędzie potwierdza i dodaje szczegółów.
Kiedy sprawdzać i kto
Przed podpisaniem i wysłaniem, a nie po. Obowiązek obciąża osobę, która podpisuje dokument, także gdy tekst przygotował ktoś inny.
Że to nie teoria, pokazuje postanowienie NSA w sprawie I FZ 104/26: trzy powołane w piśmie orzeczenia nie istniały w przywołanym kształcie.
Podstawa prawna
W zawodach prawniczych obowiązek staranności zawodowej (np. art. 3 ust. 2 ustawy o radcach prawnych); NSA, I FZ 104/26.
Szerzej
- Jak sprawdzić orzeczenie podane przez AI, żeby nie zajęło to godziny (otwiera się w nowej karcie) (dr Paweł Kowalski, pawelkowalski.ai)
- Co grozi pełnomocnikowi za powołanie nieistniejącego orzeczenia (otwiera się w nowej karcie) (dr Paweł Kowalski, pawelkowalski.ai)