Jakość danych treningowych a wiarygodność AI w praktyce prawniczej
Jakość danych treningowych a wiarygodność AI w praktyce prawniczej.
Nowe badania Uniwersytetu Teksańskiego ujawniają niepokojący problem: duże modele językowe (LLM) ulegają degradacji kognitywnej po ekspozycji na niskojakościowe treści internetowe.
Dla prawników korzystających z AI w codziennej praktyce to kluczowa informacja o ograniczeniach tej technologii. Przynajmniej w tej formie, którą znamy i która nie jest dedykowana dla naszej branży.
Wymierny spadek zdolności analitycznych
Badanie wykazało dramatyczny spadek jakości odpowiedzi modeli „karmionych” viralowymi, płytkimi treściami z mediów społecznościowych. Zdolności rozumowania spadły z 74,9% do 57,2%.
Ucierpiało także rozumienie długich kontekstów i normy etyczne – w niektórych przypadkach testy osobowości wykazały wzrost cech narcystycznych i psychopatycznych.
Można by rzec, że to ostatnia rzecz jakiej potrzebujemy my – prawnicy… 😉
Mechanizm degradacji
Przyczyną jest „poznawcze lenistwo” (a więc podobnie jak u ludzi!) – modele zaczęły pomijać etapy logicznego rozumowania, eksponowane na treści zaprojektowane pod kątem kliknięć, a nie merytoryki.
Co istotne, nawet ponowne trenowanie na wysokiej jakości tekstach nie naprawiło uszkodzeń. Viralowe treści okazały się bardziej szkodliwe niż słabo angażujące, ale merytoryczne materiały.
Implikacje dla prawników
Dla praktyki prawniczej oznacza to konkretne zagrożenia, które zawsze trzeba mieć „z tyłu głowy”:
- Halucynacje prawne: Model trenowany na uproszczonych, clickbaitowych treściach prawniczych może generować błędne interpretacje przepisów lub nieistniejące orzeczenia – to wszyscy znamy.
- Zanik precyzji: Pomijanie kroków rozumowania to ryzyko powierzchownych analiz prawnych, gdzie liczy się każdy szczegół.
- Problem weryfikacji: Odpowiedzi mogą brzmieć przekonująco, ale opierać się na skrótach myślowych zamiast na rzetelnej analizie.
Wnioski praktyczne
Autorzy badania podkreślają, że to nie tylko kwestia jakości danych, ale fundamentalny problem bezpieczeństwa na etapie treningu.
W kontekście prawniczym oznacza to konieczność”
- Świadomego wyboru narzędzi AI o znanej proweniencji danych treningowych. Dodam od siebie, że na bieżąco testuję i porównuję modele. To wprawdzie dodaje pracy, ale pozwala też na wybieranie optymalnego w danym momencie narzędzia. W ostatnich miesiącach kilka razy zmieniałem model, bo doszedłem do wniosku, że akurat teraz lepiej pracuje mi się z Claudem itd.
- Obowiązkowej weryfikacji każdej informacji uzyskanej z AI, w tym dokonywania analizy źródeł na podstawie której została przygotowana odpowiedź. Naprawdę nie dość powtarzania, że należy weryfikować.
- Traktowania AI jako narzędzia wspomagającego (!!!), a nie mającego zastąpić analizę prawniczą.
- Preferowania modeli trenowanych na wyspecjalizowanych, zweryfikowanych zbiorach prawniczych. Tu oczywiście gdy stanie się to możliwe.
- Tworzenia dobrych jakościowo promptów, które poprzez precyzyjne polecenia ograniczają wpływ opisanych problemów. W tym zakresie odsyłam np. do mojego wpisu: o metodzie RASCEF.
Paradoksalnie, te same treści, które odwracają naszą uwagę od rzeczy istotnych, niszczą także zdolności rozumowania maszyn. Dla prawników jest to ważna wiadomość: AI jest pomocne, ale tylko przy zachowaniu krytycznego dystansu i świadomości jego ograniczeń.
Marcin Szumlański
Adwokat, który od wielu lat prowadzi własną kancelarię prawną, wspierając klientów w rozwiązywaniu kompleksowych spraw z zakresu prawa gospodarczego i cywilnego. Jest ekspertem nie tylko w tradycyjnych obszarach prawa, ale także pasjonatem nowych technologii – szczególnie sztucznej inteligencji i jej praktycznych zastosowań w pracy prawnika. Prowadził szkolenie z zakresu inżynierii promptów dla prawników, dzieląc się wiedzą na temat skutecznego korzystania z AI w profesjonalnej praktyce adwokackiej.
Czy jesteś gotowy, aby podnieść swoją pracę z AI na wyższy poziom?
Jeśli chcesz wdrożyć w swojej kancelarii praktyki bezpiecznego korzystania z AI – od wyboru modeli, przez standardy weryfikacji, po zaawansowane prompt engineering (np. w oparciu o metodę RASCEF) – skontaktuj się i porozmawiajmy o dopasowaniu tych rozwiązań do Twojej specjalizacji i typu spraw.
