Spis treści
Thomas Hikaru Clark i jego współautorzy rozpoczynają swój nowy artykuł od zaplanowanego fragmentu tekstu wygenerowanego przez sztuczną inteligencję. Zdanie to opisuje samo siebie jako “wyczerpujące zapas cierpliwości czytelnika” i musiałem je przeczytać dwa razy.
Zdanie niczego nie zjada, a coś takiego jak „budżet cierpliwości czytelnika” nie istnieje. Niemniej jednak każdy, kto spędza dzień w towarzystwie chatbotów i agentów programistycznych, spotkał się już z tego rodzaju stwierdzeniami. Artykuł zadaje pytanie, dlaczego teksty generowane przez sztuczną inteligencję stały się trudniejsze do zrozumienia, a podana w nim odpowiedź wynika z procesu uczenia.
Zdanie, które pochłania swój własny budżet
Zespół stworzył korpus tekstów wygenerowanych przez sztuczną inteligencję na podstawie rozmów i sesji programistycznych 14 modeli językowych. Poprosił również modele o napisanie esejów na temat zadań szkolnych, a następnie policzył konstrukcje, które od dziesięcioleci są w psycholingwistyce wiązane z wolniejszym tempem czytania.

Najbardziej oczywistym z nich jest zachowanie charakterystyczne wyłącznie dla żywego podmiotu. Funkcja “połyka” błąd, a wzór układanki “gryzie”. Oprócz tego w artykule wymieniono pięć innych cech wskazujących na trudną lekturę, od zestawów trzech rzeczowników po rzadkie pary słów.
We wszystkich dziewięciu modelach pogranicznych i quasi-pogranicznych występowało więcej takich czasowników odnoszących się do żywych podmiotów niż w tekstach tworzonych przez ludzi. Modele te wykorzystywały również więcej rzadkich par słów, a większość z nich rozbudowywała zależności w rozmowie.
Autorzy sprawdzili, czy przyczyną tego zjawiska są trudne tematy, tłumacząc każde zdanie najpierw na język japoński, a następnie z powrotem. Dzięki temu zachowano znaczenie, a sformułowanie uległo zmianie. Trudne elementy zniknęły po tej „podróży w obie strony”, więc model miał do wyboru prostszy sposób wyrażenia tego samego i wybrał ten trudniejszy.
Różnica była mniejsza w przypadku esejów opartych na jednym zadaniu, a większa w długich rozmowach i sesjach programistycznych. Autorzy przypuszczają, że długie, wielokrotne wymiany zdań zmuszają modele do silniejszej kompresji.
Dwa problemy w tym samym tekście wygenerowanym przez sztuczną inteligencję
Często pojawiającą się krytyką tekstów generowanych przez sztuczną inteligencję jest ich nadmierna rozbudowa, i ta krytyka jest uzasadniona. W Dossierze nr 20 omówiłem badanie przeprowadzone we współpracy z Internet Archive, z którego wynika, że wraz z rozprzestrzenianiem się treści generowanych przez sztuczną inteligencję w sieci teksty stają się dłuższe pod względem liczby słów, podczas gdy ich gęstość semantyczna maleje.
Marcin Wilkowski przedstawił na swoim blogu klasyfikację „slopów”, opracowaną na podstawie wywiadów z 19 ekspertami. Wymienia on w niej gęstość informacji jako odrębną cechę, opisaną jako długi tekst, który niewiele mówi.
W niniejszym artykule wskazano na odwrotny problem występujący w tekstach generowanych przez sztuczną inteligencję – zdania są w nich zbyt zagmatwane dla czytelnika.
Oba wnioski są słuszne i wynikają z różnych aspektów procesu szkolenia. Artykuł odwołuje się do wcześniejszych badań, z których wynika, że szkolenie oparte na informacji zwrotnej od człowieka sprzyja dłuższym odpowiedziom, podczas gdy szkolenie w zakresie zadań o sprawdzalnej odpowiedzi skłania do skracania tekstu. W związku z tym tekst wygenerowany przez sztuczną inteligencję może zawierać wypełniacze na początku i na końcu oraz skondensowane fragmenty w środkowej części.
To wyklucza proste rozwiązanie, ponieważ właśnie dzięki podejściu “skróć to” węzły w ogóle się tam pojawiły.
Dlaczego modelka przestała dla ciebie pisać?
Język ludzki posiada wbudowany mechanizm korekcyjny w postaci słuchaczy, ponieważ zdanie, którego nikt nie rozumie, nie spełnia swojej funkcji, a z pokolenia na pokolenie takie konstrukcje są eliminowane z gramatyki.
Modele przechodzą obecnie intensywne szkolenie w warunkach, w których nikt ich nie słucha, ponieważ zadania matematyczne i programistyczne nagradzają poprawną odpowiedź niezależnie od tego, czy człowiek jest w stanie ją zrozumieć. Długie konteksty również generują koszty, więc liczy się każdy zaoszczędzony token. Hipoteza przedstawiona w artykule głosi, że ta presja na gęstość informacji przenika do tekstów generowanych przez sztuczną inteligencję, z którymi ludzie mają do czynienia na co dzień.
Autorzy przetestowali to, szkoląc niewielki model otwarty, Qwen2.5-1.5B-Instruct, z wykorzystaniem uczenia wzmacniającego, tak aby przekształcał ustrukturyzowane dane dotyczące wydarzeń w zdania w języku angielskim, przy czym długość zdania podlegała karze. Model samodzielnie znalazł skrót, pomijając opcjonalny zaimek “that” i wybierając krótszą z dwóch poprawnych gramatycznie opcji.
W przypadku braku wyrażenia, które zbliżałoby ją do pierwotnego modelu, w ponad 98% przypadków wybierała wersję skróconą. Ludzie wybierają jedną z tych dwóch form w zależności od kontekstu. Nawyk ten rozciągnął się również na konstrukcje z “that”, których model nigdy nie widział podczas uczenia.
Autorzy nazywają to „dowodem słuszności koncepcji” i mają rację. Model zawierający 1,5 miliarda parametrów, zastosowany w prostym zadaniu, nie dostarcza żadnych bezpośrednich informacji na temat tego, w jaki sposób trenowano modele GPT czy Claude, a całe badanie dotyczy wyłącznie języka angielskiego.
W rodzinie Olmo efekt ten nasila się wraz z każdym etapem po szkoleniu, a wersja oparta na wnioskowaniu ostatecznie przypomina modele pionierskie.
Dlaczego jest to dla mnie ważne jako specjalisty ds. bezpieczeństwa
W podsumowaniu artykułu wymieniono doświadczenie użytkownika i możliwość monitorowania jako dwa powody, dla których należy to naprawić, a ten drugi to właśnie moja praca.
Model “Human in the loop” działa tylko wtedy, gdy człowiek potrafi odczytać przebieg pętli. Tworzę agenty za pomocą Claude Code i zupełnie nie znam się na programowaniu, więc to, co agent informuje mnie, że zmienił, stanowi większość tego, co sprawdzam. Zdanie w stylu „moduł obsługi ignoruje błąd, a ścieżka ponownej próby kończy się przekroczeniem limitu czasu” brzmi przekonująco i muszę je najpierw przetłumaczyć, zanim będę mógł się z nim nie zgodzić. Zamiast tego zatwierdza je zmęczony recenzent.
Wyobraź sobie tekst wygenerowany przez sztuczną inteligencję w oddziale ratunkowym o 3 nad ranem – podsumowanie oceny stanu pacjenta napisane jako lista rzeczowników. Jest ono tylko pobieżnie przeglądane, a takie pobieżne podsumowanie to nic innego jak pieczątka na decyzji, której nikt nie sprawdził.
Claude Opus 5.5 uzyskał gorsze wyniki niż Opus 5 w niemal każdym kryterium oceny trudności przedstawionym w artykule – w 19 z 21 porównań. Ktoś docenił przejrzystość, a wyniki uległy zmianie.
Jak sprawić, by tekst wygenerowany przez sztuczną inteligencję znów był czytelny
Każdy wpis na tym blogu przed opublikowaniem przechodzi przez listę kontrolną dotyczącą nieodpowiednich treści oraz system wykrywania. Model przerabia zaznaczone zdania, a ja sprawdzam je ponownie, aż liczba zaznaczeń spadnie do zera.
W przypadku tekstów generowanych przez sztuczną inteligencję, które wymagają zatwierdzenia, wystarczy jedno polecenie, by wykonać większość pracy. “Przepisz to dla kolegi pod koniec długiego dnia. Jako podmioty używaj osób lub nazwanych elementów i nigdy nie łącz trzech rzeczowników”. Rząd Stanów Zjednoczonych przewodnik napisany prostym językiem podaje tę samą radę dotyczącą ciągów rzeczowników.
Następnie przejrzyj czasowniki, a gdy jakaś funkcja lub plik konfiguracyjny coś “połyka” lub “gryzie”, zapytaj prostym językiem, co się wtedy dzieje.
Moja zasada dotycząca wyników działania agenta brzmi: jeśli nie potrafisz opisać własnymi słowami, co on zrobił, to wynik trafia z powrotem do modelu.
Źródło | https://arxiv.org/abs/2610.29162

Dodaj komentarz