Spis treści
Agent pozbawiony metapoznania opartego na sztucznej inteligencji wysyła prośbę o zresetowanie hasła oraz zgłoszenie naruszenia bezpieczeństwa do tego samego modelu, używając tego samego polecenia, i poświęca obu sprawom tyle samo uwagi.
Dziesięciu naukowców napisało krótki artykuł, w którym zajmują się tym problemem poprzez metapoznanie w sztucznej inteligencji. Ukazał się on w październiku 2021 roku, co w kontekście sztucznej inteligencji to już zamierzchła przeszłość, a mimo to nadal uważam, że jest to najprzejrzystszy plan rozwiązania problemu, z którym prędzej czy później boryka się każdy twórca agentów.
Domyślnie szybko, na życzenie wolno
Artykuł nosi tytuł “„Myślenie szybkie i powolne” w kontekście sztucznej inteligencji“, którego autorami jest czterech naukowców z IBM Research oraz sześciu z innych uczelni i instytutów; w pracy tej wykorzystano podział Kahnaemana na dwa sposoby myślenia w celu stworzenia architektury o nazwie SOFAI.
Rozwiązujące systemu 1 reagują na podstawie wcześniejszych doświadczeń i zwracają odpowiedź wraz z poziomem pewności. Rozwiązujące systemu 2 prowadzą powolne rozumowanie i zużywają więcej zasobów, zwłaszcza czasu. Autorzy twierdzą, że te powolne rozwiązania “nigdy nie zajmują się danym problemem, chyba że zostaną wyraźnie wywołane przez moduł MC”.”
Moduł MC stanowi metapoznawczą część systemu; znajduje się on pomiędzy dwoma rodzajami solwerów i decyduje, czy szybka odpowiedź jest wystarczająco dobra. Autorzy nazywają całą tę konstrukcję “architekturą S1 domyślną”.”
Artykuł opisuje trwające prace i nie zawiera żadnych wyników eksperymentów ani danych liczbowych, więc to, co z niego wynika, to sposób na uporządkowanie procesu podejmowania decyzji, przy czym nie ma żadnych dowodów na to, w jakim stopniu jest to pomocne.
Jak działa metapoznanie oparte na sztucznej inteligencji w systemie Gate
Bramka składa się z dwóch etapów, z których pierwszy jest szybki i zgrubny. Sprawdza on, czy pozostało wystarczająco dużo czasu i pamięci, aby wykonać całą bramkę. Jeśli ich brakuje, wygrywa szybka odpowiedź. Następnie porównuje poziom pewności szybkiego solwera z oczekiwaną nagrodą za zadanie, a jeśli poziom pewności jest wystarczająco wysoki w stosunku do stawki, proces kończy się w tym momencie.
Jeśli pierwsza faza nie przyniesie oczekiwanych rezultatów, uruchamia się druga. Oszacowuje ona, jaką dodatkową nagrodę przyniósłby powolny moduł obliczeniowy oraz ile kosztowałoby jego uruchomienie. Powolny moduł obliczeniowy uruchamia się tylko wtedy, gdy zysk przewyższa koszt.
Porównanie to opiera się na oczekiwanej nagrodzie za wykonanie zadania i nie uwzględnia tego, jak trudne wydaje się ono na pierwszy rzut oka, dlatego rutynowe wyszukiwanie i czynność niszcząca muszą spełnić różne kryteria.
Gdzie zazwyczaj dochodzi do eskalacji
W tej prostej konstrukcji w przypadku niepowodzenia stosowana jest eskalacja, co oznacza, że błąd pojawia się w tańszym modelu, a ponowna próba przypada na model droższy. Pewna, choć błędna odpowiedź nigdy nie powoduje błędu i jest wysyłana bez zmian.
Kolejną luką jest pamięć, ponieważ bramka opisana w artykule podejmuje decyzje na podstawie “modelu siebie”, który zawiera dotychczasowe decyzje każdego z rozwiązywaczy, informacje o wykorzystaniu przez nich zasobów, zdobytych nagrodach oraz zasobach, które są nadal dostępne. Agent, który prowadzi dzienniki wyłącznie do wglądu ludzi, nie posiada takiego modelu, a bez modelu „ja” metapoznanie sztucznej inteligencji nie ma na czym się oprzeć.
Mój agent RSS stanowi właśnie taki prymitywny, szybki mechanizm, ponieważ ocenia każdą wiadomość w skali od 1 do 10 i wysyła do mojego podsumowania wszystko, co uzyskało ocenę powyżej 7 – a ten próg wybrałem intuicyjnie. Sprawdza się to dobrze w przypadku podsumowania wiadomości, ponieważ błędna ocena kosztuje mnie pominięcie jednego artykułu, a agent nie ma pojęcia, jak często ta ocena była błędna. Jedyną zasadą, której ściśle przestrzegam, jest to, że pusta odpowiedź wzorcowa liczy się jako brak decyzji, a agent odmawia podjęcia działania w tej sprawie.
Czego ten artykuł nie wyjaśnia
Autorzy wymieniają luki w swoim własnym podejściu do metapoznania w sztucznej inteligencji. Mechanizm ten działa tylko wtedy, gdy system ma wcześniejsze doświadczenie z dokładnie tym samym problemem, a w artykule zaznaczono, że “nie uwzględniono kwestii związanych z podobieństwem problemów”. Sposób, w jaki łączy on wartość oczekiwaną z poziomem pewności, polega na zwykłym mnożeniu, które autorzy określają jako niechęć do ryzyka i zamierzają ponownie przeanalizować.
Dostrzegam jeszcze dwa problemy, których autorzy nie poruszają, a jednym z nich jest to, że bramka opiera się na wskaźniku pewności dostarczonym przez szybki solwer. Nie powiązałbym progu eskalacji z wynikiem, jaki model językowy podaje na swój temat, dopóki wynik ten nie zostanie zweryfikowany w oparciu o rzeczywiste rezultaty.
Kolejnym problemem jest to, że brama stanowi powierzchnię ataku. Wyobraź sobie czujnego agenta zajmującego się klasyfikacją zgłoszeń, który otrzymuje zgłoszenie sformułowane tak, by wyglądało na rutynowy szum – co sprawia, że moduł szybkiego rozwiązywania problemów osiąga wysoki poziom pewności, a ścieżka ostrożnego postępowania pozostaje nieaktywna. Ktokolwiek potrafi zawyżyć tę liczbę, decyduje o tym, jak intensywnie myśli twój agent – i to jest mój wniosek. OWASP wymienia natychmiastowe podanie jako LLM01 w swoim raporcie dotyczącym zagrożeń związanych z zastosowaniami modeli językowych (LLM) w 2025 r., a ja omówiłem podobny przypadek w jak agent zajmujący się badaniami nad sztuczną inteligencją zostaje „zatruty” przez jeden wpis na Reddicie.
Kiedy mechanizm zabezpieczający przestaje działać
Jeśli nie da się cofnąć jednego błędnego działania, żadna brama zaufania – bez względu na to, jak zaawansowana jest metapoznanie sztucznej inteligencji, która za nią stoi – nie powinna podejmować takiej decyzji; dotyczy to usuwania danych, przelewania środków, zamykania zgłoszeń dotyczących incydentów bezpieczeństwa oraz zmiany reguł zapory sieciowej w sieci produkcyjnej. O tych kwestiach za każdym razem decyduje człowiek. Mechanizm ten kontroluje jedynie zakres rozważań agenta, a odpowiedzialność spoczywa na osobie.
Co robić w poniedziałek
Te cztery zasady pozwalają zastosować metapoznanie oparte na sztucznej inteligencji do agenta, który już działa.
Ustaw ścieżkę szybką jako domyślną, a ścieżkę wolną uruchamiaj wyłącznie na wyraźne żądanie.
Ustal poprzeczkę w oparciu o stawkę zadania, tak aby sprawdzenie mogło opierać się na pewnym przypuszczeniu, a podjęcie działań o negatywnych skutkach wymagało znacznie więcej niż tylko tego.
Rejestruj każdą decyzję wraz z jej wynikiem, aby warstwa metapoznania Twojej sztucznej inteligencji miała dane do analizy.
Sprawdź działanie bramki na zadaniach, z którymi nigdy wcześniej nie miała do czynienia, ponieważ w artykule założono, że zna je wszystkie.
Zanim wprowadzisz większy model, dodaj metapoznanie oparte na sztucznej inteligencji.
Źródło | https://arxiv.org/abs/2110.01834