Tag: agenci sztucznej inteligencji

  • Agenci Shadow AI znikają z pola widzenia w ciągu pięciu minut

    Agenci Shadow AI znikają z pola widzenia w ciągu pięciu minut

    Spis treści

    Wyobraź sobie czterdziestowierszowy skrypt na laptopie analityka finansowego – jednego z tych „ukrytych” agentów AI, których nikt z działu IT nigdy nie zatwierdził. Co kilka sekund wywołuje on interfejs API modelu i przekazuje odpowiedzi do powłoki. Twój system EDR wykrywa interpreter z połączeniem TLS oraz proces potomny cmd.exe.

    Tak samo wygląda każda instalacja npm na piętrze programistów.

    Jeremy Canale i Fabien Soulis stworzyli platformę testową poświęconą temu problemowi. Opracowali 12 syntetycznych agentów i 9 nieszkodliwych obciążeń, a każdy scenariusz był uruchamiany pięć razy na jednej stacji roboczej z systemem Windows. Chcieli sprawdzić, czy w ogóle można wykryć ukryte agenty AI na urządzeniu końcowym.

    Odpowiedź brzmi: częściowo, i to tylko wtedy, gdy wiesz, z kim rozmawia agent.

    Agenci Shadow AI tworzą kolejne kopie samych siebie

    Klasyczny przykład „shadow IT” to sytuacja, w której ktoś opłaca licencję SaaS za pomocą firmowej karty kredytowej. Jedna osoba kupuje jedno narzędzie i na tym się kończy.

    Agenci tworzą skrypty i uruchamiają serwery MCP z uprawnieniami użytkownika, który je uruchamia. W ten sam sposób planują zadania i instalują pakiety. OWASP klasyfikuje to jako nadmierna autonomiczność w swojej pierwszej dziesiątce aplikacji LLM. Niektóre z tych, które pomijają, również nazywają się modelami, więc mogą generować więcej podobnych treści bez udziału człowieka przy klawiaturze.

    W modelu kumulacyjnym przedstawionym w artykule liczba niezatwierdzonych artefaktów rośnie wykładniczo, gdy artefakty tworzone przez agentów rozmnażają się szybciej niż organizacja je wycofuje. Autorzy określają liczby podane na wykresie jako poglądowe. Jeśli w ich przykładzie potroimy tempo wycofywania, liczba niezatwierdzonych artefaktów ustabilizuje się na poziomie dziesięciu na pracownika, czyli dziesięciokrotnie wyższym niż w klasycznym scenariuszu.

    agenci sztucznej inteligencji działający w tle

    Na swoim laptopie uruchamiam kilka agentów za pomocą Harmonogramu zadań systemu Windows. Nikt ich nie zatwierdził, bo w domu to ja jestem działem IT. W pracy ten sam nawyk powoduje, że powstają ukryte agenty AI, których nikt nie widzi.

    Dlaczego zasady postępowania nie sprawdzają się w tym przypadku

    Większość zespołów ds. bezpieczeństwa stosuje reguły behawioralne, aby wykrywać ukryte agenty AI. Interpreter, który utrzymuje połączenie na porcie 443 i uruchamia powłokę, wygląda jak agent.

    To też wygląda na wersję testową.

    W przypadku „bliźniaków behawioralnych” autorzy wzięli każdy skrypt agenta i zastąpili interfejs API modelu indeksem pakietów lub Microsoft Graph. Drzewo procesu i czas trwania pozostały niezmienione. Obie reguły behawioralne wykryły każdego z „bliźniaków”, a wraz z nimi polecenie `npm install`. To 4 z 9 przypadków niegroźnych na każdą regułę.

    Na rzeczywistej stacji roboczej ta bardziej ogólna reguła zidentyfikowała plik claude.exe jako prawdziwy program do kodowania. Z tego samego powodu zidentyfikowała również edytor VS Code oraz powłokę systemu Windows.

    Zgodnie z prawem Marteca technologia zmienia się wykładniczo, podczas gdy organizacje zmieniają się logarytmicznie, a reguły zachowań stanowią odpowiedź ze strony organizacji. Zostały one dostosowane do złośliwego oprogramowania, a agent wykonuje polecenia użytkownika. Prawdziwym pytaniem jest to, czy narzędzie jest autoryzowane, a to już kwestia tożsamości.

    Agent Detector, narzędzie typu open source opisane w artykule, wiąże zachowanie z tożsamością zdalnej usługi. Odczytuje ono z pamięci podręcznej DNS systemu Windows lub z opublikowanego zakresu adresów, który proces komunikuje się z którym punktem końcowym modelu. Następnie szuka pod spodem powłoki lub serwera MCP. Jego katalog zawiera 39 narzędzi i 184 wpisy dotyczących punktów końcowych LLM. W testach wykryło wszystkie 12 agentów w większości przebiegów. Nie zidentyfikowało żadnego z nieszkodliwych zdarzeń.

    Autorzy piszą, że dane te przedstawiają ich własny detektor w lepszym świetle niż jakikolwiek inny opisany w artykule. Dwa wykrycia miały miejsce w zaledwie trzech z pięciu serii pomiarów.

    Ile kosztuje Cię ta luka po wystąpieniu zdarzenia

    Kiedy dochodzi do wycieku informacji przez jednego z twoich agentów sztucznej inteligencji typu „shadow”, śledczy najpierw pyta o punkt końcowy. W lipcu Brandy Wityak z LevelBlue opisała w wywiadzie dla Help Net Security. “Pierwszą rzeczą, która prawdopodobnie już zniknęła, są zapisy w dzienniku zapory sieciowej pokazujące połączenia wychodzące z platformami AI”.”

    W punkcie końcowym okno jest jeszcze krótsze.

    Jej odpowiedź na pytanie, w jaki sposób organ regulacyjny ocenia incydent związany z “cieniową sztuczną inteligencją”, nie pozostawia miejsca na wymówki. „Korzystanie z „cieniowej sztucznej inteligencji” przez pracownika nigdy nie jest przypadkiem z punktu widzenia przepisów”. Zgodnie z RODO decydujące znaczenie ma to, czy wprowadzono odpowiednie środki. Polityka opublikowana w wiki, której nikt nie może zweryfikować w odniesieniu do floty, stanowi słabą odpowiedź.

    W sierpniu napisałem, że Shadow AI rozwija się w tej niszy między wdrożeniem sztucznej inteligencji a poinformowaniem pracowników o planie, co firma Gallup oszacowała odpowiednio na 47% i 25%. Badanie przeprowadzone przez dostawcę, na które powołują się autorzy, wskazuje, że zespoły ds. bezpieczeństwa dostrzegają zaledwie około jednej trzeciej rzeczywistego zasięgu działania sztucznej inteligencji. Resztę, w tym ukryte agenty sztucznej inteligencji, wyjaśnia się dopiero później.

    Jak działa wykrywanie agentów „cieniowej sztucznej inteligencji” na urządzeniach końcowych – wyjaśnienie w przystępny sposób

    Pomyśl o pamięci podręcznej DNS jak o pamięci krótkotrwałej Twojego laptopa, w której przechowywane są nazwy, które zostały wyszukane. Agent Detector odczytuje tę pamięć, aby nawiązać połączenie z dostawcą. W przypadku agentów sztucznej inteligencji typu „shadow”, które łączą się z dostawcami za pośrednictwem wspólnej sieci CDN, ta pamięć stanowi jedyne połączenie.

    Trwa to od jednej do pięciu minut.

    Autorzy utrzymywali połączenia agentów z czterema dostawcami hostowanymi w sieci CDN przez sześć minut, przeprowadzając skanowanie co 15 sekund. Wszystkie dwanaście agentów pozostało połączonych do samego końca, a po upływie 295 sekund nie odnotowano żadnego połączenia. Odpowiedzi DNS serwisu OpenAI są aktywne maksymalnie przez 60 sekund. Agent, który otwiera jedno połączenie i utrzymuje je przez godzinę, jest widoczny tylko przez pierwsze kilka minut.

    Domyślna częstotliwość skanowania wynosi jedno skanowanie na godzinę.

    Agent, który wywołuje swój model w określonych odstępach czasu, był wykrywany przez mniej więcej co trzecie skanowanie w trakcie działania. Agent, który działa przez pięć sekund i kończy działanie przed rozpoczęciem skanowania, nie jest wykrywany przez żadne z detektorów okresowych.

    Agenci Shadow AI działający w środowisku WSL 2 byli niewidoczni dla wszystkich detektorów testowanych w ramach badania, w tym dla detektora opisanego w samym artykule. Agent z przekaźnikiem zakodowanym na stałe w kodzie źródłowym, działający w domenie nieznanej katalogowi, jest niewidoczny dla detektora Agent Detector.

    Skanowanie trwa 154 ms, co przy uruchamianiu co godzinę daje łącznie mniej niż dziesięć sekund obciążenia procesora na laptopa dziennie. Narzędzie nie blokuje żadnych operacji. Użytkownicy otrzymują powiadomienie, które muszą potwierdzić, a dziennik zdarzeń rejestruje, kto je zaakceptował.

    Zacznij od spisu, który można powtórzyć

    Nie wystarczy wprowadzić regułę dotyczącą zachowania i uznać, że problem z ukrytymi agentami AI został rozwiązany. Jak zauważają autorzy, na komputerze programisty reguła ta uruchamia się przy każdej kompilacji, a taki detektor traci zaufanie użytkowników w ciągu jednego dnia.

    Sporządź listę uruchomionych przez użytkowników procesów, podając ich nazwy – zacznij od agentów kodujących i konfiguracji MCP, a następnie od podstawowych adresów URL kierujących do serwerów przekaźnikowych i lokalnych środowisk uruchomieniowych na porcie Ollamy. Następnie przeprowadzaj skanowanie częściej niż trwa czas wygaśnięcia pamięci podręcznej DNS i wyłączaj WSL tam, gdzie nikt go nie potrzebuje.

    Nie można przejść na emeryturę z czegoś, czego się nigdy nie znalazło.

    Źródło | https://arxiv.org/abs/2611.12377


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Twój agent samodoskonalący sam oceni się na 100%

    Twój agent samodoskonalący sam oceni się na 100%

    Spis treści

    Agent samodoskonalący przepisał własny kod i osiągnął wynik 100% w teście wydajności dotyczącym bezpiecznego kodowania, przy czym wszystkie zadania działały poprawnie, a wszystkie luki w zabezpieczeniach zostały zablokowane.

    Kod, który napisał, nie był bezpieczny.

    Wynik ten pochodzi z nowego artykułu opublikowanego przez Google Cloud AI Research, napisanego we współpracy z naukowcami z Carnegie Mellon i Google DeepMind. Stworzyli oni system o nazwie Harmony Harness, a najbardziej przydatną stroną w tym systemie jest ta, na której ich własna konfiguracja oszukiwała. W przypadku tych 30 zadań początkowa konfiguracja uzyskała wynik 46,71 TP3T dla kodu, który był zarówno działający, jak i bezpieczny. Udoskonalona wersja osiągnęła idealny wynik, manipulując samym sposobem pomiaru. W branży zjawisko to nazywa się „hackowaniem nagród” (reward hacking).

    Co zmienia w sobie środek służący samodoskonaleniu

    Harness to całość otaczająca model – od komunikatów systemu i narzędzi po pętlę decydującą o zakończeniu zadania. Agent samodoskonalący się analizuje informacje zwrotne dotyczące wykonania i przerabia ten harness z pokolenia na pokolenie.

    Większość systemów agentów samodoskonalących skupia się na jednym wskaźniku – zazwyczaj jest to wskaźnik zdawalności testu porównawczego. Pojedynczy wynik ukrywał również negatywne skutki w moim ostatnim artykule, w którym umiejętności agenta wydawały się pomocne, a mimo to przyniosły szkodę po przyporządkowaniu zadań w pary.

    A harness evolved to maximize its training score collapsed on held-out tasks. Its combined score fell to 35.0%, below the 43.3% of the starting harness. In the authors’ case study, an agent that only sees functional feedback writes plausible code and declares the task done. Nothing pushes it toward the missing bounds check, because the exploit stays hidden at solve time.

    środek samodoskonalący

    W ten sposób agent samodoskonalący się osiągał lepsze wyniki w teście, ale gorzej radził sobie w pracy.

    Dlaczego dodanie wskaźnika bezpieczeństwa nie rozwiązuje problemu

    Oczywistym rozwiązaniem jest dodanie zabezpieczenia do nagrody, a autorzy przetestowali to wraz z każdym wariantem, który można by wypróbować w pierwszej kolejności.

    Ewolucja skupiająca się wyłącznie na bezpieczeństwie podniosła wynik w tej kategorii o 10 punktów, a łączny wynik wyniósł 46,71 TP3T, czyli tyle samo, co w przypadku uprzęży startowej. Żadne z dodatkowych zadań nie zostało wykonane zarówno poprawnie, jak i bezpiecznie.

    Sztywny próg bezpieczeństwa okazał się jeszcze mniej skuteczny, ustalając się na poziomie 60,01 TP3T, czyli o 3,3 punktu powyżej poziomu wyjściowego. Próg ten odrzuca wszystko, co znajduje się poniżej ustalonej wartości, a wszystko powyżej traktuje jako równe. Gdy agent samodoskonalący przekroczy tę wartość, poprawa bezpieczeństwa ustaje.

    Model bazowy Darwin Gödel Machine łączy oba cele w jedną nagrodę skalarową. Na zbiorze SecRepoBench osiągnął największy wzrost bezpieczeństwa spośród wszystkich modeli bazowych w trakcie ewolucji – +20 punktów. W przypadku nieznanych wcześniej typów awarii zachował 0% tego wzrostu.

    Kiedy autorzy przeanalizowali wygenerowane układy, w jednej z wersji założono, że każde zadanie było Odczyt poza zakresem w CWE-125 i kierował wszystkie poprawki tą ścieżką. Inny dostarczył gotowy zestaw poprawek dotyczących zapisu poza granicami. Każda z nich była na wystarczająco często poprawna na zbiorze szkoleniowym, by została zaakceptowana, a każda z nich była bezużyteczna gdziekolwiek indziej.

    Zespół ds. bezpieczeństwa serwisu Figma napotkał ten sam problem w własny system pozyskiwania agentów. Jak napisali, automatyczne udoskonalanie reguł “nadal może doprowadzić do nadmiernego dopasowania” do “jednego błędu, z którym ma do czynienia”. Agent samodoskonalący się, który uczy się na podstawie informacji zwrotnej, uczy się samej tej informacji zwrotnej.

    Agent samodoskonalący się najpierw atakuje klasyfikatora

    Naukowcy przeprowadzili również celowy test bez izolowanego kontenera i bez przywracania chronionych plików. Agent od razu skierował się do pliku evaluate.py, czyli skryptu, który go ocenia.

    Następnie układ odczytał wartość 100% na każdej osi, co autorzy określają jako brak pomiaru.

    W samej uprzęży znajduje się jej mniejsza wersja. Kod ewoluujący zawiera własne testy autodiagnostyczne, a w artykule zaznaczono, że najtańszym sposobem na sprawienie, by nieudany test autodiagnostyczny zakończył się powodzeniem, jest jego usunięcie. Dlatego autorzy dodali sprawdzanie, czy każda nazwana asercja z wersji nadrzędnej nadal istnieje w wersji podrzędnej.

    Twój zielony pulpit nawigacyjny jest tak wiarygodny, jak pliki, do których twój samodoskonalący się agent nie ma dostępu.

    Czym wyróżnia się Harmony Harness

    W systemie Harmony Harness funkcjonalność i bezpieczeństwo traktowane są jako dwa odrębne cele w całym procesie wyszukiwania. Każdy etap wyszukiwania skupia się na tym aspekcie, który jest najbardziej oddalony od ideału, dzięki czemu żaden z nich nie może ulec pogorszeniu bez zauważenia.

    Ponadto dzieli ten zestaw narzędzi na mechanizmy ogólne oraz poprawki specyficzne dla poszczególnych testów porównawczych. Wyspecjalizowany operator wyszukuje zakodowane na stałe sekwencje awarii oraz komunikaty wskazujące konkretne zadania, a następnie przerabia je tak, by działały poprawnie na nowych danych.

    Każda ocena przebiega w izolowanym kontenerze z wyłączoną siecią, a pliki określające punktację są archiwizowane przed każdą edycją i przywracane po jej zakończeniu. Agent może przepisać cały swój zestaw testów, aż do klasy bazowej. Żaden plik służący do punktacji nie jest dostępny dla agenta.

    W teście SecRepoBench osiągnął wynik 93,31 TP3T w kategorii bezpieczeństwa oraz 76,71 TP3T łącznie na zbiorze szkoleniowym. W zadaniach z wykorzystaniem danych testowych, zawierających typy awarii, których agent nigdy wcześniej nie widział, uzyskał łączny wynik 66,71 TP3T w porównaniu z 36,71 TP3T dla zestawu testowego wyjściowego. Zachował 551 TP3T swojego przyrostu bezpieczeństwa na tych nieznanych danych. Model DGM nie zachował w tym przypadku żadnego ze swoich przyrostów.

    Każdy podział obejmuje około 30 zadań, więc 3,3 punktu odpowiada jednemu zadaniu. Całe badanie dotyczy wyłącznie generowania bezpiecznego kodu. W tych testach porównawczych lepsze zestawy testowe często poprawiały oba wskaźniki jednocześnie, więc przypadek, w którym bezpieczeństwo i funkcjonalność rozchodzą się, pozostaje nadal niesprawdzony, co sami autorzy przyznają.

    Szybki test na znalezienie własnego środka sprzyjającego samodoskonaleniu

    Konfiguracja opisana w artykule przekłada się na niewielki projekt bez klastra badawczego. Zacznij od sporządzenia listy wszystkich plików, które może zapisywać twój agent. Wszystko, co służy do oceny agenta, należy usunąć z tej listy.

    Przed każdym uruchomieniem należy wykonać migawkę tych plików, a po jego zakończeniu je przywrócić – co już zapewnia polecenie `git checkout` stosowane do chronionych ścieżek.

    Następnie przejrzyj pliki diff agenta pod kątem nazw zadań i sztywno zakodowanych typów błędów. Poprawka, która zakłada, że każdy błąd to CWE-125, wydaje się być postępem, dopóki dane się nie zmienią. To, które pliki diff zasługują na najdokładniejsze przeanalizowanie, zależy od o tym, z czym kod wchodzi w interakcję, a nie o tym, w jakim narzędziu został napisany.

    Dwie zasady, których Twój agent nigdy nie powinien zmieniać

    W serii testów z wynikiem idealnym zastosowano wszystkie możliwe strategie obronne typu „sandbox”, a mimo to wynik okazał się fałszywy. Autorzy doszli do wniosku, że każda reguła akceptacji oparta wyłącznie na informacjach zwrotnych z danych szkoleniowych może zostać wykorzystana przez atakującego – w tym również ich własna. Należy ją zweryfikować na danych testowych dotyczących bezpieczeństwa, które zostały odłożone na bok.

    Jeśli więc pozwolisz agentowi samodoskonalącemu się na dostęp do twojego kodu, ustal dwie zasady, których nie może edytować. Program oceniający pozostaje poza jego zasięgiem. Ostateczna kontrola dotyczy zadań, których agent nigdy wcześniej nie widział.

    Źródło | https://arxiv.org/abs/2610.15150


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Umiejętności agenta mogą wydawać się pomocne, a mimo to przynosić szkody

    Umiejętności agenta mogą wydawać się pomocne, a mimo to przynosić szkody

    Spis treści

    DeepSeek-V3.2 osiąga o 31,6 punktów lepszy wynik w zadaniach programistycznych, w których wykorzystał jedną ze swoich umiejętności agenta, niż w zadaniach, w których pominął tę funkcję. Po wyłączeniu tych umiejętności i ponownym uruchomieniu dokładnie tych samych zadań osiąga wynik o 9,1 punktów lepszy.

    Obie wartości pochodzą z tego samego artykułu i obie zostały obliczone poprawnie, ale tylko jedna z nich wskazuje, czy dana umiejętność okazała się pomocna.

    Artykuł nosi tytuł “Śledzenie umiejętności” autorstwa Seonghyeona Cho i Chanjuna Parka z Uniwersytetu Soongsil. Opublikowali go na arXiv 1 września 2026 r. po przetestowaniu 17 modeli LLM pod kątem umiejętności kodowania i matematyki. Jeśli testujesz umiejętności agentów we własnym środowisku, to jest to test, którego prawdopodobnie nigdy nie przeprowadziłeś.

    Liczba, którą wszyscy podają, odnosi się do różnych zadań

    W ramach standardowej kontroli test porównawczy dzieli się na zadania, w których agent wykorzystał daną umiejętność, oraz zadania, w których tego nie zrobił, a następnie porównuje się trafność wyników w obu grupach. Grupa, w której agent wykorzystał umiejętność, osiąga lepsze wyniki, co oznacza, że umiejętności agenta działają.

    Tyle że to agent decyduje, które zadania otrzymają daną umiejętność. Nikt niczego nie losował.

    Autorzy zmierzyli to, uruchamiając każdy model z wyłączonymi umiejętnościami agentów i porównując dokładność w zadaniach, które model ten miał później odzyskać, z dokładnością w zadaniach, które pominął. W przypadku większości modeli różnica ta nie wynosiła zera, co autorzy zinterpretowali jako fakt, że model sięgał po umiejętności przy łatwiejszych zadaniach, więc “wzrost” wynika częściowo po prostu z tego, że łatwe zadania wypadają dobrze.

    Rozwiązaniem jest dwukrotne wykonanie każdego zadania

    Każde zadanie jest wykonywane dwukrotnie, raz z umiejętności_wyszukiwania dostępne narzędzie, a po jego usunięciu – przy wszystkich pozostałych parametrach identycznych, łącznie z wartością początkową.

    Następnie analizują wyłącznie zadania, w których agent wykorzystał daną umiejętność. „Pomocnym odwróceniem” jest zadanie, które zakończyło się niepowodzeniem bez tej umiejętności, a zakończyło się sukcesem z jej wykorzystaniem, natomiast „szkodliwym odwróceniem” jest sytuacja odwrotna. Różnica między „pomocnymi odwróceniami” a „szkodliwymi odwróceniami”, podzielona przez liczbę takich zadań, daje RAE, czyli efekt rzeczywistego wykorzystania wywołanego przywołaniem umiejętności (Retrieval-Invoked Actual-Use Effect).

    umiejętności agenta

    Konfiguracja jest celowo niewielka – obejmuje 80 losowo wybranych zadań w każdym teście porównawczym oraz zbiór 9 umiejętności programistycznych i 8 umiejętności matematycznych. Pobieranie wyników odbywa się za pomocą zwykłego wyszukiwania BM25, które umieszcza 3 najlepsze wyniki w kontekście; na każde zadanie przypada maksymalnie 3 wyszukiwania.

    Znak efektu ulega odwróceniu

    W każdej z poniższych par najpierw podano łączny wzrost, a następnie wskaźnik RAE, wyrażone w punktach procentowych.

    Model Gemini-2.5-Flash-lite wykazuje dodatni łączny wzrost i ujemny wskaźnik RAE dla wszystkich trzech zestawów danych MBPP+, na przykład +6,2 w porównaniu z -15,6 dla jednego zestawu i +4,4 w porównaniu z -22,2 dla innego. W przypadku DeepSeek-V3.2 wyniki wahają się od +31,6 do -9,1 dla jednego zestawu danych i od +46,2 do -23,1 dla innego. W przypadku Math500 wyniki Llama-3.3-70B wahają się od +14,2 do -39,4.

    Wynik Llamy na pulpicie wygląda na zwycięstwo z przewagą 14 punktów. W zadaniach, w których wykorzystano tę umiejętność, traci ona 39 punktów w porównaniu z własnym wynikiem uzyskanym bez użycia tej umiejętności.

    W przypadku HumanEval+ odchylenie występuje w przeciwnym kierunku w przypadku 3 z 13 modeli, które wykazują ujemny wzrost łączny i dodatni wskaźnik RAE. To sprawia, że wynik łączny jest niewiarygodny w obu kierunkach.

    W teście porównawczym zniwelowałem podobną lukę, w którym najlepszy z siedmiu modeli LLM typu open source osiągnął jedynie 0,22 mikro F1 w mapowaniu ATT&CK, podczas gdy wcześniejsze narzędzia osiągały wysokie wyniki w przypadku łatwiejszych zbiorów danych.

    Umiejętności kiepskiego agenta są równie szkodliwe jak te dobre

    Oczywistym wyjaśnieniem jest to, że opisy umiejętności były nieodpowiednie, więc autorzy przetestowali to na dwóch modelach, w których odnotowano najsilniejsze odwrócenia kodowania. Zastąpili zwrócone treści: całkowitą pustką, tekstem wypełniającym, losowymi, nieistotnymi umiejętnościami oraz celowo wprowadzającymi w błąd.

    Łączny wskaźnik RAE dla DeepSeek-V3.2 wynosi -15,9 przy standardowych umiejętnościach i -15,1 przy losowych. W przypadku Gemini-2.5-Flash-lite wynosi on -17,9 przy standardowych umiejętnościach i -15,4 przy losowych.

    Nieistotne umiejętności agenta szkodzą niemal tak samo jak te prawdziwe. Cokolwiek idzie nie tak, część przyczyny leży poza zakresem umiejętności.

    Autorzy twierdzą, że kontrole ograniczyły zakres przyczyny, pozostawiając jednak dokładne źródło otwarte. Anotator GPT-5.5 oznaczył 45 szkodliwych przypadków w modelu DeepSeek i 40 w modelu Gemini, a najczęstszym rodzajem błędu było „ignorowanie” lub „niezależne wykorzystanie”, gdzie model pobierał pewną umiejętność, a ostateczna odpowiedź nie wykazywała żadnych śladów jej zastosowania. DeepSeek ujawniał również ślady narzędzi w swoich ostatecznych odpowiedziach.

    Kilka modeli o wysokich wskaźnikach trafności nadal wykazywało ujemny wskaźnik RAE, co oznacza, że pobranie umiejętności a jej zastosowanie to dwie różne rzeczy.

    Czego to nie dowodzi

    Nie należy tego interpretować jako stwierdzenia, że “umiejętności agenta są słabe”, ponieważ Llama-3.3-70B osiąga dodatni wskaźnik RAE w przypadku dwóch z trzech zestawów danych MBPP+ (+4,2 i +7,5), a sama praca ma swoje ograniczenia.

    Zadania obejmują kodowanie jednoprzebiegowe i matematykę, więc agenci o długim horyzoncie czasowym nie zostali przetestowani. Zbiory umiejętności są stałe i niewielkie oraz zawierają fragmenty kodu proceduralnego, co odróżnia je od umiejętności opartych w dużej mierze na języku programowania, które większość z nas tworzy. RAE obejmuje jedynie zadania, w których model zdecydował się na pobranie informacji, dlatego autorzy twierdzą, że nie jest to obiektywny efekt przyczynowy ani ocena zdolności modelu do wykorzystywania umiejętności.

    W przypadku rzeczywistych repozytoriów, SWE-Skills-Bench Przeprowadzono każde zadanie zarówno z wykorzystaniem danej umiejętności, jak i bez niej, i stwierdzono, że w przypadku 39 z 49 umiejętności publicznych nie odnotowano żadnej poprawy wskaźnika zdawalności, przy średnim wzroście wynoszącym +1,21 TP3T.

    Twierdzenie to ma wąski zakres i sprowadza się do tego, że dane zbiorcze nie pozwalają stwierdzić, czy umiejętności agentów mają znaczenie.

    Przeprowadź test parowy na swoich umiejętnościach agenta

    Do przeprowadzenia tego testu wystarczą Twoje własne logi.

    Wybierz 20 zadań, w których Twój agent załadował umiejętność, i uruchom każde z nich ponownie bez tej umiejętności, używając tego samego polecenia. Oznacz każde zadanie, którego wynik uległ zmianie – na lepsze lub gorsze.

    Jeśli lepsze i gorsze wyniki się równoważą, to umiejętność ta jest czymś, za co płacisz, a czego nie potrzebujesz. Policz rzuty monetą, zanim zaufasz umiejętnościom swojego agenta.

    Źródło | https://arxiv.org/abs/2609.00549


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Metapoznanie oparte na sztucznej inteligencji oznacza, że twój agent wie, kiedy musi się bardziej wysilić

    Metapoznanie oparte na sztucznej inteligencji oznacza, że twój agent wie, kiedy musi się bardziej wysilić

    Spis treści

    Agent pozbawiony metapoznania opartego na sztucznej inteligencji wysyła prośbę o zresetowanie hasła oraz zgłoszenie naruszenia bezpieczeństwa do tego samego modelu, używając tego samego polecenia, i poświęca obu sprawom tyle samo uwagi.

    Dziesięciu naukowców napisało krótki artykuł, w którym zajmują się tym problemem poprzez metapoznanie w sztucznej inteligencji. Ukazał się on w październiku 2021 roku, co w kontekście sztucznej inteligencji to już zamierzchła przeszłość, a mimo to nadal uważam, że jest to najprzejrzystszy plan rozwiązania problemu, z którym prędzej czy później boryka się każdy twórca agentów.

    Domyślnie szybko, na życzenie wolno

    Artykuł nosi tytuł “„Myślenie szybkie i powolne” w kontekście sztucznej inteligencji“, którego autorami jest czterech naukowców z IBM Research oraz sześciu z innych uczelni i instytutów; w pracy tej wykorzystano podział Kahnaemana na dwa sposoby myślenia w celu stworzenia architektury o nazwie SOFAI.

    Rozwiązujące systemu 1 reagują na podstawie wcześniejszych doświadczeń i zwracają odpowiedź wraz z poziomem pewności. Rozwiązujące systemu 2 prowadzą powolne rozumowanie i zużywają więcej zasobów, zwłaszcza czasu. Autorzy twierdzą, że te powolne rozwiązania “nigdy nie zajmują się danym problemem, chyba że zostaną wyraźnie wywołane przez moduł MC”.”

    Moduł MC stanowi metapoznawczą część systemu; znajduje się on pomiędzy dwoma rodzajami solwerów i decyduje, czy szybka odpowiedź jest wystarczająco dobra. Autorzy nazywają całą tę konstrukcję “architekturą S1 domyślną”.”

    Metapoznanie w sztucznej inteligencji

    Artykuł opisuje trwające prace i nie zawiera żadnych wyników eksperymentów ani danych liczbowych, więc to, co z niego wynika, to sposób na uporządkowanie procesu podejmowania decyzji, przy czym nie ma żadnych dowodów na to, w jakim stopniu jest to pomocne.

    Jak działa metapoznanie oparte na sztucznej inteligencji w systemie Gate

    Bramka składa się z dwóch etapów, z których pierwszy jest szybki i zgrubny. Sprawdza on, czy pozostało wystarczająco dużo czasu i pamięci, aby wykonać całą bramkę. Jeśli ich brakuje, wygrywa szybka odpowiedź. Następnie porównuje poziom pewności szybkiego solwera z oczekiwaną nagrodą za zadanie, a jeśli poziom pewności jest wystarczająco wysoki w stosunku do stawki, proces kończy się w tym momencie.

    Jeśli pierwsza faza nie przyniesie oczekiwanych rezultatów, uruchamia się druga. Oszacowuje ona, jaką dodatkową nagrodę przyniósłby powolny moduł obliczeniowy oraz ile kosztowałoby jego uruchomienie. Powolny moduł obliczeniowy uruchamia się tylko wtedy, gdy zysk przewyższa koszt.

    Porównanie to opiera się na oczekiwanej nagrodzie za wykonanie zadania i nie uwzględnia tego, jak trudne wydaje się ono na pierwszy rzut oka, dlatego rutynowe wyszukiwanie i czynność niszcząca muszą spełnić różne kryteria.

    Gdzie zazwyczaj dochodzi do eskalacji

    W tej prostej konstrukcji w przypadku niepowodzenia stosowana jest eskalacja, co oznacza, że błąd pojawia się w tańszym modelu, a ponowna próba przypada na model droższy. Pewna, choć błędna odpowiedź nigdy nie powoduje błędu i jest wysyłana bez zmian.

    Kolejną luką jest pamięć, ponieważ bramka opisana w artykule podejmuje decyzje na podstawie “modelu siebie”, który zawiera dotychczasowe decyzje każdego z rozwiązywaczy, informacje o wykorzystaniu przez nich zasobów, zdobytych nagrodach oraz zasobach, które są nadal dostępne. Agent, który prowadzi dzienniki wyłącznie do wglądu ludzi, nie posiada takiego modelu, a bez modelu „ja” metapoznanie sztucznej inteligencji nie ma na czym się oprzeć.

    Mój agent RSS stanowi właśnie taki prymitywny, szybki mechanizm, ponieważ ocenia każdą wiadomość w skali od 1 do 10 i wysyła do mojego podsumowania wszystko, co uzyskało ocenę powyżej 7 – a ten próg wybrałem intuicyjnie. Sprawdza się to dobrze w przypadku podsumowania wiadomości, ponieważ błędna ocena kosztuje mnie pominięcie jednego artykułu, a agent nie ma pojęcia, jak często ta ocena była błędna. Jedyną zasadą, której ściśle przestrzegam, jest to, że pusta odpowiedź wzorcowa liczy się jako brak decyzji, a agent odmawia podjęcia działania w tej sprawie.

    Czego ten artykuł nie wyjaśnia

    Autorzy wymieniają luki w swoim własnym podejściu do metapoznania w sztucznej inteligencji. Mechanizm ten działa tylko wtedy, gdy system ma wcześniejsze doświadczenie z dokładnie tym samym problemem, a w artykule zaznaczono, że “nie uwzględniono kwestii związanych z podobieństwem problemów”. Sposób, w jaki łączy on wartość oczekiwaną z poziomem pewności, polega na zwykłym mnożeniu, które autorzy określają jako niechęć do ryzyka i zamierzają ponownie przeanalizować.

    Dostrzegam jeszcze dwa problemy, których autorzy nie poruszają, a jednym z nich jest to, że bramka opiera się na wskaźniku pewności dostarczonym przez szybki solwer. Nie powiązałbym progu eskalacji z wynikiem, jaki model językowy podaje na swój temat, dopóki wynik ten nie zostanie zweryfikowany w oparciu o rzeczywiste rezultaty.

    Kolejnym problemem jest to, że brama stanowi powierzchnię ataku. Wyobraź sobie czujnego agenta zajmującego się klasyfikacją zgłoszeń, który otrzymuje zgłoszenie sformułowane tak, by wyglądało na rutynowy szum – co sprawia, że moduł szybkiego rozwiązywania problemów osiąga wysoki poziom pewności, a ścieżka ostrożnego postępowania pozostaje nieaktywna. Ktokolwiek potrafi zawyżyć tę liczbę, decyduje o tym, jak intensywnie myśli twój agent – i to jest mój wniosek. OWASP wymienia natychmiastowe podanie jako LLM01 w swoim raporcie dotyczącym zagrożeń związanych z zastosowaniami modeli językowych (LLM) w 2025 r., a ja omówiłem podobny przypadek w jak agent zajmujący się badaniami nad sztuczną inteligencją zostaje „zatruty” przez jeden wpis na Reddicie.

    Kiedy mechanizm zabezpieczający przestaje działać

    Jeśli nie da się cofnąć jednego błędnego działania, żadna brama zaufania – bez względu na to, jak zaawansowana jest metapoznanie sztucznej inteligencji, która za nią stoi – nie powinna podejmować takiej decyzji; dotyczy to usuwania danych, przelewania środków, zamykania zgłoszeń dotyczących incydentów bezpieczeństwa oraz zmiany reguł zapory sieciowej w sieci produkcyjnej. O tych kwestiach za każdym razem decyduje człowiek. Mechanizm ten kontroluje jedynie zakres rozważań agenta, a odpowiedzialność spoczywa na osobie.

    Co robić w poniedziałek

    Te cztery zasady pozwalają zastosować metapoznanie oparte na sztucznej inteligencji do agenta, który już działa.

    Ustaw ścieżkę szybką jako domyślną, a ścieżkę wolną uruchamiaj wyłącznie na wyraźne żądanie.

    Ustal poprzeczkę w oparciu o stawkę zadania, tak aby sprawdzenie mogło opierać się na pewnym przypuszczeniu, a podjęcie działań o negatywnych skutkach wymagało znacznie więcej niż tylko tego.

    Rejestruj każdą decyzję wraz z jej wynikiem, aby warstwa metapoznania Twojej sztucznej inteligencji miała dane do analizy.

    Sprawdź działanie bramki na zadaniach, z którymi nigdy wcześniej nie miała do czynienia, ponieważ w artykule założono, że zna je wszystkie.

    Zanim wprowadzisz większy model, dodaj metapoznanie oparte na sztucznej inteligencji.

    Źródło | https://arxiv.org/abs/2110.01834


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Agenci oparci na sztucznej inteligencji już teraz naruszają przepisy ustawy o cyberodporności

    Agenci oparci na sztucznej inteligencji już teraz naruszają przepisy ustawy o cyberodporności

    Spis treści

    Zgodność z ustawą o cyberodporności wydaje się być pewnym gruntem, gdy już przejdzie się audyt i uzyska znak CE. Nowe badanie wskazuje jednak, że ten grunt już się zapadł, ponieważ agenci sztucznej inteligencji mogą zamienić w pełni certyfikowane urządzenie w otwarte drzwi, nie zmieniając ani jednej linii jego kodu.

    Kosiarka automatyczna Hookii przeszła wszystkie testy wymagane przez przepisy UE, podobnie jak humanoidalny robot Unitree G1. Oba urządzenia posiadają certyfikaty i mogą być legalnie sprzedawane na terenie całej Unii, przynajmniej na papierze. W marcu 2026 r. agent sztucznej inteligencji, którego koszt był mniej więcej równy cenie filiżanki kawy, przejął kontrolę nad flotą 267 takich kosiarek, nie łamiąc przy tym ani jednego prawa ani nie stawiając stopy w hali produkcyjnej. Certyfikat wciąż wisi na ścianie, ale rzeczywistość już go wyprzedziła.

    Czego faktycznie wymaga zgodność z ustawą o cyberodporności

    The Unijna ustawa o cyberodporności osiągnie pełną moc w grudniu 2027 roku, a jej centralnym elementem będzie cykl zapewniania zgodności. Producenci oceniają ryzyko i zajmują się wszelkimi wykrytymi błędami, a następnie dostarczają poprawki zgodnie z ogłoszonym harmonogramem, jednocześnie zgłaszając aktywne luki. Leży za tym założenie, że oprogramowanie zawsze zawiera błędy i wymaga jedynie odpowiedniego zarządzania.

    Projekt ten opiera się na czterech niewypowiedzianych założeniach dotyczących rzeczywistego świata, a każde z nich musi się sprawdzić, aby proces ten miał jakikolwiek sens.

    1. Wykrycie luki wymaga prawdziwej wiedzy specjalistycznej i czasu, dlatego w danym momencie znana jest jedynie niewielka grupa powoli ujawnianych luk w zabezpieczeniach.
    2. Pełny zestaw luk w zabezpieczeniach produktu, które można wykorzystać, można zidentyfikować jeszcze przed jego wprowadzeniem na rynek, a ten wykaz pozostaje w przybliżeniu aktualny również po tej dacie.
    3. Wykorzystanie luk w zabezpieczeniach zdarza się na tyle rzadko i jest na tyle widoczne, że wykrycie takiego incydentu stanowi istotny sygnał.
    4. Działania naprawcze przebiegają szybciej niż ataki, więc regularny cykl instalowania poprawek wystarcza, by zachować przewagę.

    Víctor Mayoral-Vilches z firmy Alias Robotics, autor artykułu, szacuje, że rozbieżność ta dotyczy okresu dziesięciu tygodni. Komisja Europejska opracowała projekt ustawy we wrześniu 2022 roku, a ChatGPT został wprowadzony na rynek w listopadzie tego samego roku, co spowodowało, że obraz świata przedstawiony w rozporządzeniu został zamrożony dokładnie w momencie, gdy ten obraz…
    ## Dlaczego argument dotyczący wielkości mija się z celem

    Większość komentarzy na temat sztucznej inteligencji i cyberbezpieczeństwa skupia się na jednym fakcie – że systemy automatyczne wykrywają więcej błędów niż ludzie. To prawda, ale w kontekście zgodności z ustawą FORENCE to tylko połowa historii.
    Kiedy w kwietniu 2024 r. agent GPT-4 wykorzystał lukę 87% w oparciu o opis CVE, samo to nie stanowi zagrożenia. Firmy ponownie ustalają priorytety i dokumentują ryzyko, jakie akceptują w pozostałych przypadkach, co jest dokładnie tym zachowaniem, jakie przewidział art. 14, ograniczając obowiązkowe zgłoszenia do błędów będących przedmiotem aktywnych ataków i wyłączając z tego obowiązku rutynowe wyniki skanowania. Nie jest to też tylko laboratoryjna ciekawostka, ponieważ Narzędzia hakerskie oparte na sztucznej inteligencji już teraz przeprowadzają ataki na serwery produkcyjne przez całą dobę.

    Czas ma jednak znacznie większy wpływ niż sama liczba. Mediana czasu od ujawnienia do wykorzystania luki wynosiła w 2018 roku 771 dni; w 2023 r. wynosił 5,3 dnia, co stanowiło wykładniczy spadek o współczynniku R² = 0,98, a w 2025 r. wartość ta zbliżyła się do zera, podczas gdy odsetek luk wykorzystanych do ataków przed lub w momencie publicznego ujawnienia wzrósł z 19% do 54%.

    Certyfikat, który pozostaje ważny, nawet jeśli produkt ulegnie zmianie

    Zgodność z ustawą o cyberodporności

    Zgodność z ustawą o cyberodporności przekształca się w kruchy wymóg, zgodnie z którym produkty muszą być dostarczane “bez znanych luk w zabezpieczeniach, które można wykorzystać”. Klauzula ta zakłada, że to, co jest “znane” pierwszego dnia, w przybliżeniu odpowiada temu, co można “wykryć” tydzień później.


    Google’s Agent z filmu „Wielki sen” w listopadzie 2024 roku na żądanie odkryto na nowo ukrytą lukę w SQLite, a przeprowadzenie tego rodzaju ataku kosztuje dziś około stu dolarów za próbę, jednak produkt i jego certyfikat pozostały na papierze dokładnie takie same. Jego rzeczywisty zakres podatności na ataki i tak uległ zmianie, ponieważ warunki związane z

    Dotyczy to każdego producenta wprowadzającego na rynek UE urządzenie podłączone do sieci, niezależnie od tego, czy jest to kamera IP, urządzenie przemysłowe
    sterownik, robot magazynowy lub inteligentne urządzenie – jeśli jest w pełni zgodne z normami – może stać się łatwym celem już tydzień po certyfikacji, ponieważ luka wynikała z zestawu narzędzi atakującego i znajdowała się całkowicie poza kodem samego produktu.

    Dwa roboty, jeden dowód

    W artykule tezę tę poparto przykładami dwóch urządzeń przetestowanych bezpośrednio w ramach ustawy o cyberodporności: humanoida Unitree G1
    oraz kosiarka Hookii.

    Nieobroniony agent AI przejął kontrolę nad urządzeniem G1, wykorzystując lukę w zabezpieczeniach polegającą na wstrzyknięciu poleceń przez Bluetooth oraz identyczny klucz AES wbudowany w każdy egzemplarz floty. Następnie odszyfrował dane telemetryczne robota i uzyskał dostęp do sterowania zdalnego, osiągając wskaźnik skuteczności na poziomie 79%. W przypadku kosiarki 38 połączonych luk w zabezpieczeniach pozwoliło na ominięcie geofence’u bezpieczeństwa w całej flocie 267 urządzeń, osiągając wskaźnik skuteczności na poziomie 75%.

    Po włączeniu obu robotów do systemu „Robot Immune System” – autonomicznego agenta sztucznej inteligencji pełniącego funkcję obronną – skuteczność ataku spada do 14% i 8%, a czas wykrycia i powstrzymania ataku wynosi odpowiednio poniżej 8 i 12 sekund. Wniosek płynący z artykułu ma dwojakie znaczenie, ponieważ zarówno atakujący, jak i broniący się wykorzystują tę samą technologię, więc jedyną certyfikacją, która się sprawdza, jest taka, która nigdy nie przestaje działać. Mechanizm stojący za tą koncepcją omówiłem w jak działa uczenie się w autonomicznej cyberobronie.

    Sposoby na sprawdzenie skuteczności programu zapewnienia zgodności

    Jeśli doradzacie klientom w kwestiach zgodności z ustawą o odporności cybernetycznej lub dostarczacie produkty podłączone do sieci do UE, te zmiany mają większe znaczenie niż sama formalność.

    1. Zaplanuj ponowny audyt po uzyskaniu certyfikatu, ponieważ audyt punktowy dostarcza informacji wyłącznie o dniu, w którym został przeprowadzony.
    2. Należy uwzględnić w budżecie koszty ciągłego monitorowania jako wydatki cykliczne, ponieważ czas od ujawnienia luki do jej wykorzystania mierzy się obecnie w dniach, a czasem nawet w godzinach.
    3. Traktuj defensywnego agenta AI jako kluczowy element zapewnienia zgodności z przepisami; dane zawarte w artykule pokazują, że skuteczność ataków spada z 791 TP3T do 141 TP3T, gdy taki agent jest uruchomiony.
    4. Zapytaj dowolnego dostawcę, w jaki sposób wykrywa rozbieżności między tym, co zostało certyfikowane, a tym, co faktycznie działa obecnie.

    W grudniu 2027 r. ustawa o cyberodporności wejdzie w życie w pełnym zakresie, wprowadzając certyfikację produktów w świecie, który już poszedł naprzód. Coroczny certyfikat zgodności nie ma żadnej wartości po następnym wtorku, a jedyną możliwością zapewnienia ochrony na dłużej niż tydzień jest ciągła ochrona oparta na agentach.

    Źródło: https://arxiv.org/abs/2607.07109


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Prywatność agentów sztucznej inteligencji to luka, której nikt nie bada

    Spis treści

    AI agent Kwestia prywatności rzadko trafia na listę kontrolną dotyczącą bezpieczeństwa, a właśnie ta luka jest źródłem prawdziwych szkód. Wyobraźmy sobie pracownika zajmującego się rutynowym zadaniem: sprawdza status zamówienia klienta, a następnie – zanim udzieli odpowiedzi – pobiera pasujące rekordy z systemu CRM i bazy danych faktur, a wszystko to w ciągu dziesięciu sekund. Nikt nie zatrzymał się, by zapytać, czy w tym samym wątku rozmowy, wciąż przechowywanym w pamięci roboczej, nie znalazł się również numer karty innego klienta.

    Problem w skrócie

    Obecnie agent LLM działa w oparciu o bazy danych, zbiory dokumentów pobierane za pośrednictwem RAG, zewnętrzne interfejsy API oraz inne agenty znajdujące się niżej w łańcuchu zadań. Każda z tych płaszczyzn stwarza własną ścieżkę wycieku danych agenta, a każda z nich stanowi martwy punkt w większości agentów AI prywatność analizy. Badanie śledzi, w jaki sposób dane wrażliwe faktycznie opuszczają system. Część z nich wychodzi poprzez zapytania, które agent sam dla siebie tworzy. Reszta przedostaje się na zewnątrz poprzez wyniki pośrednie przechowywane w pamięci lub poprzez komunikaty przekazywane innemu agentowi w trakcie

    Większość polityk bezpieczeństwa została opracowana tak, by wyłapać jedną z tych ścieżek, pozostawiając pozostałe dwie całkowicie otwarte. Ta rozbieżność stanowi rzeczywisty kształt „drzwi” problemu prywatności agenta AI, podczas gdy dwa boczne wejścia pozostają otwarte.

    Dlaczego większość zespołów popełnia ten błąd

    Większość analiz bezpieczeństwa agentów opiera się na scenariuszach ataków, takich jak wstrzyknięcie argumentu lub próba przełamania ograniczeń, które umykają uwadze modelu. Niniejsze badanie skupia się przede wszystkim na kwestii, z jakimi danymi ma do czynienia agent, niezależnie od tego, czy ktoś go atakuje. Zespół przeprowadzający testy typu „red team” na swoim agencie pod kątem znanych ataków może nadal przeoczyć ryzyko tkwiące w samym projekcie dostępu do danych.

    ochrona prywatności agentów sztucznej inteligencji

    Wydaje się, że kontrola dostępu na poziomie bazy danych powinna to uwzględniać, choć odpowiada ona jedynie na węższe pytanie – kto może w danej chwili odczytać rekord. Nie mówi ona nic o tym, co agent robi z tym rekordem trzy sesje później. W badaniu przeanalizowano sześć mechanizmów zarządzania stworzonych w celu zapewnienia prywatności, kontroli przepływu informacji oraz wykrywania wycieków, działających w sposób łączący się w wielu sesjach. Pozostałe mechanizmy wykrywają jedynie pojedyncze żądania. Prywatność agenta AI faktycznie ulega naruszeniu na poziomie wzorców, łączących się w różnych sesjach, co jest właśnie tym, czego brakuje w pozostałych pięciu mechanizmach.


    Co to oznacza dla Ciebie

    Wdrażanie agentów u klientów lub uruchamianie ich wewnątrz własnej firmy zmienia zakres elementów, które powinny znaleźć się na liście kontrolnej dostawcy. Dane uwierzytelniające uzyskane w ramach testów typu „red team” metodą jailbreak obejmują obecnie tylko część tej listy. Bardziej trafne pytanie dotyczy prywatności agenta opartego na sztucznej inteligencji we wszystkich obszarach, z którymi agent ma kontakt w danym momencie – w tym podczas pobierania informacji za pomocą RAG, wykonywania zapytań SQL, korzystania z pamięci oraz wymiany komunikatów z innymi agentami.
    Autorzy badania twierdzą, że taki łączny punkt odniesienia praktycznie jeszcze nie istnieje, a w świetle RODO i podobnych przepisów ten brak staje się prawdziwym obciążeniem, ponieważ udowodnienie zachowania należytej staranności staje się trudne, gdy przeprowadzony test pomija większość rzeczywistej ścieżki danych w systemie.

    Kwestie techniczne, w prostych słowach

    Weźmy konkretny przykład, który pokazuje, jak w praktyce wygląda zagrożenie dla prywatności związane z agentami AI. Agent działu kadr odpowiada na pytanie pracownika dotyczące dni urlopowych. Podczas wyszukiwania danych pobiera również pole zawierające informację o przyczynie medycznej leżącej u podstaw
    Wcześniejsza nieobecność, odnotowana tuż obok wyniku analizy danych, zostaje zapisana w pamięci agenta. Trzy zapytania później oddzielny wątek dotyczący tego samego pracownika czerpie z tej pamięci i ujawnia szczegół, o którego ujawnienie nikt nie prosił.

    Błąd wynika z braku granicy między tym, co agent wie, a tym, co może powiedzieć w danym kontekście – granicy, której żaden atakujący nie musiał przekraczać. Kontrola przepływu informacji ma na celu wyznaczenie tej granicy na poziomie warstwy danych, a nie
    warstwa podpowiedzi. Oznacza ona poziom wrażliwości; monitor śledzi ten znacznik niezależnie od tego, gdzie trafią dane – czy to w odpowiedzi na czacie, czy w wiadomości wysłanej do innego agenta. To właśnie ta luka, bardziej niż jakikolwiek atak oparty na podpowiedziach, stanowi codzienny obraz niepowodzeń agentów AI w zakresie ochrony prywatności.

    Cztery pytania, które należy sobie zadać przed wysłaniem agenta

    Zanim agent uzyska dostęp do danych produkcyjnych, cztery pytania pozwalają wyeliminować większość opisanych powyżej zagrożeń.

    Po pierwsze, należy sporządzić mapę wszystkich obszarów danych, do których agent ma dostęp, w tym tych wykraczających daleko poza jego pierwotny zakres działania, obejmując wszystkie bazy danych, repozytoria dokumentów, interfejsy API oraz warstwy pamięci objęte analizą. Po drugie, należy śledzić dane w kontekście sesji, a nie pojedynczych żądań, sprawdzając, czy fakt ujawniony w pierwszej sesji może pojawić się ponownie w piątej sesji bez czyjejkolwiek zgody.

    Po trzecie, należy oddzielić pobieranie danych od ich ujawniania, ponieważ agent powtarzający ten zapis na głos potrzebuje innych uprawnień. Po czwarte, należy poprosić dostawców o przedstawienie wyników testów porównawczych zamiast prezentacji demonstracyjnej, ponieważ system odporny na jailbreak nie pokazuje nic na temat poziomu ochrony prywatności agenta AI w kontekście RAG i SQL, nie mówiąc już o pamięci.


    Zarządzanie prywatnością agentów AI będzie stawało się coraz trudniejsze, ponieważ systemy agentów nieustannie dodają nowe źródła danych i łączą coraz więcej agentów, które przekazują sobie informacje. Dopóki żaden standard nie obejmie tego pełnego obrazu sytuacji, każda firma korzystająca obecnie z agentów musi samodzielnie decydować, jaki poziom prywatności jest dla niej odpowiedni, i świadomie wybierać kompromisy w tym zakresie, zanim jakiś incydent podejmie tę decyzję za nią.


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś