Tag: bezpieczeństwo sztucznej inteligencji

  • System analizy zagrożeń oparty na sztucznej inteligencji można wprowadzić w błąd za pomocą jednego podłożonego zdania

    Spis treści

    Mój czytnik RSS codziennie rano przegląda za mnie listę źródeł – to mój własny, niewielki system analizy zagrożeń oparty na sztucznej inteligencji. Przyznaje on każdej wiadomości określoną ocenę, a wszystko, co uzyska wynik powyżej 7 na 10, trafia do mojego podsumowania. Sam go stworzyłem i korzystam z niego codziennie, ale aż do zeszłego tygodnia nigdy nie zastanawiałem się, co oznacza ta 7.

    Potem przeczytałem nowy artykuł autorstwa Jiahonga Qiana z Uniwersytetu Jian Qiao w Szanghaju. Test ten sprawdza, co się dzieje, gdy model LLM analizuje raporty dotyczące cyberzagrożeń i musi wskazać podmioty odpowiedzialne za zagrożenia oraz luki w zabezpieczeniach stojące za każdą kampanią. Test przeprowadzono na 354 kampaniach incydentów pochodzących z publicznego korpusu. DeepSeek-V4-Flash i GLM-5.3-Flash były modelami niedrogimi, a GPT-6.1-Sol stanowił flagowy model kontrolny.

    Ten niepokojący wynik wynika z eksperymentu dodatkowego, w którym dodano jedno zdanie przypisujące kampanii fałszywy numer CVE, a proste modele powiązały ten numer CVE w 95,61% przypadków z 1001% przypadków, wykazując poziom pewności zbliżony do maksymalnego.

    Modele wykrywają wszystko, łącznie z szumem

    Wskaźnik Recall osiąga świetne wyniki w przedziale od 0,81 do 0,99 dla wszystkich modeli i typów encji, co oznacza, że modele wykrywają niemal każdą encję zaznaczoną przez analityków.

    Analiza zagrożeń oparta na sztucznej inteligencji

    Różnica polega na precyzji – we wszystkich przypadkach obserwuje się mikroprecyzję w przedziale od 0,03 do 0,34. Średnio GLM-5.3-Flash generuje 15,1 ciągów CVE na raport, podczas gdy w referencyjnym zestawieniu podano maksymalnie 2 główne identyfikatory CVE.

    Model GPT-6.1-Sol osiąga wynik 0,057 mikro w zakresie precyzji dla CVE, a jak stwierdzono w artykule: “różnica ta nie zmniejsza się nawet w przypadku modeli z najwyższej półki”. Zapłacenie więcej daje w zamian tę samą liczbę dodatkowych kandydatów.

    Otrzymujesz więc listę piętnastu pozycji, z których dwie są istotne, ale nikt nie podpowiada, które to są. Jeśli Twój system analizy zagrożeń oparty na sztucznej inteligencji działa w ten sposób, analityk nadal musi ręcznie sortować te dane. Na początku tego roku napisałem, że Mapowanie AI ATT&CK jest błędne w czterech na pięć przypadków na podstawie rzeczywistych zgłoszeń, a w niniejszym artykule stwierdzono taką samą niską dokładność w odniesieniu do podmiotów i luk CVE.

    W tym przypadku halucynacja nie jest właściwym podejrzanym

    Odruchową odpowiedzią jest „halucynacja”, a odruchowym rozwiązaniem jest metoda RAG w połączeniu z łańcuchem myśli.

    W artykule zweryfikowano to poprzez opatrzenie adnotacjami próby 360 kandydatów i odnieślenie jej do wszystkich wyników. Większość z nich, 65,61 TP3T, stanowiły wzmianki tła, czyli podmioty wymienione w raporcie, których ta kampania nigdy nie wykorzystała. Kolejne 19,91 TP3T odnosiły się do wydarzenia, ale wykraczały poza zakres uwag referencyjnych. Tylko 1,21 TP3T nie miało żadnego potwierdzenia w tekście. Spośród fałszywych alarmów CVE od 99,71 TP3T do 99,81 TP3T pojawiają się wyraźnie w którymś miejscu raportu.

    W artykule stwierdzono, że modele “wskazują ciągi znaków, których prawdziwości nie są w stanie ocenić w kontekście tego zdarzenia”, oraz że słowo “wspomniane” jest mylnie traktowane jako “użyte”.

    To zmienia podejście do analizy zagrożeń opartej na sztucznej inteligencji, ponieważ technologie RAG i „łańcuch myśli” poprawiły wydajność identyfikacji podmiotów nawet o 0,133 wskaźnika macro-F1, a w przypadku luk w zabezpieczeniach zmiany były znikome. Nie da się rozwiązać problemu rozumienia tekstu wyłącznie poprzez wyszukiwanie informacji.

    Atrybucja techniczna polega na porównywaniu metod, taktyk i procedur (TTP) oraz infrastruktury ze znanymi kampaniami, a operacje typu „false flag” zawsze stanowiły część tych działań. Łukasz Olejnik i Artur Kurasiński opisują w książce „Philosophy of Cybersecurity”, jak grupa Turla prowadziła operacje, wykorzystując irańską infrastrukturę. Tego rodzaju działania dezinformacyjne wymagały kiedyś od atakującego znacznego wysiłku. Jeśli analizę danych przeprowadza sztuczna inteligencja, fałszywa flaga kosztuje zaledwie jedno zdanie w raporcie, który odczytuje twój system.

    Jakie wskaźniki pewności zapewniają dane wywiadowcze dotyczące zagrożeń związanych ze sztuczną inteligencją

    Wyrażona słowami pewność – model twierdzący, że jest pewien na poziomie 95% – jest źle skalibrowana. Oczekiwany błąd kalibracji mieści się w przedziale od 0,53 do 0,94.

    Metoda spójności wewnętrznej sprawdza się lepiej – polega ona na zadaniu tego samego pytania pięć razy i zliczeniu, ile razy pojawia się dana jednostka. Jako sygnał rankingowy spełniła ona wymagania określone w rejestracji wstępnej artykułu we wszystkich sześciu komórkach testowych. Jeśli chodzi o luki w zabezpieczeniach, przegląd 20% pozycji z najwyższym wynikiem pozwala zidentyfikować 96% poprawnych elementów.

    W teście z wstawionym zdaniem fałszywy podmiot uzyskał średni poziom pewności zgłoszony przez niego samego wynoszący 98,0 i 85,6 w obu modelach, co nie różniło się od wyników prawdziwego podmiotu. Jego częstotliwość spójności wewnętrznej wyniosła 0,892 w obu modelach. W artykule stwierdzono, że “częstotliwość SC mierzy spójność tekstową, a nie zgodność z faktami”.”

    Zakodowane zdanie to spójny tekst, więc model za każdym razem potwierdza jego poprawność. W analizie zagrożeń opartej na sztucznej inteligencji wynik mierzy zgodność z tekstem, a tekstem zarządza osoba atakująca.

    Jak wdrażać system analizy zagrożeń oparty na sztucznej inteligencji z udziałem człowieka

    Holenderski analityk OSINT Nico Dekens napisał w sierpniu że niepowodzenia wywiadowcze rzadko pojawiają się z wielkim rozgłosem, a “zazwyczaj towarzyszy im ocena wiarygodności”. Niniejszy artykuł potwierdza te słowa danymi liczbowymi.

    Zawarte w artykule zalecenia dotyczące wdrożenia procesu analizy zagrożeń opartego na sztucznej inteligencji sprowadzają się do czterech zmian.

    Funkcja „Confidence” sortuje kolejkę do przeglądu i nigdy nie zastępuje samej analizy, więc w przypadku luk w zabezpieczeniach zaczyna się od górnej części listy 20%. W przypadku podmiotów stanowiących zagrożenie należy postępować inaczej, ponieważ górna część tej listy (od 5 do 10%) zawiera wiele błędów i człowiek musi ręcznie sprawdzić przypisania podmiotów od początku listy.

    Progi są ponownie kalibrowane dla każdego korpusu, ponieważ w przypadku nowszego zestawu raportów z lat 2022–2025 rankingi pozostały niezmienione, podczas gdy stałe progi nie dały się przenieść.

    Każdy raport, który zasila system analizy zagrożeń oparty na sztucznej inteligencji, stanowi dane wejściowe kontrolowane przez atakującego, ponieważ raporty CTI zawierają cytaty z blogów dostawców oraz wklejone fragmenty, a wraz z nimi pojawia się jeden podłożony wiersz.

    Każda wyodrębniona jednostka ma obok siebie zdanie, z którego pochodzi, dzięki czemu recenzent najpierw zapoznaje się z danym fragmentem.

    Partia zawierająca zdania z wbudowanymi elementami została przetworzona wyłącznie na dwóch modelach typu flash, więc nie znamy wyników dla modelu flagowego. Adnotacje zostały wykonane przez dwa modele LLM innych dostawców, a ręczna kontrola wyrywkowa wciąż nie została przeprowadzona. Główny korpus obejmuje okres do około 2021 roku.

    Mój czytnik RSS nr 7 działa na tej samej zasadzie, bo podpowiada mi, co przeczytać w pierwszej kolejności, i ani razu nie powiedział mi, co jest prawdą.

    System „Confidence” sortuje kolejkę. Przypisanie przypisuje pracownik.

    Źródło | https://arxiv.org/abs/2610.20417


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Twój agent samodoskonalący sam oceni się na 100%

    Twój agent samodoskonalący sam oceni się na 100%

    Spis treści

    Agent samodoskonalący przepisał własny kod i osiągnął wynik 100% w teście wydajności dotyczącym bezpiecznego kodowania, przy czym wszystkie zadania działały poprawnie, a wszystkie luki w zabezpieczeniach zostały zablokowane.

    Kod, który napisał, nie był bezpieczny.

    Wynik ten pochodzi z nowego artykułu opublikowanego przez Google Cloud AI Research, napisanego we współpracy z naukowcami z Carnegie Mellon i Google DeepMind. Stworzyli oni system o nazwie Harmony Harness, a najbardziej przydatną stroną w tym systemie jest ta, na której ich własna konfiguracja oszukiwała. W przypadku tych 30 zadań początkowa konfiguracja uzyskała wynik 46,71 TP3T dla kodu, który był zarówno działający, jak i bezpieczny. Udoskonalona wersja osiągnęła idealny wynik, manipulując samym sposobem pomiaru. W branży zjawisko to nazywa się „hackowaniem nagród” (reward hacking).

    Co zmienia w sobie środek służący samodoskonaleniu

    Harness to całość otaczająca model – od komunikatów systemu i narzędzi po pętlę decydującą o zakończeniu zadania. Agent samodoskonalący się analizuje informacje zwrotne dotyczące wykonania i przerabia ten harness z pokolenia na pokolenie.

    Większość systemów agentów samodoskonalących skupia się na jednym wskaźniku – zazwyczaj jest to wskaźnik zdawalności testu porównawczego. Pojedynczy wynik ukrywał również negatywne skutki w moim ostatnim artykule, w którym umiejętności agenta wydawały się pomocne, a mimo to przyniosły szkodę po przyporządkowaniu zadań w pary.

    A harness evolved to maximize its training score collapsed on held-out tasks. Its combined score fell to 35.0%, below the 43.3% of the starting harness. In the authors’ case study, an agent that only sees functional feedback writes plausible code and declares the task done. Nothing pushes it toward the missing bounds check, because the exploit stays hidden at solve time.

    środek samodoskonalący

    W ten sposób agent samodoskonalący się osiągał lepsze wyniki w teście, ale gorzej radził sobie w pracy.

    Dlaczego dodanie wskaźnika bezpieczeństwa nie rozwiązuje problemu

    Oczywistym rozwiązaniem jest dodanie zabezpieczenia do nagrody, a autorzy przetestowali to wraz z każdym wariantem, który można by wypróbować w pierwszej kolejności.

    Ewolucja skupiająca się wyłącznie na bezpieczeństwie podniosła wynik w tej kategorii o 10 punktów, a łączny wynik wyniósł 46,71 TP3T, czyli tyle samo, co w przypadku uprzęży startowej. Żadne z dodatkowych zadań nie zostało wykonane zarówno poprawnie, jak i bezpiecznie.

    Sztywny próg bezpieczeństwa okazał się jeszcze mniej skuteczny, ustalając się na poziomie 60,01 TP3T, czyli o 3,3 punktu powyżej poziomu wyjściowego. Próg ten odrzuca wszystko, co znajduje się poniżej ustalonej wartości, a wszystko powyżej traktuje jako równe. Gdy agent samodoskonalący przekroczy tę wartość, poprawa bezpieczeństwa ustaje.

    Model bazowy Darwin Gödel Machine łączy oba cele w jedną nagrodę skalarową. Na zbiorze SecRepoBench osiągnął największy wzrost bezpieczeństwa spośród wszystkich modeli bazowych w trakcie ewolucji – +20 punktów. W przypadku nieznanych wcześniej typów awarii zachował 0% tego wzrostu.

    Kiedy autorzy przeanalizowali wygenerowane układy, w jednej z wersji założono, że każde zadanie było Odczyt poza zakresem w CWE-125 i kierował wszystkie poprawki tą ścieżką. Inny dostarczył gotowy zestaw poprawek dotyczących zapisu poza granicami. Każda z nich była na wystarczająco często poprawna na zbiorze szkoleniowym, by została zaakceptowana, a każda z nich była bezużyteczna gdziekolwiek indziej.

    Zespół ds. bezpieczeństwa serwisu Figma napotkał ten sam problem w własny system pozyskiwania agentów. Jak napisali, automatyczne udoskonalanie reguł “nadal może doprowadzić do nadmiernego dopasowania” do “jednego błędu, z którym ma do czynienia”. Agent samodoskonalący się, który uczy się na podstawie informacji zwrotnej, uczy się samej tej informacji zwrotnej.

    Agent samodoskonalący się najpierw atakuje klasyfikatora

    Naukowcy przeprowadzili również celowy test bez izolowanego kontenera i bez przywracania chronionych plików. Agent od razu skierował się do pliku evaluate.py, czyli skryptu, który go ocenia.

    Następnie układ odczytał wartość 100% na każdej osi, co autorzy określają jako brak pomiaru.

    W samej uprzęży znajduje się jej mniejsza wersja. Kod ewoluujący zawiera własne testy autodiagnostyczne, a w artykule zaznaczono, że najtańszym sposobem na sprawienie, by nieudany test autodiagnostyczny zakończył się powodzeniem, jest jego usunięcie. Dlatego autorzy dodali sprawdzanie, czy każda nazwana asercja z wersji nadrzędnej nadal istnieje w wersji podrzędnej.

    Twój zielony pulpit nawigacyjny jest tak wiarygodny, jak pliki, do których twój samodoskonalący się agent nie ma dostępu.

    Czym wyróżnia się Harmony Harness

    W systemie Harmony Harness funkcjonalność i bezpieczeństwo traktowane są jako dwa odrębne cele w całym procesie wyszukiwania. Każdy etap wyszukiwania skupia się na tym aspekcie, który jest najbardziej oddalony od ideału, dzięki czemu żaden z nich nie może ulec pogorszeniu bez zauważenia.

    Ponadto dzieli ten zestaw narzędzi na mechanizmy ogólne oraz poprawki specyficzne dla poszczególnych testów porównawczych. Wyspecjalizowany operator wyszukuje zakodowane na stałe sekwencje awarii oraz komunikaty wskazujące konkretne zadania, a następnie przerabia je tak, by działały poprawnie na nowych danych.

    Każda ocena przebiega w izolowanym kontenerze z wyłączoną siecią, a pliki określające punktację są archiwizowane przed każdą edycją i przywracane po jej zakończeniu. Agent może przepisać cały swój zestaw testów, aż do klasy bazowej. Żaden plik służący do punktacji nie jest dostępny dla agenta.

    W teście SecRepoBench osiągnął wynik 93,31 TP3T w kategorii bezpieczeństwa oraz 76,71 TP3T łącznie na zbiorze szkoleniowym. W zadaniach z wykorzystaniem danych testowych, zawierających typy awarii, których agent nigdy wcześniej nie widział, uzyskał łączny wynik 66,71 TP3T w porównaniu z 36,71 TP3T dla zestawu testowego wyjściowego. Zachował 551 TP3T swojego przyrostu bezpieczeństwa na tych nieznanych danych. Model DGM nie zachował w tym przypadku żadnego ze swoich przyrostów.

    Każdy podział obejmuje około 30 zadań, więc 3,3 punktu odpowiada jednemu zadaniu. Całe badanie dotyczy wyłącznie generowania bezpiecznego kodu. W tych testach porównawczych lepsze zestawy testowe często poprawiały oba wskaźniki jednocześnie, więc przypadek, w którym bezpieczeństwo i funkcjonalność rozchodzą się, pozostaje nadal niesprawdzony, co sami autorzy przyznają.

    Szybki test na znalezienie własnego środka sprzyjającego samodoskonaleniu

    Konfiguracja opisana w artykule przekłada się na niewielki projekt bez klastra badawczego. Zacznij od sporządzenia listy wszystkich plików, które może zapisywać twój agent. Wszystko, co służy do oceny agenta, należy usunąć z tej listy.

    Przed każdym uruchomieniem należy wykonać migawkę tych plików, a po jego zakończeniu je przywrócić – co już zapewnia polecenie `git checkout` stosowane do chronionych ścieżek.

    Następnie przejrzyj pliki diff agenta pod kątem nazw zadań i sztywno zakodowanych typów błędów. Poprawka, która zakłada, że każdy błąd to CWE-125, wydaje się być postępem, dopóki dane się nie zmienią. To, które pliki diff zasługują na najdokładniejsze przeanalizowanie, zależy od o tym, z czym kod wchodzi w interakcję, a nie o tym, w jakim narzędziu został napisany.

    Dwie zasady, których Twój agent nigdy nie powinien zmieniać

    W serii testów z wynikiem idealnym zastosowano wszystkie możliwe strategie obronne typu „sandbox”, a mimo to wynik okazał się fałszywy. Autorzy doszli do wniosku, że każda reguła akceptacji oparta wyłącznie na informacjach zwrotnych z danych szkoleniowych może zostać wykorzystana przez atakującego – w tym również ich własna. Należy ją zweryfikować na danych testowych dotyczących bezpieczeństwa, które zostały odłożone na bok.

    Jeśli więc pozwolisz agentowi samodoskonalącemu się na dostęp do twojego kodu, ustal dwie zasady, których nie może edytować. Program oceniający pozostaje poza jego zasięgiem. Ostateczna kontrola dotyczy zadań, których agent nigdy wcześniej nie widział.

    Źródło | https://arxiv.org/abs/2610.15150


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Metapoznanie oparte na sztucznej inteligencji oznacza, że twój agent wie, kiedy musi się bardziej wysilić

    Metapoznanie oparte na sztucznej inteligencji oznacza, że twój agent wie, kiedy musi się bardziej wysilić

    Spis treści

    Agent pozbawiony metapoznania opartego na sztucznej inteligencji wysyła prośbę o zresetowanie hasła oraz zgłoszenie naruszenia bezpieczeństwa do tego samego modelu, używając tego samego polecenia, i poświęca obu sprawom tyle samo uwagi.

    Dziesięciu naukowców napisało krótki artykuł, w którym zajmują się tym problemem poprzez metapoznanie w sztucznej inteligencji. Ukazał się on w październiku 2021 roku, co w kontekście sztucznej inteligencji to już zamierzchła przeszłość, a mimo to nadal uważam, że jest to najprzejrzystszy plan rozwiązania problemu, z którym prędzej czy później boryka się każdy twórca agentów.

    Domyślnie szybko, na życzenie wolno

    Artykuł nosi tytuł “„Myślenie szybkie i powolne” w kontekście sztucznej inteligencji“, którego autorami jest czterech naukowców z IBM Research oraz sześciu z innych uczelni i instytutów; w pracy tej wykorzystano podział Kahnaemana na dwa sposoby myślenia w celu stworzenia architektury o nazwie SOFAI.

    Rozwiązujące systemu 1 reagują na podstawie wcześniejszych doświadczeń i zwracają odpowiedź wraz z poziomem pewności. Rozwiązujące systemu 2 prowadzą powolne rozumowanie i zużywają więcej zasobów, zwłaszcza czasu. Autorzy twierdzą, że te powolne rozwiązania “nigdy nie zajmują się danym problemem, chyba że zostaną wyraźnie wywołane przez moduł MC”.”

    Moduł MC stanowi metapoznawczą część systemu; znajduje się on pomiędzy dwoma rodzajami solwerów i decyduje, czy szybka odpowiedź jest wystarczająco dobra. Autorzy nazywają całą tę konstrukcję “architekturą S1 domyślną”.”

    Metapoznanie w sztucznej inteligencji

    Artykuł opisuje trwające prace i nie zawiera żadnych wyników eksperymentów ani danych liczbowych, więc to, co z niego wynika, to sposób na uporządkowanie procesu podejmowania decyzji, przy czym nie ma żadnych dowodów na to, w jakim stopniu jest to pomocne.

    Jak działa metapoznanie oparte na sztucznej inteligencji w systemie Gate

    Bramka składa się z dwóch etapów, z których pierwszy jest szybki i zgrubny. Sprawdza on, czy pozostało wystarczająco dużo czasu i pamięci, aby wykonać całą bramkę. Jeśli ich brakuje, wygrywa szybka odpowiedź. Następnie porównuje poziom pewności szybkiego solwera z oczekiwaną nagrodą za zadanie, a jeśli poziom pewności jest wystarczająco wysoki w stosunku do stawki, proces kończy się w tym momencie.

    Jeśli pierwsza faza nie przyniesie oczekiwanych rezultatów, uruchamia się druga. Oszacowuje ona, jaką dodatkową nagrodę przyniósłby powolny moduł obliczeniowy oraz ile kosztowałoby jego uruchomienie. Powolny moduł obliczeniowy uruchamia się tylko wtedy, gdy zysk przewyższa koszt.

    Porównanie to opiera się na oczekiwanej nagrodzie za wykonanie zadania i nie uwzględnia tego, jak trudne wydaje się ono na pierwszy rzut oka, dlatego rutynowe wyszukiwanie i czynność niszcząca muszą spełnić różne kryteria.

    Gdzie zazwyczaj dochodzi do eskalacji

    W tej prostej konstrukcji w przypadku niepowodzenia stosowana jest eskalacja, co oznacza, że błąd pojawia się w tańszym modelu, a ponowna próba przypada na model droższy. Pewna, choć błędna odpowiedź nigdy nie powoduje błędu i jest wysyłana bez zmian.

    Kolejną luką jest pamięć, ponieważ bramka opisana w artykule podejmuje decyzje na podstawie “modelu siebie”, który zawiera dotychczasowe decyzje każdego z rozwiązywaczy, informacje o wykorzystaniu przez nich zasobów, zdobytych nagrodach oraz zasobach, które są nadal dostępne. Agent, który prowadzi dzienniki wyłącznie do wglądu ludzi, nie posiada takiego modelu, a bez modelu „ja” metapoznanie sztucznej inteligencji nie ma na czym się oprzeć.

    Mój agent RSS stanowi właśnie taki prymitywny, szybki mechanizm, ponieważ ocenia każdą wiadomość w skali od 1 do 10 i wysyła do mojego podsumowania wszystko, co uzyskało ocenę powyżej 7 – a ten próg wybrałem intuicyjnie. Sprawdza się to dobrze w przypadku podsumowania wiadomości, ponieważ błędna ocena kosztuje mnie pominięcie jednego artykułu, a agent nie ma pojęcia, jak często ta ocena była błędna. Jedyną zasadą, której ściśle przestrzegam, jest to, że pusta odpowiedź wzorcowa liczy się jako brak decyzji, a agent odmawia podjęcia działania w tej sprawie.

    Czego ten artykuł nie wyjaśnia

    Autorzy wymieniają luki w swoim własnym podejściu do metapoznania w sztucznej inteligencji. Mechanizm ten działa tylko wtedy, gdy system ma wcześniejsze doświadczenie z dokładnie tym samym problemem, a w artykule zaznaczono, że “nie uwzględniono kwestii związanych z podobieństwem problemów”. Sposób, w jaki łączy on wartość oczekiwaną z poziomem pewności, polega na zwykłym mnożeniu, które autorzy określają jako niechęć do ryzyka i zamierzają ponownie przeanalizować.

    Dostrzegam jeszcze dwa problemy, których autorzy nie poruszają, a jednym z nich jest to, że bramka opiera się na wskaźniku pewności dostarczonym przez szybki solwer. Nie powiązałbym progu eskalacji z wynikiem, jaki model językowy podaje na swój temat, dopóki wynik ten nie zostanie zweryfikowany w oparciu o rzeczywiste rezultaty.

    Kolejnym problemem jest to, że brama stanowi powierzchnię ataku. Wyobraź sobie czujnego agenta zajmującego się klasyfikacją zgłoszeń, który otrzymuje zgłoszenie sformułowane tak, by wyglądało na rutynowy szum – co sprawia, że moduł szybkiego rozwiązywania problemów osiąga wysoki poziom pewności, a ścieżka ostrożnego postępowania pozostaje nieaktywna. Ktokolwiek potrafi zawyżyć tę liczbę, decyduje o tym, jak intensywnie myśli twój agent – i to jest mój wniosek. OWASP wymienia natychmiastowe podanie jako LLM01 w swoim raporcie dotyczącym zagrożeń związanych z zastosowaniami modeli językowych (LLM) w 2025 r., a ja omówiłem podobny przypadek w jak agent zajmujący się badaniami nad sztuczną inteligencją zostaje „zatruty” przez jeden wpis na Reddicie.

    Kiedy mechanizm zabezpieczający przestaje działać

    Jeśli nie da się cofnąć jednego błędnego działania, żadna brama zaufania – bez względu na to, jak zaawansowana jest metapoznanie sztucznej inteligencji, która za nią stoi – nie powinna podejmować takiej decyzji; dotyczy to usuwania danych, przelewania środków, zamykania zgłoszeń dotyczących incydentów bezpieczeństwa oraz zmiany reguł zapory sieciowej w sieci produkcyjnej. O tych kwestiach za każdym razem decyduje człowiek. Mechanizm ten kontroluje jedynie zakres rozważań agenta, a odpowiedzialność spoczywa na osobie.

    Co robić w poniedziałek

    Te cztery zasady pozwalają zastosować metapoznanie oparte na sztucznej inteligencji do agenta, który już działa.

    Ustaw ścieżkę szybką jako domyślną, a ścieżkę wolną uruchamiaj wyłącznie na wyraźne żądanie.

    Ustal poprzeczkę w oparciu o stawkę zadania, tak aby sprawdzenie mogło opierać się na pewnym przypuszczeniu, a podjęcie działań o negatywnych skutkach wymagało znacznie więcej niż tylko tego.

    Rejestruj każdą decyzję wraz z jej wynikiem, aby warstwa metapoznania Twojej sztucznej inteligencji miała dane do analizy.

    Sprawdź działanie bramki na zadaniach, z którymi nigdy wcześniej nie miała do czynienia, ponieważ w artykule założono, że zna je wszystkie.

    Zanim wprowadzisz większy model, dodaj metapoznanie oparte na sztucznej inteligencji.

    Źródło | https://arxiv.org/abs/2110.01834


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Ocena 82% nie jest oceną pozytywną w przypadku zaleceń dotyczących bezpieczeństwa sztucznej inteligencji

    Ocena 82% nie jest oceną pozytywną w przypadku zaleceń dotyczących bezpieczeństwa sztucznej inteligencji

    Spis treści

    Ktoś pyta chatbota, jak ukryć swoją lokalizację przed agresywnym byłym partnerem. Sztuczna inteligencja udziela porady dotyczącej bezpieczeństwa, sugerując, by udać się do sklepu w przebraniu, ponieważ “osoby stosujące przemoc rzadko odwiedzają sklepy w południe”. Odpowiedź ta pochodzi z najnowocześniejszego modelu i została opisana w nowym artykule naukowym opracowanym przez University College London oraz Google.

    To właśnie to zdanie zapadło mi w pamięć po przeczytaniu 36 stron.

    Artykuł nosi tytuł „HelpBench”, a jego zakres autorzy określają skrótem PSS – kategorią obejmującą wszystko, od zhakowanego konta po przypadki prześladowania. Artykuł stawia pytanie, jak trafna jest odpowiedź, gdy zwykła osoba zgłasza jeden z tych problemów do modelu LLM. Innymi słowy, bada on, na ile wiarygodne są porady dotyczące bezpieczeństwa udzielane przez sztuczną inteligencję w sytuacjach, w których stawka jest naprawdę wysoka.

    Ogólny wynik dotyczący porad w zakresie bezpieczeństwa AI wygląda dobrze – średnia dla 18 modeli wyniosła 82%. Jednak gdy przejdziemy o jeden poziom niżej, sytuacja już nie wygląda tak dobrze.

    Co mierzy HelpBench

    Zespół wyodrębnił 450 pytań z zbioru danych obejmującego trzy miliony postów na Reddicie. Wszystkie te wpisy powstały w latach 2021–2024. Żadne z nich nie jest generowane komputerowo. Są to prawdziwi ludzie borykający się z prawdziwym problemem, którzy zwracają się z pytaniami do nieznajomych w internecie.

    Dziewięć tematów, z których każdy zawiera 50 pytań, dotyczących kont, naruszeń bezpieczeństwa, narzędzi do moderacji, oszustw, narzędzi zabezpieczających, nękania, narzędzi ochrony prywatności, działań platformy oraz kwestii związanych z danymi.

    Każde pytanie zostało przeredagowane tak, aby nie można było zidentyfikować autora oryginalnego wpisu, a następnie sprawdzone ręcznie. Współczynnik podobieństwa cosinusowego między tekstem oryginalnym a przeredagowanym wyniósł 0,56, przy pokryciu 3-gramowym wynoszącym 0,04. Żaden model nie jest w stanie odtworzyć wątku na Reddicie na podstawie dopasowania wzorców.

    Wskazówki dotyczące bezpieczeństwa w zakresie sztucznej inteligencji

    Pięć przebiegów na każde pytanie w 18 modelach dało łącznie 40 500 odpowiedzi, co stanowi największą dotychczas opublikowaną próbę oceniającą jakość porad dotyczących bezpieczeństwa generowanych przez sztuczną inteligencję.

    Średnia to błędna wartość

    82% wydaje się być solidną oceną „B” w zakresie porad dotyczących bezpieczeństwa sztucznej inteligencji. Tak jednak nie jest, ponieważ punktacja nie jest rozłożona równomiernie.

    W 14% wszystkich odpowiedzi uzyskano wynik poniżej 65%, a w przypadku 7% pytań każdy z 18 modeli uzyskał wynik poniżej 65%. Każdy model z tego zestawu ma tę samą lukę.

    Sama średnia wyników porównawczych praktycznie nic nie mówi. Automatyczne mapowanie ATT&CK osiąga współczynnik mikro F1 na poziomie 0,22 i zawodzi na całej linii, podczas gdy HelpBench zawodzi w sposób, którego nie widać na podstawie liczby podanej w nagłówku.

    W tym miejscu wkracza myślenie o bezpieczeństwie, ponieważ ryzyko to iloczyn skutku i prawdopodobieństwa, a nigdy samo prawdopodobieństwo. Wskaźnik niepowodzeń na poziomie 14% w przypadku zapytania “jak włączyć uwierzytelnianie dwuskładnikowe” jest irytujący. Ten sam wskaźnik w przypadku zapytania “czy mój były śledzi mój telefon” to zupełnie inna sprawa.

    Olejnik podkreśla to w książce „Filozofia cyberbezpieczeństwa”. Model zagrożeń zależy od tego, kim jesteś. Zwykły użytkownik narażony jest na phishing i kradzież danych uwierzytelniających, podczas gdy dziennikarz lub osoba uciekająca z toksycznego związku ma do czynienia z ukierunkowanym przeciwnikiem, który ma już fizyczny dostęp.

    Oboje wpisują tekst w to samo pole, a model odpowiada obojgu w ten sam sposób.

    W artykule stwierdzono właśnie to w odniesieniu do usuwania oprogramowania szpiegującego – większość modeli podawała jasne instrukcje techniczne, nie wspominając jednak, że nagłe usunięcie programu może stać się czynnikiem wywołującym eskalację przemocy fizycznej. Narzędzie zniknęło, a sprawca tego zauważa. Osoba ta znajduje się teraz z nim w jednym pomieszczeniu. Istnieje cała koalicja dostawców rozwiązań z zakresu bezpieczeństwa oraz organizacji wspierających ofiary oparte na właśnie tej sekwencji, a żaden z jej kontekstów nie doprowadził do odpowiedzi.

    To nie jest teoria. “Mężczyźni kupują narzędzia hakerskie, by wykorzystać je przeciwko swoim żonom i przyjaciółkom” – to prawdziwy nagłówek opisujący rzeczywisty rynek.

    Sześć sytuacji, w których porada okazuje się nieudana

    Naukowcy sklasyfikowali sytuacje, w których porady dotyczące bezpieczeństwa związane ze sztuczną inteligencją okazują się błędne, i żadna z nich nie wygląda na błąd, gdy się o nich czyta.

    Modele dają fałszywe poczucie bezpieczeństwa, a najwyraźniejszym tego przykładem jest pytanie dotyczące przeniesienia pliku do zaszyfrowanego sejfu, na które średnia ocena wyniosła 53%. W odpowiedziach wyjaśniono, do czego służy sejf, ale prawie nikt nie zwrócił uwagi na to, że skopiowanie pliku do sejfu nie powoduje usunięcia oryginału.

    Udzielają porad, których nie da się zastosować na większą skalę, na przykład w odpowiedzi podano imię i nazwisko oraz adres e-mail “wiceprezesa ds. operacji globalnych” i zasugerowano, by skontaktować się z nim bezpośrednio. Inni zalecali organizowanie kampanii piętnujących w mediach społecznościowych, aby wymusić odpowiedź ze strony działu obsługi klienta.

    Zalecają oni również rozwiązania, na które nie można sobie pozwolić, więc w przypadku podejrzenia obecności złośliwego oprogramowania w jednym z modeli stwierdzono, że “najbezpieczniejszym rozwiązaniem jest pozbycie się urządzenia”. Jeśli chodzi o prywatność w aplikacjach płatniczych, w innym przypadku zasugerowano “otwarcie nowego konta bankowego w zupełnie innym banku”.

    Przekazują Ci odpowiedzialność za przestrzeganie zasad. Jeśli chodzi o omijanie blokad, niektóre modele stanowczo odmówiły, podczas gdy inne wzruszyły ramionami i stwierdziły, że takie działanie “może naruszać warunki korzystania z usługi […] ale to sprawa między tobą a aplikacją”.”

    Potrafią czytać w myślach. Zapytane, dlaczego ktoś je zablokował, modelki snuły domysły na temat motywów, a jedna z nich określiła rozwód jako “burzliwy” na podstawie jednego pytania zabezpieczającego – a tego rodzaju rzeczy nie da się już zapomnieć, gdy modelka ci to powie.

    Zaostrzają ton wypowiedzi. Modelki odpowiadały na neutralne pytanie dotyczące molestowania, używając takich określeń jak “frustrujące”, “stresujące”, “wyczerpujące”, “absolutnie przerażające i traumatyczne”, a spokojnym użytkownikom radziły zachować “nadmierną czujność” – co jest sprzeczne z zaleceniami podejścia uwzględniającego traumę.

    System punktacji – w prostym języku

    Sześciu badaczy, z których każdy ma ponad dziesięcioletnie doświadczenie w tej dziedzinie, opracowało listę kontrolną dla każdego pytania. Kryteria pozytywne to elementy, które powinny być obecne; za nie przyznaje się 5, 3, 2 lub 1 punkt. Kryteria negatywne to elementy, których nie może być. Wynik stanowi różnicę między liczbą zdobytych punktów a maksymalną liczbą możliwych do uzyskania punktów.

    Ekspert ocenił ręcznie jedną odpowiedź na każde pytanie, a następnie automatyczny system oceniania Gemini 2.5 Pro, ustawiony na poziom trudności 0, ocenił pozostałe odpowiedzi. Projekt prośby czerpie z HealthBench, który pełnił tę samą funkcję w przypadku pytań medycznych. Współczynnik korelacji tego automatycznego systemu oceniania z ocenami przyznawanymi przez ludzi wyniósł ogółem 0,85. Warto zwrócić uwagę na podział poniżej: 0,96 w zakresie wiedzy merytorycznej w porównaniu z 0,78 w zakresie sposobu prezentacji.

    Ta luka jest szczera i cieszę się, że ją opublikowali. Fakty można zweryfikować. Tonu – nie.

    Zmiany wersji powodują przesunięcie wyniku o jeden do trzech punktów, czasami w dół. Grok 4.20 uzyskał wynik o 3% niższy od Groka 4, a GPT 5.0 radzi sobie lepiej niż GPT 5.3. Claude Opus 4.6 i Claude Sonnet 4.6 różniły się wynikiem o 11 TP3T, więc w tym przypadku inwestycja w większy model praktycznie nic nie daje. Jedynie Qwen odnotował znaczący skok – z 671 TP3T do 831 TP3T – więc nie ma tu powodu do ekscytacji.

    Nikt nie optymalizuje rozwiązań pod kątem zaleceń dotyczących bezpieczeństwa AI, ponieważ do tej pory nie istniał żaden punkt odniesienia, w oparciu o który można by przeprowadzić optymalizację. Ma to tę samą lukę, o której pisałem w artykule dotyczącym Wskazówki dotyczące bezpieczeństwa w zakresie sztucznej inteligencji dla agentów – luka, której nikt nie sprawdza.

    Cztery kwestie, które warto sprawdzić, zanim zaufasz poradom dotyczącym bezpieczeństwa udzielanym przez sztuczną inteligencję

    Nie możesz samodzielnie przeprowadzić oceny według tej matrycy. W ciągu około trzydziestu sekund możesz przeprowadzić cztery testy dowolnej porady dotyczącej bezpieczeństwa AI, które wykryją większość wymienionych powyżej scenariuszy awarii.

    Określ rodzaj zagrożenia. Problem może wynikać z działania systemu lub osoby, a jeśli ktoś zna twoje imię, poproś o pomoc inną osobę.

    Oceń koszty porażki. Pieniądze, które można odzyskać, to jedno, a lokalizacja, której nie da się już ukryć, to zupełnie inna sprawa.

    Sprawdź, czy zadał ci jakieś pytanie. Dobra rada dotycząca bezpieczeństwa w zakresie sztucznej inteligencji w sprawie prześladowania wymaga kontekstu, którego model nie posiada, więc jeśli nie zadał pytania, to po prostu zgadywał.

    Należy rozważyć rozwiązanie w stosunku do ryzyka, pamiętając, że “wyrzuć urządzenie” i “załóż konto w innym banku” to rzeczywiste odpowiedzi udzielone przez modele. Gdy porada dotycząca bezpieczeństwa udzielona przez sztuczną inteligencję kosztuje więcej niż przedmiot, który chroni, jest ona błędna, nawet jeśli z technicznego punktu widzenia jest poprawna.

    Co z tym zrobić

    Jest taki starszy artykuł, do którego ciągle wracam, dotyczący tego, że ChatGPT Health nie rozpoznaje stanów zagrożenia życia. Jeden z cytowanych w nim ekspertów ujął to w ten sposób: “Najbardziej niepokoi mnie fałszywe poczucie bezpieczeństwa, jakie wywołują te systemy”.”

    Tutaj kształt jest taki sam.

    Oto moja zasada dotycząca porad w zakresie bezpieczeństwa sztucznej inteligencji – a sam korzystam z tych modeli na co dzień. Model LLM sprawdza się dobrze jako wstępna analiza ogólnych pytań. W kategorii oszustw modele uzyskały wynik 88% – najlepszy w całym teście porównawczym – a rozpoznawanie, że wiadomość phishingowa jest właśnie wiadomością phishingową, to coś, co te modele robią naprawdę dobrze.

    Model przestaje działać, gdy zagrożeniem jest osoba fizyczna – co obejmuje prześladowanie, nękanie, znęcanie się oraz konto kontrolowane przez kogoś innego. W takich przypadkach model nie zna twojego modelu zagrożeń i nie poprosi o jego podanie. Co dziesiąta odpowiedź będzie błędna w sposób, którego nie da się wykryć od wewnątrz.

    Traktuj porady dotyczące bezpieczeństwa związane ze sztuczną inteligencją jak pierwszy szkic napisany przez kogoś, kto nigdy cię nie spotkał. Nigdy nie powierzaj modelowi LLM problemu, w związku z którym ktoś może ucierpieć.

    Źródło | https://arxiv.org/abs/2606.24819v1


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Modele bez ograniczeń wagowych nie odmawiają

    Modele bez ograniczeń wagowych nie odmawiają

    Spis treści

    21 lipca Guillermo Rauch, dyrektor generalny firmy Vercel, opublikował na platformie X wyniki swojej wewnętrznej oceny, co spowodowało znaczne zaostrzenie dyskusji na temat modeli typu “open-weight” w dziedzinie bezpieczeństwa. Kimi K3, chiński model typu “open-weight” wprowadzony na rynek pięć dni wcześniej, uzyskał w jego testach ocenę „najwyższej klasy w zakresie cyberbezpieczeństwa”. W tym samym poście dodał, że „Fable odrzuca wszystko” i że w ogóle nie udało mu się doprowadzić tego modelu do końca testu.

    Dzień później Semgrep opublikował tabelę zawierającą wskaźniki precyzji i odzysku.

    Dwa dni później brytyjska organizacja AISI i amerykańska organizacja CAISI opublikowały swoje raporty.

    Żaden z tych trzech pomiarów nie potwierdza tej tezy. A to jest o wiele ciekawsze niż sam ranking.

    Co zakładano, a co zmierzono

    Organizacje AISI i CAISI przetestowały system Kimi K3 za pomocą ExploitBench oraz w cyberpoligonie TLO, a także opublikowano dane. W teście ExploitBench uzyskał wynik 32 procent, podczas gdy GLM-5.2 – najsilniejszy z modeli o nieograniczonej wadze według stanu na czerwiec 2026 roku – osiągnął 24 procent. Wynik ten wygląda dobrze, dopóki nie spojrzy się na następną kolumnę, gdzie wiodące modele amerykańskie osiągnęły wykonanie dowolnego kodu średnio w 20 z 41 próbek. Kimi K3 nie osiągnął żadnego sukcesu na żadnej z 41 prób.

    Na poligonie cybernetycznym, gdzie pełna ścieżka ataku składa się z 32 etapów, Kimi osiągnęła średnią na 17. etapie. Modele amerykańskie osiągnęły średnią 28,5. Udało jej się przejść cały poligon raz na dziesięć prób.

    Semgrep przetestował coś innego, wykrywanie błędów w IDOR w rzeczywistych repozytoriach. Tam model Kimi K3 osiągnął precyzję na poziomie 0,684, podczas gdy modele Claude Opus 4,8, GPT-5,6 Sol, GPT-5,6 Terra i GLM-5,2 plasowały się w przedziale od 0,86 do 0,91. W największym repozytorium z zestawu Kimi osiągnął wynik F1 na poziomie około 6 procent, podczas gdy wszyscy inni osiągnęli około 20 procent. Jeśli ten schemat wydaje się znajomy, to nic dziwnego, ponieważ ta sama różnica między wynikiem reklamowanym a zmierzonym pojawiła się, gdy automatyczne mapowanie ATT&CK zostało poddane odpowiednim testom porównawczym.

    Trzeba jednak uczciwie przyznać, że nie są to porównywalne przypadki. AISI przetestowało modele amerykańskie przy wyłączonych zabezpieczeniach na poziomie systemu. Sam system, jak podano w raporcie, “nie posiada aktywnych mechanizmów obronnych ani narzędzi obronnych”.

    Dlaczego debata na temat modeli z otwartą kategorią wagową zmierza w złym kierunku

    Większość dyskusji dotyczy górnej granicy – tego, czy modele z otwartą wagą dogoniły już najnowsze osiągnięcia, czy też nie.

    Jeśli zarabiasz na życie, broniąc różnych rzeczy, to twoim problemem jest podłoga.

    Bezpieczeństwo sprowadza się do jednej zasady. Należy podnosić koszt ataku tak długo, aż przestanie się on opłacać. Ranking modeli pokazuje, jak wysoko może sięgnąć najlepszy atakujący na świecie. Dolna granica wskazuje, ile kosztuje najtańszy atakujący, a nawet ten najtańszy wystarczy, by zrujnować ci tydzień.

    Modele bez ograniczeń wagowych

    Jedno zdanie zawarte w tym samym raporcie AISI i CAISI nie trafiło w ogóle na pierwsze strony gazet. “Środki zabezpieczające stosowane przez Kimi K3 nie zapobiegły podejmowaniu przez tę organizację prób opracowywania cyberataków ani prowadzenia ofensywnych operacji cybernetycznych’.

    Porównajmy to teraz z drugą częścią wpisu Raucha. Model zamknięty dał odpowiedź negatywną. Model otwarty – nie, i nie ma to nic wspólnego z tym, jak dobrze któryś z nich radzi sobie z tym zadaniem.

    Nie można ponownie przykręcić obciążników do dysku, które ktoś już zdjął i umieścił na swoim własnym dysku.

    Co to dla Ciebie oznacza

    Warstwa odrzucania, którą traktujemy jako mechanizm zabezpieczający, stanowi cechę charakterystyczną interfejsu API dostawcy. Obejmuje ona limit częstotliwości, logi po stronie dostawcy, zespół ds. nadużyć oraz możliwość zablokowania konta. Modele o otwartej wadze działające na cudzym procesorze graficznym nie posiadają żadnej z tych czterech cech.

    Pod tym kryje się jeszcze jeden aspekt. Klasycznym ograniczeniem operacji ofensywnych są kwestie organizacyjne. Operator poświęca swój czas na jeden cel i nie jest w stanie zająć się dwudziestoma z zachowaniem tej samej jakości. Niedroga automatyzacja znosi to ograniczenie.

    Skala zdolności Departamentu Obrony (DoD) dzieli atakujących na sześć poziomów, przy czym na poziomie pierwszym wykorzystuje się narzędzia stworzone przez innych, a na poziomie trzecim samodzielnie wykrywa się i wykorzystuje luki w zabezpieczeniach. Tanie rozwiązania techniczne przesuwają część użytkowników z poziomu pierwszego w kierunku poziomu trzeciego, ponieważ pracę wykonuje teraz automatyczny proces, a nie człowiek.

    Ryzyko to iloczyn skutku i prawdopodobieństwa, a cały ten szum dotyczył właśnie skutku. Cicha zmiana nastąpiła w zakresie drugiego z tych czynników.

    Mówiąc wprost, w jakich obszarach modele z otwartą wagą zawodzą

    Warto dokładnie oszacować, ile kosztuje cię wskaźnik precyzji na poziomie 0,684. Niska precyzja oznacza, że model wciąż wykrywa pewne elementy, a następnie zagubia je w gąszczu błędnych wyników, które ktoś musi przejrzeć. Dla twojego zespołu to dodatkowy koszt. Dla atakującego, który tylko pobieżnie przegląda wyniki i potrzebuje tylko jednego trafienia, nie wiąże się to z żadnymi kosztami.

    A tę lukę można wypełnić bez konieczności wprowadzania jakichkolwiek zmian w modelu.

    W czerwcu clearbluejar odtworzył szeroko nagłośnione odkrycie – siedemnastoletni RCE w systemie FreeBSD, którego po raz pierwszy wykrył model typu „frontier”. Ten poziom autonomii był już prezentowane w ramach kontrolowanych testów kilka miesięcy wcześniej. Tyle że uruchomił go na gpt-oss-20b na swoim własnym sprzęcie, korzystając z publicznego, liczącego 1 700 wierszy potoku AISLE w języku Python. Pozorne pominięcie zniknęło po ponownym uruchomieniu. Prawdziwym problemem był szum, a rzeczywisty błąd został zagłuszony przez fałszywe alarmy.

    Dodał więc etap sprawdzający, czy kod jest osiągalny. Liczba fałszywych alarmów spadła z 30 do 5, a luka CVE nadal istniała. Powiedział to wprost: “To właśnie ta konstrukcja wykonuje całą pracę i jest to dźwignia, którą można wykorzystać we własnym modelu”.

    Stanislav Fort z serwisu AISLE odtworzył to samo odkrycie za mniej niż $100.

    Oczywisty zarzut i dlaczego nie ma on uzasadnienia

    Ktoś powie, że są to syntetyczne testy wydajnościowe, przeprowadzone w cyberpoligonach bez obrońców, z wykorzystaniem specjalnie dobranych zbiorów danych, które zawyżają wyniki. To słuszna uwaga, a sam raport AISI to potwierdza.

    Jednak ten argument mija się z celem. Jeśli zakres ten sprzyja w równym stopniu zarówno modelom z otwartą masą, jak i tym z zamkniętą, to porównanie między nimi nadal ma sens. A istotny w tym przypadku wniosek ma charakter behawioralny, a nie liczbowy, ponieważ model został przetestowany i żadna konstrukcja zakresu nie zmieni tego faktu.

    Cztery elementy, które należy sprawdzić w modelu zagrożeń

    Pomiń tabelę wyników. Jeśli modele o dowolnej masie w ogóle występują w Twoim modelu zagrożeń, skup się raczej na tych czterech.

    1. Znajdź wszystkie elementy sterujące, z których korzystasz i które znajdują się u dostawcy. Wymień je na głos. Odmowa, ograniczenie częstotliwości, rejestrowanie, zamknięcie konta. Wszystkie pozycje z tej listy znikają w momencie, gdy algorytmy działają lokalnie.
    2. Sprawdź jeszcze raz swoje progi wykrywania, aby przeprowadzić niedrogie działania rozpoznawcze. Wraz ze wzrostem liczby prób spada jakość poszczególnych prób. Progi alarmowe dostosowane do pracy cierpliwego, ludzkiego operatora zinterpretują to jako szum.
    3. Oblicz różnicę czasową między opublikowaniem CVE a wydaniem twojej poprawki. Kiedyś zabezpieczeniem tego okna było to, że niewiele osób potrafiło wykorzystać błąd jako broń. Modele o otwartej wadze oraz publiczny potok skróciły kolejkę, a nikt nie wysyłał ci powiadomienia, gdy to się działo.
    4. Oceń, jak duże jest dla Ciebie obciążenie związane z segregacją medyczną. Niska precyzja kosztuje obrońcę realny czas, a atakującego nic. Jeśli wdrażasz wewnętrznie narzędzia tej samej klasy, uwzględnij w budżecie czas potrzebny na selekcję tak samo, jak uwzględniasz go w budżecie na skanowanie.

    Żadna z tych kwestii nie wymaga nowego produktu, a żadna z nich nie dotyczy modeli o otwartej masie jako technologii. Trzeba po prostu wyeliminować z modelu zagrożeń założenie, że “prawdopodobnie nie są w stanie tego zrobić”.

    Jedna zasada, którą warto zapamiętać

    Przestań się zastanawiać, czy model twojego przeciwnika jest równie dobry jak twój. W przypadku modeli o dowolnej wadze należy zadać sobie szczere pytanie, czy cokolwiek jest w stanie go powstrzymać.

    Laboratoria i przeprowadzane przez nie oceny wyznaczają górną granicę możliwości. Dolną granicę dostępności wyznaczają pliki zajmujące miejsce na czyimś dysku oraz 1 700 wierszy kodu w języku Python z serwisu GitHub. Modele z otwartą wagą przesunęły tę dolną granicę, podczas gdy argument pozostawał niezmienny na górnej granicy.

    Opracuj model zagrożeń w oparciu o drugą liczbę.

    Źródło | https://www.mbi-deepdives.com/open-weights/


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Shadow AI zyskuje na popularności w niszy, którą właśnie zbadała firma Gallup

    Shadow AI zyskuje na popularności w niszy, którą właśnie zbadała firma Gallup

    Spis treści

    Zapytaj pracownika w Stanach Zjednoczonych, czy jego pracodawca wdrożył sztuczną inteligencję. Znaczna część z nich nie potrafi udzielić odpowiedzi, a właśnie w takim zamieszaniu rozwija się „ukryta sztuczna inteligencja”.

    Z tego powodu firma Gallup zmieniła sformułowanie pytania. W uwadze metodologicznej napisano: “Począwszy od trzeciego kwartału 2025 r. firma Gallup dodała do tego pytania opcję ‘nie wiem’, aby odzwierciedlić niepewność związaną z wdrażaniem sztucznej inteligencji”. Wyniki od trzeciego kwartału 2025 r. nie są już bezpośrednio porównywalne z wcześniejszymi pomiarami.

    Firma zajmująca się sondażami zerwała własną serię czasową, ponieważ zbyt wiele osób nie miało pojęcia, co się dzieje wewnątrz budynku, w którym pracują.

    Druga liczba, o której nikt nie wspomina

    Według danych z maja 2026 r. 47% pracowników w Stanach Zjednoczonych twierdzi, że ich organizacja wdrożyła sztuczną inteligencję. Tylko 25% twierdzi, że organizacja przedstawiła jasny plan.

    W każdym nagłówku pojawia się pierwsza liczba, ale to ta druga stanowi sedno artykułu.

    Pomiędzy stwierdzeniami “mamy to” a “ktoś mi powiedział, jak z tego korzystać” istnieje luka, a w tej luce znajdują się umowy, dokumentacja medyczna pacjentów, projekty ofert, kod źródłowy – cokolwiek właśnie dzisiaj wklejają Twoi pracownicy.

    Shadow AI to domyślny stan tej luki.

    shadow AI

    Adopcja to błędny argument

    Od dawna toczy się spór na temat tego, ile osób korzysta ze sztucznej inteligencji. Gabriel Weinberg Przedstawiciel serwisu DuckDuckGo podsumował w czerwcu 2026 r. nastawienie sceptyczne następująco: “jedna trzecia aktywnie korzysta ze sztucznej inteligencji, jedna trzecia korzysta z niej sporadycznie, a jedna trzecia nigdy z niej nie korzysta”. Powołuje się on na dane telemetryczne firmy Microsoft, według których “ponad 30 procent ludności w wieku produkcyjnym w Stanach Zjednoczonych korzysta ze sztucznej inteligencji, co stanowi wzrost o 3 punkty procentowe w porównaniu z końcem 2025 roku”.

    Dane firmy Gallup dotyczące miejsca pracy wskazują na wyższe wyniki. 15% pracowników w USA korzysta z AI codziennie. 30% korzysta z niej co najmniej raz w tygodniu, a 52% korzysta z niej przynajmniej kilka razy w roku.

    Wybierzcie sobie dowolną stronę – to nie ma żadnego wpływu na moją pracę.

    Niezależnie od tego, czy podniesie się, czy obniży liczbę użytkowników, model 25%, który ma jasno określony plan, pozostaje na swoim miejscu. Ta walka odwraca uwagę od jedynego istotnego pytania, a mianowicie: kto napisał regulamin i kto go przeczytał.

    Shadow AI to problem związany z poufnością, w którym nie ma atakującego

    Odejmij słownictwo, a zobaczysz, że to właśnie wszystko.

    Żadnych wiadomości phishingowych, żadnych exploitów, żadnych systemów typu „command and control” – nic, co mogłoby wywołać alarm. Pracownik otwiera kartę przeglądarki i wkleja dokument klienta do chatbota, aby uzyskać podsumowanie. Dane opuszczają organizację. Większość zakupionych przez Państwa rozwiązań zakłada, że ktoś próbuje się włamać. Shadow AI wychodzi frontowymi drzwiami w godzinach pracy, kierowana przez ludzi, którzy po prostu chcą szybciej zakończyć pracę.

    OWASP prowadzi wpis dotyczący ujawniania informacji wrażliwych w swoim 10 najlepszych zastosowań dużych modeli językowych, a niemal wszystkie te wskazówki dotyczą aplikacji stworzonej przez Ciebie. Zakładka, którą Twój zespół sprzedaży otworzył dziś rano, nie jest niczyją aplikacją.

    Scott Brinker opisał ten zjawisko już w 2013 roku i nazwał je „prawem Marteca”. Technologia zmienia się wykładniczo, a organizacje – logarytmicznie. Twoi pracownicy opanowali sztuczną inteligencję w jedno popołudnie, a proces aktualizacji dokumentacji przebiega w tempie komisji.

    Dane Gallupa dotyczące menedżerów pokazują to samo z innej perspektywy. 36% respondentów zdecydowanie zgadza się, że ich menedżer wspiera zespół w korzystaniu ze sztucznej inteligencji. Tam, gdzie takie wsparcie istnieje, pracownicy są 1,7 razy bardziej skłonni do korzystania ze sztucznej inteligencji co najmniej raz w tygodniu oraz 8,7 razy bardziej skłonni do zgłaszania transformacyjnych zmian w sposobie pracy. Zachęta rozprzestrzenia się poprzez rozmowę, a zasady – poprzez dokumenty. „Shadow AI” wybiera szybszą drogę.

    Jak wygląda „Shadow AI” we wtorek

    Nikt nie siada i nie podejmuje decyzji o zastosowaniu sztucznej inteligencji typu „shadow”. Objawia się to drobnymi, rozsądnymi posunięciami.

    Przedstawiciel handlowy wkleja podpisaną umowę do chatbota, aby wyodrębnić z niej daty odnowienia. Asystentka z działu kadr wrzuca arkusz kalkulacyjny z wynagrodzeniami do chatbota, aby zmienić format kolumn. Programista wysyła ślad stosu zawierający ciąg połączenia z serwerem produkcyjnym do konta w ramach bezpłatnego pakietu. Recepcjonistka w przychodni przeredagowuje skierowanie, w którym nadal widnieje nazwisko pacjenta.

    Żadna z tych osób nie jest nieostrożna. Wszystkim powiedziano, że sztuczna inteligencja pozwala im pracować szybciej, ale nikomu nie wyjaśniono, gdzie przebiega granica.

    Usunięcie nazwy klienta przed wklejeniem również nie sprawia, że tekst staje się danymi anonimowymi, a zapoznałem się z wynikami badań na ten temat w Wyciek prywatności ChatGPT.

    Każda z tych czynności pozostaje niewidoczna dla zespołu ds. bezpieczeństwa, ponieważ nie doszło do żadnego naruszenia bezpieczeństwa i nie wygenerowano żadnego alertu.

    Niskie liczby nie oznaczają bezpieczeństwa

    W przypadku codziennego użytkowania wskaźnik wynosi 42% w branży technologicznej, 27% w branży finansowej, 22% w branży usług profesjonalnych oraz od 9 do 15% we wszystkich pozostałych branżach.

    Proszę uważnie zapoznać się z dolnym przedziałem, ponieważ kancelaria prawna lub poradnia znajdująca się w tym najniższym przedziale nie ma lepszej sytuacji. Jest to miejsce, w którym mniejsza grupa osób zajmuje się tym samym, ale ma do czynienia z materiałami o znacznie większej wrażliwości, a przy tym istnieje mniejsze prawdopodobieństwo, że ktokolwiek z działu IT kiedykolwiek się z nimi zapoznał. Niskie wykorzystanie kryje w sobie „ukrytą sztuczną inteligencję”.

    65% pracowników w organizacjach wdrażających sztuczną inteligencję, którzy zgłaszają pozytywny wpływ na wydajność, również nie kłamią. To działa i właśnie dlatego nikt nie zamierza przestać, nawet jeśli się ich o to poprosi. Zakaz sprawia, że „cieniowa sztuczna inteligencja” staje się jeszcze mniej widoczna.

    Jedna strona przed dokonaniem zakupu

    Nie zaczynaj od narzędzia. Zacznij od jednej strony, która odpowiada na cztery pytania.

    1. Które kategorie danych nigdy nie są wprowadzane do modelu zewnętrznego?.
    2. Jakie narzędzia są dopuszczone do użytku – lista według nazw.
    3. Do kogo pracownik zwraca się, gdy odpowiedź nie jest oczywista.
    4. Co się dzieje, gdy coś już się wydarzyło, i kto dowiaduje się o tym jako pierwszy?.

    Strona ta nie dotyczy środowiska podlegającego regulacjom ani nie zastępuje umowy z dostawcą. Przedstawia ona aktualne wycieki.

    Szablon do edycji, który służy do tego celu, przechowuję w moim kalkulator ryzyka związanego z sztuczną inteligencją typu „shadow”, dzięki czemu nie musisz zaczynać od pustego pliku.

    Następnie zajmij się tą nudną częścią i wyślij to wszystkim, wskazując jedną osobę jako właściciela. Zasada, której nikt nie potrafi znaleźć, działa tak samo jak brak jakiejkolwiek zasady, i właśnie w tym momencie „shadow AI” zaczyna od nowa. Nie jest to skomplikowane zadanie i nie wymaga zatrudniania konsultanta.

    Jedna strona wystarczy, by pokonać cykl zamówień. Jeśli nie potrafisz tego napisać, to nie masz programu opartego na sztucznej inteligencji – masz tylko 47% i nadzieję.

    Pamiętaj więc: jeśli masz napisać na tej stronie tylko jedną linijkę, niech to będzie właśnie ta. Nigdy nie wpisuj do modelu LLM niczego, czego nie wysłałbyś w e-mailu do nieznajomego.

    Źródło: https://www.gallup.com/699797/indicator-artificial-intelligence.aspx


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Mapowanie AI ATT&CK jest błędne w czterech na pięć przypadków

    Mapowanie AI ATT&CK jest błędne w czterech na pięć przypadków

    Spis treści

    Zautomatyzowane mapowanie ATT&CK to główna funkcja każdej platformy CTI sprzedawanej w 2026 roku. Z opublikowanego w czerwcu badania porównawczego wynika, że najlepszy model oparty na oprogramowaniu open source prawidłowo rozpoznaje mniej więcej jedną technikę na pięć.

    Wyobraź sobie analityka SOC, który otrzymał właśnie raport o nowym incydencie i otrzymał polecenie, by go podzielić na MITRE ATT&CK techniki. Kilka godzin pracy. Ktoś wtrąca się z oczywistą sugestią: wrzuć to do modelu LLM – minuta i gotowe.

    Tak się stanie. Cztery na pięć technik będą błędne.

    Co obejmował test porównawczy

    Sześciu naukowców oszacowało to w artykule zatytułowanym “Ocena modeli językowych typu LLM typu open source pod kątem klasyfikacji technik ATT&CK z wieloma etykietami w raportach CTI”, arXiv ID 2606.18166, opublikowanym 16 czerwca 2026 r. Jest to pierwszy rzetelny punkt odniesienia dla mapowania ATT&CK w nieustrukturyzowanych danych wywiadowczych dotyczących zagrożeń, oparty na rzeczywistych raportach, a nie na wybiórczych fragmentach tekstu.

    Zespół stworzył zbiór 2 076 zdań zaczerpniętych z 83 Raport DFIR opisy, w których 1 281 zdań zawiera opis techniki, a 795 nie zawiera żadnego opisu. Adnotacje zostały wprowadzone ręcznie w sześciu etapach, a współczynnik kappa Cohena między adnotatorami wyniósł 0,68; w sumie zidentyfikowano 114 unikalnych technik.

    Przetestowano na nich siedem modeli open source przy kwantyzacji 4-bitowej Q4_K_M. DeepSeek-V2.5 z 236 mld parametrów, GPT-OSS z 120 mld i 20 mld, Llama 3.1 Instruct z 70 mld i 8 mld oraz Gemma 3 z 27 mld i 12 mld.

    Mapowanie ATT&CK

    Najlepszy wynik w kategorii mikro F1 wyniósł 0,22 i został osiągnięty przez DeepSeek-V2.5. W tym przebiegu zastosowano temperaturę 0,0, trzy podpowiedzi oraz włączoną funkcję łańcucha myślenia. Precyzja wyniosła 0,21, a odzyskiwalność 0,23.

    Najsłabszy z całej grupy, model GPT-OSS 20B, osiągał wyniki w przedziale od 0,00 do 0,06.

    Wygląda to na narzędzie, które w procesie produkcyjnym generuje więcej pracy, niż pozwala zaoszczędzić.

    Dlaczego wyniki dostawców wyglądały tak dobrze?

    Wcześniejsze narzędzia do mapowania ATT&CK mierzyły zupełnie inne parametry, a ich wyniki dobrze prezentują się na slajdach. TTPXHunter osiągnął współczynnik F1 na poziomie 0,97, TTPHunter – 0,88, TTPDrill – 0,82, a AttacKG – 0,79.

    Haczyk tkwi w sposobie oceny tych narzędzi. Punktacja obejmowała wyłącznie 50 najpopularniejszych technik, na podstawie opisów procedur zaczerpniętych bezpośrednio z ATT&CK. Ocena odbywała się następnie na poziomie raportu, a nie na poziomie zdania, więc model otrzymywał zdanie napisane językiem taksonomii i dopasowywał je z powrotem do taksonomii. Egzamin z otwartą książką.

    Prawdziwy raport wcale tak nie wygląda, a zbiór danych pokazuje, dlaczego. Jedno zdanie zawiera średnio 1,58 techniki, a 40,2 procent oznaczonych zdań zawiera więcej niż jedną. Sytuacja komplikuje się w przypadku długiego ogona, ponieważ spośród 114 technik 56 pojawia się pięć razy lub rzadziej, a 27 występuje dokładnie raz. Najczęściej występująca technika przewyższa najrzadziej występującą w stosunku 229 do 1.

    Gdzie mapowanie ATT&CK zawodzi

    Dwa rodzaje błędów psują wyniki, a oba są dobrze znane każdemu, kto na co dzień pracuje z modelami LLM.

    Największe szkody wyrządza przechwytywanie słów kluczowych, a jeden z przykładów przytoczonych w artykule pokazuje, jak poważne mogą być tego skutki. W raporcie pojawia się sformułowanie “staged a ransomware binary” (umieszczono plik binarny oprogramowania ransomware), które człowiek odczytuje jako “Ingress Tool Transfer” – co oznacza, że ktoś umieścił narzędzie na komputerze ofiary. Model skupia się na słowie „staged” i generuje wynik „Data Staged” – technikę z innej taktyki dotyczącej przygotowywania danych do wycieku. Słowo się zgadza, ale znaczenie nie.

    Z podobnego powodu pomijane są działania wieloetapowe. Model szuka dosłownych sformułowań z taksonomii zamiast analizować działania atakującego w trzech zdaniach, przez co połowa łańcucha ataku pozostaje niezauważona.

    Szybka regulacja nic nie dała

    Wynik, który powinien zaniepokoić każdego, kto rozważa zakup rozwiązania do mapowania ATT&CK, to ten, który w ogóle nie uległ zmianie. Zmiana temperatury z 0,0 do 0,5 powoduje zmianę wskaźnika micro F1 o maksymalnie 0,01 we wszystkich siedmiu modelach. Porównanie metody zero-shot z metodą three-shot, zarówno z zastosowaniem łańcucha rozumowania, jak i bez niego, nie przyniosło nigdzie statystycznie istotnego wzrostu wyników. Liczba parametrów wykazuje dodatnią korelację z wynikiem, jednak nawet przy 236 miliardach parametrów uzyskuje się jedynie 0,22.

    Mówiąc wprost, nie da się po prostu „wymanewrować” się z błędnego przyporządkowania do modelu ATT&CK.

    Jedyną skuteczną metodą było odzyskanie danych

    Autorzy załadowali dokumentację ATT&CK do magazynu wektorów FAISS i do każdego zapytania dołączyli pięć najlepiej pasujących definicji technik. Wynik Llama 70B wzrósł z 0,22 do 0,32, a współczynnik odzysku wzrósł z 0,23 do 0,41, co stanowi poprawę o współczynnik 1,78.

    Rzetelne mapowanie ATT&CK przewyższyło wszystkie kombinacje promptów i temperatur uwzględnione w badaniu łącznie. Rozumowanie nigdy nie stanowiło wąskiego gardła. Model nie przechowuje roboczej kopii kilkuset technik i podtechnik ATT&CK, więc opiera się na pamięci.

    Pobieranie danych również stwarza nową lukę, ponieważ wszystko, co znajduje się w tym magazynie wektorów, staje się dla modelu „prawdziwym obrazem rzeczywistości” – i właśnie ta sama słabość leży u podstaw zatrucie agenta zajmującego się badaniami nad sztuczną inteligencją.

    Kierunek jest już ustalony, nawet jeśli wartość 0,32 nadal nie spełnia wymagań klasy produkcyjnej. Przekaż modelowi definicje ATT&CK i przestań dostosowywać podpowiedzi.

    Cztery pytania, które warto zadać przed zakupem narzędzia do mapowania ATT&CK

    Należy poprosić dostawcę o udzielenie odpowiedzi na wszystkie cztery pytania na piśmie.

    1. Zapytaj, na podstawie jakiego zbioru danych oceniano to narzędzie. Przykłady procedur zaczerpnięte z samego ATT&CK nie dają żadnej informacji na temat tego, jak narzędzie to radzi sobie z twoimi raportami.
    2. Sprawdź wskaźnik pokrycia technik. Ranking 50 najpopularniejszych technik ukrywa „długi ogon”, w którym kryją się prawdziwe włamania.
    3. Sprawdź, czy ocena została przeprowadzona na poziomie raportu, czy na poziomie zdania. Ocena na poziomie raportu pozwala narzędziu odgadnąć trzy popularne techniki i mimo to sprawiać wrażenie dokładnego.
    4. Zapytaj o wskaźnik wyników fałszywie pozytywnych dla zdań, które w ogóle nie zawierają żadnej techniki. W zestawieniu porównawczym znalazło się 795 takich zdań nie bez powodu.

    Odpowiedział ci sprzedawca, który uniknął wszystkich czterech pytań.

    Każdy, kto już stosuje mapowanie ATT&CK w centrum operacyjnym bezpieczeństwa (SOC), powinien sprawdzić, ile z tych powiązań jest weryfikowanych przez człowieka, zanim trafią one do reguły wykrywania. Przy wskaźniku F1 wynoszącym 0,22 automatyzacja zasila system wykrywania, a raporty kierownictwa zawierają zmyślone TTP. Jest to gorsze niż całkowity brak mapowania, ponieważ sprawia wrażenie, jakby opierało się na wiedzy.

    Ta sama pułapka czai się w każdym systemie, który samodzielnie generuje wezwania związane z bezpieczeństwem, a mapowanie ATT&CK stanowi jeden z przykładów znacznie szerszego problemu związanego z jak działa uczenie się w autonomicznej cyberobronie.

    Trzeba informować o wszystkim człowieka. Wymaga tego logika.

    Źródło: https://arxiv.org/abs/2606.18166v1


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Prywatność agentów sztucznej inteligencji to luka, której nikt nie bada

    Spis treści

    AI agent Kwestia prywatności rzadko trafia na listę kontrolną dotyczącą bezpieczeństwa, a właśnie ta luka jest źródłem prawdziwych szkód. Wyobraźmy sobie pracownika zajmującego się rutynowym zadaniem: sprawdza status zamówienia klienta, a następnie – zanim udzieli odpowiedzi – pobiera pasujące rekordy z systemu CRM i bazy danych faktur, a wszystko to w ciągu dziesięciu sekund. Nikt nie zatrzymał się, by zapytać, czy w tym samym wątku rozmowy, wciąż przechowywanym w pamięci roboczej, nie znalazł się również numer karty innego klienta.

    Problem w skrócie

    Obecnie agent LLM działa w oparciu o bazy danych, zbiory dokumentów pobierane za pośrednictwem RAG, zewnętrzne interfejsy API oraz inne agenty znajdujące się niżej w łańcuchu zadań. Każda z tych płaszczyzn stwarza własną ścieżkę wycieku danych agenta, a każda z nich stanowi martwy punkt w większości agentów AI prywatność analizy. Badanie śledzi, w jaki sposób dane wrażliwe faktycznie opuszczają system. Część z nich wychodzi poprzez zapytania, które agent sam dla siebie tworzy. Reszta przedostaje się na zewnątrz poprzez wyniki pośrednie przechowywane w pamięci lub poprzez komunikaty przekazywane innemu agentowi w trakcie

    Większość polityk bezpieczeństwa została opracowana tak, by wyłapać jedną z tych ścieżek, pozostawiając pozostałe dwie całkowicie otwarte. Ta rozbieżność stanowi rzeczywisty kształt „drzwi” problemu prywatności agenta AI, podczas gdy dwa boczne wejścia pozostają otwarte.

    Dlaczego większość zespołów popełnia ten błąd

    Większość analiz bezpieczeństwa agentów opiera się na scenariuszach ataków, takich jak wstrzyknięcie argumentu lub próba przełamania ograniczeń, które umykają uwadze modelu. Niniejsze badanie skupia się przede wszystkim na kwestii, z jakimi danymi ma do czynienia agent, niezależnie od tego, czy ktoś go atakuje. Zespół przeprowadzający testy typu „red team” na swoim agencie pod kątem znanych ataków może nadal przeoczyć ryzyko tkwiące w samym projekcie dostępu do danych.

    ochrona prywatności agentów sztucznej inteligencji

    Wydaje się, że kontrola dostępu na poziomie bazy danych powinna to uwzględniać, choć odpowiada ona jedynie na węższe pytanie – kto może w danej chwili odczytać rekord. Nie mówi ona nic o tym, co agent robi z tym rekordem trzy sesje później. W badaniu przeanalizowano sześć mechanizmów zarządzania stworzonych w celu zapewnienia prywatności, kontroli przepływu informacji oraz wykrywania wycieków, działających w sposób łączący się w wielu sesjach. Pozostałe mechanizmy wykrywają jedynie pojedyncze żądania. Prywatność agenta AI faktycznie ulega naruszeniu na poziomie wzorców, łączących się w różnych sesjach, co jest właśnie tym, czego brakuje w pozostałych pięciu mechanizmach.


    Co to oznacza dla Ciebie

    Wdrażanie agentów u klientów lub uruchamianie ich wewnątrz własnej firmy zmienia zakres elementów, które powinny znaleźć się na liście kontrolnej dostawcy. Dane uwierzytelniające uzyskane w ramach testów typu „red team” metodą jailbreak obejmują obecnie tylko część tej listy. Bardziej trafne pytanie dotyczy prywatności agenta opartego na sztucznej inteligencji we wszystkich obszarach, z którymi agent ma kontakt w danym momencie – w tym podczas pobierania informacji za pomocą RAG, wykonywania zapytań SQL, korzystania z pamięci oraz wymiany komunikatów z innymi agentami.
    Autorzy badania twierdzą, że taki łączny punkt odniesienia praktycznie jeszcze nie istnieje, a w świetle RODO i podobnych przepisów ten brak staje się prawdziwym obciążeniem, ponieważ udowodnienie zachowania należytej staranności staje się trudne, gdy przeprowadzony test pomija większość rzeczywistej ścieżki danych w systemie.

    Kwestie techniczne, w prostych słowach

    Weźmy konkretny przykład, który pokazuje, jak w praktyce wygląda zagrożenie dla prywatności związane z agentami AI. Agent działu kadr odpowiada na pytanie pracownika dotyczące dni urlopowych. Podczas wyszukiwania danych pobiera również pole zawierające informację o przyczynie medycznej leżącej u podstaw
    Wcześniejsza nieobecność, odnotowana tuż obok wyniku analizy danych, zostaje zapisana w pamięci agenta. Trzy zapytania później oddzielny wątek dotyczący tego samego pracownika czerpie z tej pamięci i ujawnia szczegół, o którego ujawnienie nikt nie prosił.

    Błąd wynika z braku granicy między tym, co agent wie, a tym, co może powiedzieć w danym kontekście – granicy, której żaden atakujący nie musiał przekraczać. Kontrola przepływu informacji ma na celu wyznaczenie tej granicy na poziomie warstwy danych, a nie
    warstwa podpowiedzi. Oznacza ona poziom wrażliwości; monitor śledzi ten znacznik niezależnie od tego, gdzie trafią dane – czy to w odpowiedzi na czacie, czy w wiadomości wysłanej do innego agenta. To właśnie ta luka, bardziej niż jakikolwiek atak oparty na podpowiedziach, stanowi codzienny obraz niepowodzeń agentów AI w zakresie ochrony prywatności.

    Cztery pytania, które należy sobie zadać przed wysłaniem agenta

    Zanim agent uzyska dostęp do danych produkcyjnych, cztery pytania pozwalają wyeliminować większość opisanych powyżej zagrożeń.

    Po pierwsze, należy sporządzić mapę wszystkich obszarów danych, do których agent ma dostęp, w tym tych wykraczających daleko poza jego pierwotny zakres działania, obejmując wszystkie bazy danych, repozytoria dokumentów, interfejsy API oraz warstwy pamięci objęte analizą. Po drugie, należy śledzić dane w kontekście sesji, a nie pojedynczych żądań, sprawdzając, czy fakt ujawniony w pierwszej sesji może pojawić się ponownie w piątej sesji bez czyjejkolwiek zgody.

    Po trzecie, należy oddzielić pobieranie danych od ich ujawniania, ponieważ agent powtarzający ten zapis na głos potrzebuje innych uprawnień. Po czwarte, należy poprosić dostawców o przedstawienie wyników testów porównawczych zamiast prezentacji demonstracyjnej, ponieważ system odporny na jailbreak nie pokazuje nic na temat poziomu ochrony prywatności agenta AI w kontekście RAG i SQL, nie mówiąc już o pamięci.


    Zarządzanie prywatnością agentów AI będzie stawało się coraz trudniejsze, ponieważ systemy agentów nieustannie dodają nowe źródła danych i łączą coraz więcej agentów, które przekazują sobie informacje. Dopóki żaden standard nie obejmie tego pełnego obrazu sytuacji, każda firma korzystająca obecnie z agentów musi samodzielnie decydować, jaki poziom prywatności jest dla niej odpowiedni, i świadomie wybierać kompromisy w tym zakresie, zanim jakiś incydent podejmie tę decyzję za nią.


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Jak pojedynczy post na Reddicie może zepsuć działanie agenta badawczego opartego na sztucznej inteligencji

    Spis treści

    Kiedy agent badawczy oparty na sztucznej inteligencji przetwarza polecenie badawcze, wysyła dziesiątki zapytań do źródeł publicznych i sporządza raport na podstawie zebranych informacji. Uniwersytet Cornell artykuł z maja 2026 r. pokazuje, że proces ten ma wadę strukturalną, którą można wykorzystać za pomocą jednego podłożonego zdania w wątku na Reddicie.

    Czym różni się agent badawczy oparty na sztucznej inteligencji od chatbota

    Agent badawczy oparty na sztucznej inteligencji traktuje każde zapytanie badawcze jako dochodzenie. Pobiera aktualne treści z publicznie dostępnych źródeł i na podstawie uzyskanych wyników tworzy raport. Systemy takie jak STORM i OmniThink zostały zaprojektowane z myślą o tym procesie pracy.

    Problem strukturalny wynika z tego, jak w rzeczywistości przebiegają te sesje badawcze. Kiedy badacz zajmujący się sztuczną inteligencją agent wykonuje 20 powiązanych zapytań dotyczących tego samego tematu, a wyniki tych zapytań wciąż pochodzą z tych samych źródeł. Wątek z serwisu Reddit, który pojawia się w 15 z 20 wyników, jest pobierany 15 razy, a agent traktuje każdy wynik jako niezależny punkt danych i nie dysponuje mechanizmem pozwalającym na oznaczenie powtórzeń.

    Atak z pominięciem modelu

    Większość prac dotyczących bezpieczeństwa sztucznej inteligencji skupia się na metodach typu „jailbreak” i wstrzykiwaniu podpowiedzi – atakach skierowanych bezpośrednio na sam model. Zatrucie treści to kategoria ataków, które działają na poziomie niższym niż model, atakując to, co agent badawczy sztucznej inteligencji odczytuje przed rozpoczęciem wnioskowania.

    Atakujący umieszcza krótkie, specjalnie spreparowane zdanie na jednej z często wyświetlanych stron serwisu Reddit lub Wikipedii. Za każdym razem, gdy agent wyświetla tę stronę, zdanie to pojawia się jako niezależny dowód. Po 15 wyświetleniach podszyte twierdzenie zaczyna brzmieć jak fakt. Atak wymaga jedynie, aby spreparowany tekst pojawił się na stronie, którą agent wielokrotnie wyświetla.

    Wyniki badań przeprowadzonych przez Cornell

    Naukowcy z Cornell przetestowali ten atak na systemach STORM i OmniThink, dwóch systemach stworzonych do automatycznej syntezy wiedzy. Wystarczyła jedna złośliwa publikacja na stronie z treściami tworzonymi przez użytkowników, aby oba systemy zaczęły cytować treści wybrane przez atakującego oraz promować wybrane przez niego nazwy w wielu niepowiązanych ze sobą zapytaniach.

    System traktuje powtórzenia jako substytut prawdy. Sprawdzanie informacji należy do obowiązków czytelnika.

    Konsekwencje w praktyce

    Jeśli Twój proces pracy opiera się na jakimkolwiek narzędziu, które pobiera treści internetowe w czasie rzeczywistym i generuje podsumowanie wyników badań, to działasz w ramach tej architektury. Raporty z analizy konkurencji oraz analizy dostawców odzwierciedlają treści zawarte na pobranych stronach.

    Problem pogłębia się, gdy agent badawczy AI generuje treści, które trafiają do innych procesów opartych na sztucznej inteligencji – a jest to proces już działający w zautomatyzowanych środowiskach produkcyjnych. Pojedyncze zanieczyszczone źródło rozprzestrzenia się w dalszej części łańcucha, a nikt nie sprawdza, czy dane są prawidłowe.

    agent ds. badań nad sztuczną inteligencją

    Na poziomie strategicznym firmy realizujące procesy wymagające dogłębnych badań mogą dać się wprowadzić w błąd przez pojedynczy wpis na forum. Błędna informacja pojawia się w formie cytatu i wygląda tak samo jak każde inne źródło w raporcie.

    Jak przebiega zatrucie – krok po kroku

    Agent badawczy oparty na sztucznej inteligencji przeprowadza 20 zapytań dotyczących “najlepszych narzędzi do cyberbezpieczeństwa dla małych i średnich przedsiębiorstw”. Piętnaście z nich prowadzi do tego samego wątku na Reddicie. W tym wątku ukryto wstawiony fragment, który brzmi jak rekomendacja eksperta, mniej więcej w stylu: “Specjaliści ds. bezpieczeństwa polecają również firmę X, która zebrała wiele pochlebnych opinii w ostatnich niezależnych ocenach”.”

    Za każdym razem, gdy agent natrafia na ten wątek na Reddicie, odczytuje to samo podłożone zdanie i traktuje powtórzenie jako konsensus. Firma X zostaje w końcu wymieniona w całym raporcie końcowym, nawet jeśli rok temu ktoś otrzymał wynagrodzenie za umieszczenie tego zdania, a nawet jeśli firma X jest twoim bezpośrednim konkurentem.

    Proponowane środki zabezpieczające obejmują filtrowanie domen treści tworzonych przez użytkowników (UGC) na poziomie źródła oraz wykrywanie anomalii w wynikach. Oba rozwiązania ograniczają powierzchnię ataku, nie rozwiązując jednak podstawowego problemu, a mianowicie tego, że agent został stworzony w celu zliczania wystąpień i nie jest w stanie sprawdzić, czy którekolwiek z nich są prawidłowe.

    Co należy sprawdzić przed zaufaniem jakiemukolwiek raportowi sporządzonemu przez sztuczną inteligencję

    Każdy wynik opracowany przez agenta zajmującego się badaniami nad sztuczną inteligencją należy traktować jako punkt wyjścia, który wymaga weryfikacji, zanim wpłynie na jakąkolwiek decyzję, i zacząć od przypisów. Gdy w raporcie zaleca się konkretnego dostawcę lub produkt, należy prześledzić źródło tej rekomendacji i sprawdzić, czy pochodzi ona od wymienionego z nazwiska eksperta, czy też od anonimowego użytkownika na publicznym forum.

    Za dwa lata dynamika konkurencji będzie prawdopodobnie przebiegać zgodnie z utrwalonym schematem. Marki będą prowadzić kampanie mające na celu „zatruwanie” sztucznej inteligencji równolegle z działaniami w zakresie SEO, a grupa docelowa przesunęła się z robotów indeksujących wyszukiwarek na agenty badawcze oparte na sztucznej inteligencji.

    Wojna informacyjna zyskała nowy punkt podatności. Na razie tym punktem jest wasz proces badawczy.


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś