Tag: cyberbezpieczeństwo

  • System analizy zagrożeń oparty na sztucznej inteligencji można wprowadzić w błąd za pomocą jednego podłożonego zdania

    Spis treści

    Mój czytnik RSS codziennie rano przegląda za mnie listę źródeł – to mój własny, niewielki system analizy zagrożeń oparty na sztucznej inteligencji. Przyznaje on każdej wiadomości określoną ocenę, a wszystko, co uzyska wynik powyżej 7 na 10, trafia do mojego podsumowania. Sam go stworzyłem i korzystam z niego codziennie, ale aż do zeszłego tygodnia nigdy nie zastanawiałem się, co oznacza ta 7.

    Potem przeczytałem nowy artykuł autorstwa Jiahonga Qiana z Uniwersytetu Jian Qiao w Szanghaju. Test ten sprawdza, co się dzieje, gdy model LLM analizuje raporty dotyczące cyberzagrożeń i musi wskazać podmioty odpowiedzialne za zagrożenia oraz luki w zabezpieczeniach stojące za każdą kampanią. Test przeprowadzono na 354 kampaniach incydentów pochodzących z publicznego korpusu. DeepSeek-V4-Flash i GLM-5.3-Flash były modelami niedrogimi, a GPT-6.1-Sol stanowił flagowy model kontrolny.

    Ten niepokojący wynik wynika z eksperymentu dodatkowego, w którym dodano jedno zdanie przypisujące kampanii fałszywy numer CVE, a proste modele powiązały ten numer CVE w 95,61% przypadków z 1001% przypadków, wykazując poziom pewności zbliżony do maksymalnego.

    Modele wykrywają wszystko, łącznie z szumem

    Wskaźnik Recall osiąga świetne wyniki w przedziale od 0,81 do 0,99 dla wszystkich modeli i typów encji, co oznacza, że modele wykrywają niemal każdą encję zaznaczoną przez analityków.

    Analiza zagrożeń oparta na sztucznej inteligencji

    Różnica polega na precyzji – we wszystkich przypadkach obserwuje się mikroprecyzję w przedziale od 0,03 do 0,34. Średnio GLM-5.3-Flash generuje 15,1 ciągów CVE na raport, podczas gdy w referencyjnym zestawieniu podano maksymalnie 2 główne identyfikatory CVE.

    Model GPT-6.1-Sol osiąga wynik 0,057 mikro w zakresie precyzji dla CVE, a jak stwierdzono w artykule: “różnica ta nie zmniejsza się nawet w przypadku modeli z najwyższej półki”. Zapłacenie więcej daje w zamian tę samą liczbę dodatkowych kandydatów.

    Otrzymujesz więc listę piętnastu pozycji, z których dwie są istotne, ale nikt nie podpowiada, które to są. Jeśli Twój system analizy zagrożeń oparty na sztucznej inteligencji działa w ten sposób, analityk nadal musi ręcznie sortować te dane. Na początku tego roku napisałem, że Mapowanie AI ATT&CK jest błędne w czterech na pięć przypadków na podstawie rzeczywistych zgłoszeń, a w niniejszym artykule stwierdzono taką samą niską dokładność w odniesieniu do podmiotów i luk CVE.

    W tym przypadku halucynacja nie jest właściwym podejrzanym

    Odruchową odpowiedzią jest „halucynacja”, a odruchowym rozwiązaniem jest metoda RAG w połączeniu z łańcuchem myśli.

    W artykule zweryfikowano to poprzez opatrzenie adnotacjami próby 360 kandydatów i odnieślenie jej do wszystkich wyników. Większość z nich, 65,61 TP3T, stanowiły wzmianki tła, czyli podmioty wymienione w raporcie, których ta kampania nigdy nie wykorzystała. Kolejne 19,91 TP3T odnosiły się do wydarzenia, ale wykraczały poza zakres uwag referencyjnych. Tylko 1,21 TP3T nie miało żadnego potwierdzenia w tekście. Spośród fałszywych alarmów CVE od 99,71 TP3T do 99,81 TP3T pojawiają się wyraźnie w którymś miejscu raportu.

    W artykule stwierdzono, że modele “wskazują ciągi znaków, których prawdziwości nie są w stanie ocenić w kontekście tego zdarzenia”, oraz że słowo “wspomniane” jest mylnie traktowane jako “użyte”.

    To zmienia podejście do analizy zagrożeń opartej na sztucznej inteligencji, ponieważ technologie RAG i „łańcuch myśli” poprawiły wydajność identyfikacji podmiotów nawet o 0,133 wskaźnika macro-F1, a w przypadku luk w zabezpieczeniach zmiany były znikome. Nie da się rozwiązać problemu rozumienia tekstu wyłącznie poprzez wyszukiwanie informacji.

    Atrybucja techniczna polega na porównywaniu metod, taktyk i procedur (TTP) oraz infrastruktury ze znanymi kampaniami, a operacje typu „false flag” zawsze stanowiły część tych działań. Łukasz Olejnik i Artur Kurasiński opisują w książce „Philosophy of Cybersecurity”, jak grupa Turla prowadziła operacje, wykorzystując irańską infrastrukturę. Tego rodzaju działania dezinformacyjne wymagały kiedyś od atakującego znacznego wysiłku. Jeśli analizę danych przeprowadza sztuczna inteligencja, fałszywa flaga kosztuje zaledwie jedno zdanie w raporcie, który odczytuje twój system.

    Jakie wskaźniki pewności zapewniają dane wywiadowcze dotyczące zagrożeń związanych ze sztuczną inteligencją

    Wyrażona słowami pewność – model twierdzący, że jest pewien na poziomie 95% – jest źle skalibrowana. Oczekiwany błąd kalibracji mieści się w przedziale od 0,53 do 0,94.

    Metoda spójności wewnętrznej sprawdza się lepiej – polega ona na zadaniu tego samego pytania pięć razy i zliczeniu, ile razy pojawia się dana jednostka. Jako sygnał rankingowy spełniła ona wymagania określone w rejestracji wstępnej artykułu we wszystkich sześciu komórkach testowych. Jeśli chodzi o luki w zabezpieczeniach, przegląd 20% pozycji z najwyższym wynikiem pozwala zidentyfikować 96% poprawnych elementów.

    W teście z wstawionym zdaniem fałszywy podmiot uzyskał średni poziom pewności zgłoszony przez niego samego wynoszący 98,0 i 85,6 w obu modelach, co nie różniło się od wyników prawdziwego podmiotu. Jego częstotliwość spójności wewnętrznej wyniosła 0,892 w obu modelach. W artykule stwierdzono, że “częstotliwość SC mierzy spójność tekstową, a nie zgodność z faktami”.”

    Zakodowane zdanie to spójny tekst, więc model za każdym razem potwierdza jego poprawność. W analizie zagrożeń opartej na sztucznej inteligencji wynik mierzy zgodność z tekstem, a tekstem zarządza osoba atakująca.

    Jak wdrażać system analizy zagrożeń oparty na sztucznej inteligencji z udziałem człowieka

    Holenderski analityk OSINT Nico Dekens napisał w sierpniu że niepowodzenia wywiadowcze rzadko pojawiają się z wielkim rozgłosem, a “zazwyczaj towarzyszy im ocena wiarygodności”. Niniejszy artykuł potwierdza te słowa danymi liczbowymi.

    Zawarte w artykule zalecenia dotyczące wdrożenia procesu analizy zagrożeń opartego na sztucznej inteligencji sprowadzają się do czterech zmian.

    Funkcja „Confidence” sortuje kolejkę do przeglądu i nigdy nie zastępuje samej analizy, więc w przypadku luk w zabezpieczeniach zaczyna się od górnej części listy 20%. W przypadku podmiotów stanowiących zagrożenie należy postępować inaczej, ponieważ górna część tej listy (od 5 do 10%) zawiera wiele błędów i człowiek musi ręcznie sprawdzić przypisania podmiotów od początku listy.

    Progi są ponownie kalibrowane dla każdego korpusu, ponieważ w przypadku nowszego zestawu raportów z lat 2022–2025 rankingi pozostały niezmienione, podczas gdy stałe progi nie dały się przenieść.

    Każdy raport, który zasila system analizy zagrożeń oparty na sztucznej inteligencji, stanowi dane wejściowe kontrolowane przez atakującego, ponieważ raporty CTI zawierają cytaty z blogów dostawców oraz wklejone fragmenty, a wraz z nimi pojawia się jeden podłożony wiersz.

    Każda wyodrębniona jednostka ma obok siebie zdanie, z którego pochodzi, dzięki czemu recenzent najpierw zapoznaje się z danym fragmentem.

    Partia zawierająca zdania z wbudowanymi elementami została przetworzona wyłącznie na dwóch modelach typu flash, więc nie znamy wyników dla modelu flagowego. Adnotacje zostały wykonane przez dwa modele LLM innych dostawców, a ręczna kontrola wyrywkowa wciąż nie została przeprowadzona. Główny korpus obejmuje okres do około 2021 roku.

    Mój czytnik RSS nr 7 działa na tej samej zasadzie, bo podpowiada mi, co przeczytać w pierwszej kolejności, i ani razu nie powiedział mi, co jest prawdą.

    System „Confidence” sortuje kolejkę. Przypisanie przypisuje pracownik.

    Źródło | https://arxiv.org/abs/2610.20417


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Firma Anthropic uchwyciła cyberatak przeprowadzony przez sztuczną inteligencję od początku do końca

    Firma Anthropic uchwyciła cyberatak przeprowadzony przez sztuczną inteligencję od początku do końca

    Spis treści

    JackPoterz nie napisał własnoręcznie ani jednej linii złośliwego oprogramowania. Nie musiał tego robić. Firma Anthropic opisała właśnie cyberatak przeprowadzony przez sztuczną inteligencję, który obejmował wszystkie etapy – od rozpoznania po wyciek danych – niemal bez żadnej interwencji człowieka przy klawiaturze.

    Operator, którego metody działania nawiązują do grupy Midnight Blizzard, prowadził kampanie phishingowe i kradzieży danych uwierzytelniających, wspierane przez aktywną warstwę dowodzenia i kontroli, skierowane przeciwko ponad 20 celom rządowym i obronnym na Ukrainie i w Europie, a także częściowo na Bliskim Wschodzie i w Azji. Zestaw narzędzi obejmował implanty dla systemu Windows oraz zestaw exploitów dla urządzeń mobilnych, a także narzędzia stworzone w celu kradzieży danych uwierzytelniających z przeglądarek oraz podszywania się pod agencje rządowe w atakach phishingowych. Claude stworzył ten zestaw narzędzi i monitorował jego działanie. Gdy coś budziło podejrzenia, Claude przebudowywał go, korzystając z niestandardowych procesów opartych na sztucznej inteligencji, które operator skonfigurował, a następnie w większości pozostawił bez nadzoru.

    Cyberatak z wykorzystaniem sztucznej inteligencji

    To główny przypadek opisany we wrześniowym raporcie firmy Anthropic z 2026 r. dotyczącym zagrożeń, opracowanym na podstawie ośmiu miesięcy udaremnionych prób nadużyć. Jest to jak dotąd najwyraźniejszy znak, że cyberatak oparty na sztucznej inteligencji przestał być asystentem pisarskim pomagającym ludzkiemu hakerowi, a stał się samym hakerem.

    Łańcuch zabijania działa teraz samodzielnie

    GTG-20006 połączyło rozpoznanie, konfigurację infrastruktury, dostarczanie wiadomości phishingowych, utrzymywanie obecności, sterowanie i kontrolę oraz eksfiltrację danych w jedną pętlę sterowaną przez sztuczną inteligencję, obejmującą wszystkie etapy, które zespoły ds. bezpieczeństwa nauczyły się mapować na Łańcuch rażenia firmy Lockheed Martin. Człowiek pozostawał w kadrze wyłącznie po to, by wybierać cele i analizować uzyskane wyniki.

    Najciekawszym elementem jest tutaj pętla konserwacyjna, działająca w tle samego zestawu narzędzi. Gdy oprogramowanie zabezpieczające wykrywało jeden z implantów, agenci nie czekali, aż człowiek wprowadziłby poprawkę. Przekompilowywali złośliwe oprogramowanie i ponownie testowali je pod kątem wykrywalności. Powtarzali ten proces, aż złośliwe oprogramowanie przeszło niezauważone, a następnie umieszczali je na serwerach jednorazowego użytku w celu przeprowadzenia kolejnej rundy ataków phishingowych i przejęcia DNS. Jeśli pominąć kwestię marki, pozostaje cyberatak oparty na sztucznej inteligencji działający w trybie automatycznym – pełny łańcuch ataku bez udziału człowieka.

    Większość ludzi wciąż wyobraża sobie nieprawidłowy wizerunek napastnika

    Powszechnie przyjęty model mentalny to chatbot tworzący przekonującą wiadomość phishingową. Raport firmy Anthropic opisuje coś bardziej zbliżonego do „koordynatora” – systemu, który przeprowadza rozpoznanie i wykorzystuje luki, a następnie samodzielnie zajmuje się wyciekiem danych w ramach struktury wieloagentowej, przy czym to człowiek wyznacza kierunek działania, zamiast wpisywać polecenia. Ta rozbieżność między tymi dwoma modelami mentalnymi jest właśnie powodem, dla którego większość osób odpowiedzialnych za ochronę przed cyberatakami błędnie oceni kolejny atak cybernetyczny z wykorzystaniem sztucznej inteligencji, z którym będą musiały się zmierzyć.

    Frameworki takie jak PentAGI już oferują gotowe rozwiązania dla każdego, kto ich potrzebuje. Nie trzeba już dysponować budżetem na miarę państwa, by prowadzić łańcuch ataku na skalę państwową. Wystarczy lista celów. Właśnie taką zmianę zasygnalizowano w tym wpisie na blogu w Ataki cybernetyczne wykorzystujące sztuczną inteligencję kilka miesięcy przed opublikowaniem tego raportu, po prostu wszystko przebiegało szybciej niż się spodziewano.

    Luka w umiejętnościach, która kiedyś cię chroniła, zniknęła

    Anthropic nie jest jedyną firmą, która zwraca uwagę na ten trend w zakresie cyberataków z wykorzystaniem sztucznej inteligencji, a Raport firmy Forrester dotyczący zagrożeń w 2026 roku stwierdzono to już w czerwcu. “Podmioty państwowe wykorzystują obecnie sztuczną inteligencję typu agentowego do automatyzacji i skalowania ataków z prędkością przewyższającą możliwości ludzkich obrońców”. W tym samym raporcie stwierdzono również, że “ujawniono, iż podmiot powiązany z Chinami wykorzystywał Claude’a do cyberszpiegostwa”. Dwa niezależne raporty, opublikowane w odstępie sześciu miesięcy i pochodzące od dwóch różnych dostawców, dochodzą do tego samego wniosku.

    Zaawansowanie techniczne było kiedyś dobrym wskaźnikiem tego, z kim miało się do czynienia. Niestandardowy implant w połączeniu z zestawem narzędzi do samonaprawy, działającym w pętli na żywo przeciwko systemowi EDR, oznaczał niegdyś dobrze finansowany i liczny zespół. W studiach przypadków firmy Anthropic pojawia się obecnie przykład haktywisty, który dysponował jedynie skradzionymi kluczami API, a mimo to przeprowadził operację tej samej klasy. Zaawansowanie techniczne przestało być wskaźnikiem skali działania lub pochodzenia ataku.

    Co oznacza termin “samonaprawiające się złośliwe oprogramowanie”

    Jeśli pominąć marketingowy bełkot dostawców, sprawa jest prosta. Agent obserwuje, czy Twoje narzędzia zabezpieczające wykrywają złośliwe oprogramowanie. Jeśli tak, modyfikuje kod i ponownie go pakuje. Następnie ponownie testuje nową wersję, w pętli, bez udziału człowieka. Działa to jak zamek, który zmienia swój kształt za każdym razem, gdy wycinasz nowy klucz. To właśnie mechaniczny rdzeń każdego cyberataku opartego na sztucznej inteligencji, działającego obecnie w trybie automatycznym.

    Statyczne sygnatury dawały obrońcom kilka dni przewagi między wykryciem narzędzia a jego odtworzeniem przez atakującego. Ta przewaga maleje niemal do zera, gdy odtworzenie przebiega automatycznie, równolegle z resztą kampanii.

    Co z tym zrobić?

    Firma Anthropic udaremniła ten cyberatak przeprowadzony przez sztuczną inteligencję i opublikowała studium przypadku. Poinformowano o tym również partnerów i władze. Tak właśnie działa ten system i warto o tym pamiętać, zanim stanie się to powodem do ogólnej nieufności wobec dostawców rozwiązań opartych na sztucznej inteligencji.

    Ta lekcja dotyczy twoich własnych założeń, zaczynając od tego, że twój plan wykrywania wciąż opiera się na tym, że uda się wykryć kolejny wariant za kilka dni. To założenie jest już nieaktualne, niezależnie od tego, jak wygląda samo złośliwe oprogramowanie. Za kontem sondującym waszą sieć może kryć się agent, który nigdy nie śpi i nigdy nie nudzi się przepisywaniem tej samej funkcji dwadzieścia razy, bez względu na to, jak prymitywna się wydaje, o ile tylko w końcu uda mu się przedrzeć. Kolejny cyberatak oparty na sztucznej inteligencji, z którym się zmierzycie, prawdopodobnie nie ogłosi się jako taki.

    Źródło | https://www.anthropic.com/threat-intelligence-report-september-2026


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Przeczytałem badanie Uniwersytetu Stanforda dotyczące stanowisk dla początkujących i ten nagłówek nie ma pokrycia w rzeczywistości

    Przeczytałem badanie Uniwersytetu Stanforda dotyczące stanowisk dla początkujących i ten nagłówek nie ma uzasadnienia

    Spis treści

    W zeszłym roku było to 13 procent. Teraz jest to 19. Połowa internautów wykonała to odejmowanie i uznała te sześć punktów za dowód na to, że sztuczna inteligencja eliminuje stanowiska dla początkujących pracowników.

    Otworzyłem gazetę. Tych dwóch liczb tam nie ma.

    Co zmierzył Stanford

    Artykuł ten jest “Kanarki w kopalni? Sześć faktów na temat niedawnego wpływu sztucznej inteligencji na rynek pracy”, wydanie z sierpnia 2026 r. Autorami artykułu są Erik Brynjolfsson, Bharat Chandar i Ruyu Chen. Dane pochodzą z zanonimizowanych rejestrów płacowych firmy ADP, obejmujących od 3,5 do 5 milionów pracowników miesięcznie, do czerwca 2026 r. Wystawienie na ryzyko wynika z miary wpływu na poziomie zadań oraz z Antropiczny wskaźnik ekonomiczny, która śledzi, w jaki sposób przedstawiciele różnych zawodów wykorzystują Claude’a w pracy. Jest to ta sama inicjatywa Uniwersytetu Stanforda, która publikuje Indeks AI, z którym zapoznałem się na początku tego roku.

    Oto wynik badań, na który wszyscy powoływali się w kontekście stanowisk dla początkujących. Zatrudnienie osób w wieku od 22 do 25 lat w zawodach najbardziej narażonych na wpływ sztucznej inteligencji jest obecnie o 19 procent niższe niż byłoby, gdyby rozwijało się w takim samym tempie jak w przypadku ich rówieśników pracujących w zawodach mniej narażonych na ten wpływ.

    stanowiska dla początkujących

    Warto zapoznać się z surowymi danymi, które za tym stoją. W dwóch kwintylach najbardziej narażonych zatrudnienie w tej grupie wiekowej spadło o około 11 procent w okresie od listopada 2022 r. do czerwca 2026 r., podczas gdy w trzech kwintylach najmniej narażonych wzrosło o około 10 procent. Różnica ta wynosi 21 punktów procentowych.

    W przypadku doświadczonych pracowników nie widać takiej luki. Cokolwiek dzieje się na rynku pracy dla początkujących, osoby już zatrudnione pozostają na tym samym poziomie.

    Skąd wzięło się te 13 procent

    Autorzy otwarcie o tym mówią, a we wcześniejszych wersjach artykułu podano wynik analizy regresji skorygowany o wstrząsy na poziomie przedsiębiorstw. Wynosił on 13 procent na podstawie danych z lipca 2025 roku. Na podstawie danych z września 2025 roku ten sam wskaźnik wyniósł 16 procent.

    W tym wydaniu zrezygnowali z użycia terminu „regresja” w nagłówku i przeszli na prosty wskaźnik opisowy, który nie wymaga dokonywania wyborów modelowych. Wyraźnie zaznaczyli też, jaką wartość ten wskaźnik wskazywał rok temu – a mianowicie piętnaście procent.

    Wynik w porównaniu na tej samej podstawie wynosi więc 15 do 19, co oznacza różnicę czterech punktów, podczas gdy w doniesieniach prasowych podano sześć.

    Oba wskaźniki odzwierciedlają sytuację na rynku pracy w segmencie stanowisk dla początkujących, przy czym każdy z nich opiera się na innym wskaźniku.

    Nie chodzi tu o czepianie się dziesiętnej, ponieważ różnica między stwierdzeniami “rosło o połowę szybciej, niż sądziliśmy” a “rosło nieco” decyduje o tym, czy piszesz o przyspieszeniu trendu, czy o jego kontynuacji. Ars Technica umieściła obie liczby w sąsiednich zdaniach i zakończyła akapit, zauważając, że w zeszłym roku różnica wynosiła “zaledwie 13 procent”. Każde słowo tego zdania ma sens samo w sobie. Czytelnik odchodzi jednak z wrażeniem, że chodzi o odejmowanie wyników uzyskanych dwoma różnymi metodami pomiaru.

    Co sama gazeta przyznaje na swój temat

    Najpierw zajrzałem do sekcji „Ograniczenia”, bo zazwyczaj właśnie tam znajduje się informacja, której brakuje w nagłówku.

    Autorzy zaznaczają, że nie jest to oszacowanie oparte na związku przyczynowym. Używają oni sformułowania „wstępne wskaźniki opisowe”, co znacznie odbiega od wydawania ostatecznych opinii na temat stanowisk dla początkujących pracowników.

    Efekt ten słabnie po uwzględnieniu poziomu wykształcenia, co nie wygląda zbyt dobrze w nagłówku. Część tych rozbieżności pojawia się jeszcze przed powstaniem generatywnej sztucznej inteligencji. Tendencja ta jest wyraźniejsza w próbie ADP niż w krajowych badaniach referencyjnych. W próbie tej nadmiernie reprezentowane są duże przedsiębiorstwa oraz zawody o wysokim stopniu ekspozycji na sztuczną inteligencję. Sektor produkcyjny i hurtowy mają w niej również większy udział niż w całej gospodarce.

    Panel jest wyważony, co oznacza, że uwzględnia jedynie firmy, które przetrwały. Przedsiębiorstwa, które upadły, są wykluczane z analizy. Ponadto w około 30 procentach rekordów brakuje informacji o stanowisku, więc kod zawodu jest uzupełniany przez algorytm.

    Wniosek dotyczący stanowisk dla początkujących pozostaje aktualny pomimo tych wszystkich zmian. Zmienia się jedynie to, w jakim stopniu można się na nim opierać – i jest to ten sam problem, z którym się spotkałem, gdy 272 ekspertów oceniło ryzyko związane ze sztuczną inteligencją a ranking został przytoczony bez słupków błędu.

    Co to oznacza dla osób odpowiedzialnych za bezpieczeństwo

    Mechanizm stojący za danymi dotyczącymi stanowisk na poziomie podstawowym jest na tyle prosty, że można go zweryfikować na przykładzie własnego zespołu. Sztuczna inteligencja zastępuje wiedzę sformalizowaną, czyli taką, która jest zapisana w podręcznikach lub procedurach. Stanowi ona uzupełnienie wiedzy ukrytej, którą można zdobyć jedynie dzięki wieloletniej praktyce i mentoringowi. Spadek ten jest widoczny w zatrudnieniu, podczas gdy wskaźniki odejść z pracy pozostały na niezmienionym poziomie.

    Przenieś to na model SOC, gdzie poziom pierwszy zajmuje się klasyfikacją alertów zgodnie z instrukcją postępowania. Jest to spisana procedura z możliwym do zweryfikowania wynikiem, a w dziedzinie bezpieczeństwa właśnie tam znajdują się stanowiska na poziomie podstawowym.

    Osoby z dużym stażem nie spadają z nieba, a twój analityk poziomu L3 to ktoś, kto pięć lat temu był analitykiem poziomu L1. Jeśli dziś zlikwidujesz stanowiska dla początkujących, za pięć lat nie będziesz miał kogo awansować. Żaden model ci tu nie pomoże, bo wiedza ukryta nie znajduje odzwierciedlenia w twojej dokumentacji.

    W rozmowie z “Washington Post”, cytowanej przez serwis Ars, Brynjolfsson stwierdził, że skutki dla osób rozpoczynających karierę, które bada, “są realne, trwałe i nasilają się”, oraz że bardziej niż dotychczas niepokoi go „rynek pracy, który utrzymuje ogólny poziom zatrudnienia, jednocześnie po cichu zamykając drogę do kariery osobom rozpoczynającym pracę”.

    Informacja o zamknięciu wjazdu na autostradę znajduje się w danych. To on się tym martwi.

    Zasada

    Zanim dane dotyczące stanowisk dla początkujących trafią na slajd przeznaczony dla zarządu, sprawdź, czy ubiegłoroczne dane z tej samej publikacji zostały obliczone w ten sam sposób. Autorzy czasami zmieniają główny wskaźnik w trakcie realizacji projektu, a zmianę tę opisują w akapicie, do którego dziennikarz nigdy nie dociera.

    Nigdy nie wierz w nagłówek. Wierz w przypis.

    Źródło | https://arstechnica.com/ai/2026/08/ai-is-hitting-entry-level-jobs-hardest-stanford-study-finds/


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Modele bez ograniczeń wagowych nie odmawiają

    Modele bez ograniczeń wagowych nie odmawiają

    Spis treści

    21 lipca Guillermo Rauch, dyrektor generalny firmy Vercel, opublikował na platformie X wyniki swojej wewnętrznej oceny, co spowodowało znaczne zaostrzenie dyskusji na temat modeli typu “open-weight” w dziedzinie bezpieczeństwa. Kimi K3, chiński model typu “open-weight” wprowadzony na rynek pięć dni wcześniej, uzyskał w jego testach ocenę „najwyższej klasy w zakresie cyberbezpieczeństwa”. W tym samym poście dodał, że „Fable odrzuca wszystko” i że w ogóle nie udało mu się doprowadzić tego modelu do końca testu.

    Dzień później Semgrep opublikował tabelę zawierającą wskaźniki precyzji i odzysku.

    Dwa dni później brytyjska organizacja AISI i amerykańska organizacja CAISI opublikowały swoje raporty.

    Żaden z tych trzech pomiarów nie potwierdza tej tezy. A to jest o wiele ciekawsze niż sam ranking.

    Co zakładano, a co zmierzono

    Organizacje AISI i CAISI przetestowały system Kimi K3 za pomocą ExploitBench oraz w cyberpoligonie TLO, a także opublikowano dane. W teście ExploitBench uzyskał wynik 32 procent, podczas gdy GLM-5.2 – najsilniejszy z modeli o nieograniczonej wadze według stanu na czerwiec 2026 roku – osiągnął 24 procent. Wynik ten wygląda dobrze, dopóki nie spojrzy się na następną kolumnę, gdzie wiodące modele amerykańskie osiągnęły wykonanie dowolnego kodu średnio w 20 z 41 próbek. Kimi K3 nie osiągnął żadnego sukcesu na żadnej z 41 prób.

    Na poligonie cybernetycznym, gdzie pełna ścieżka ataku składa się z 32 etapów, Kimi osiągnęła średnią na 17. etapie. Modele amerykańskie osiągnęły średnią 28,5. Udało jej się przejść cały poligon raz na dziesięć prób.

    Semgrep przetestował coś innego, wykrywanie błędów w IDOR w rzeczywistych repozytoriach. Tam model Kimi K3 osiągnął precyzję na poziomie 0,684, podczas gdy modele Claude Opus 4,8, GPT-5,6 Sol, GPT-5,6 Terra i GLM-5,2 plasowały się w przedziale od 0,86 do 0,91. W największym repozytorium z zestawu Kimi osiągnął wynik F1 na poziomie około 6 procent, podczas gdy wszyscy inni osiągnęli około 20 procent. Jeśli ten schemat wydaje się znajomy, to nic dziwnego, ponieważ ta sama różnica między wynikiem reklamowanym a zmierzonym pojawiła się, gdy automatyczne mapowanie ATT&CK zostało poddane odpowiednim testom porównawczym.

    Trzeba jednak uczciwie przyznać, że nie są to porównywalne przypadki. AISI przetestowało modele amerykańskie przy wyłączonych zabezpieczeniach na poziomie systemu. Sam system, jak podano w raporcie, “nie posiada aktywnych mechanizmów obronnych ani narzędzi obronnych”.

    Dlaczego debata na temat modeli z otwartą kategorią wagową zmierza w złym kierunku

    Większość dyskusji dotyczy górnej granicy – tego, czy modele z otwartą wagą dogoniły już najnowsze osiągnięcia, czy też nie.

    Jeśli zarabiasz na życie, broniąc różnych rzeczy, to twoim problemem jest podłoga.

    Bezpieczeństwo sprowadza się do jednej zasady. Należy podnosić koszt ataku tak długo, aż przestanie się on opłacać. Ranking modeli pokazuje, jak wysoko może sięgnąć najlepszy atakujący na świecie. Dolna granica wskazuje, ile kosztuje najtańszy atakujący, a nawet ten najtańszy wystarczy, by zrujnować ci tydzień.

    Modele bez ograniczeń wagowych

    Jedno zdanie zawarte w tym samym raporcie AISI i CAISI nie trafiło w ogóle na pierwsze strony gazet. “Środki zabezpieczające stosowane przez Kimi K3 nie zapobiegły podejmowaniu przez tę organizację prób opracowywania cyberataków ani prowadzenia ofensywnych operacji cybernetycznych’.

    Porównajmy to teraz z drugą częścią wpisu Raucha. Model zamknięty dał odpowiedź negatywną. Model otwarty – nie, i nie ma to nic wspólnego z tym, jak dobrze któryś z nich radzi sobie z tym zadaniem.

    Nie można ponownie przykręcić obciążników do dysku, które ktoś już zdjął i umieścił na swoim własnym dysku.

    Co to dla Ciebie oznacza

    Warstwa odrzucania, którą traktujemy jako mechanizm zabezpieczający, stanowi cechę charakterystyczną interfejsu API dostawcy. Obejmuje ona limit częstotliwości, logi po stronie dostawcy, zespół ds. nadużyć oraz możliwość zablokowania konta. Modele o otwartej wadze działające na cudzym procesorze graficznym nie posiadają żadnej z tych czterech cech.

    Pod tym kryje się jeszcze jeden aspekt. Klasycznym ograniczeniem operacji ofensywnych są kwestie organizacyjne. Operator poświęca swój czas na jeden cel i nie jest w stanie zająć się dwudziestoma z zachowaniem tej samej jakości. Niedroga automatyzacja znosi to ograniczenie.

    Skala zdolności Departamentu Obrony (DoD) dzieli atakujących na sześć poziomów, przy czym na poziomie pierwszym wykorzystuje się narzędzia stworzone przez innych, a na poziomie trzecim samodzielnie wykrywa się i wykorzystuje luki w zabezpieczeniach. Tanie rozwiązania techniczne przesuwają część użytkowników z poziomu pierwszego w kierunku poziomu trzeciego, ponieważ pracę wykonuje teraz automatyczny proces, a nie człowiek.

    Ryzyko to iloczyn skutku i prawdopodobieństwa, a cały ten szum dotyczył właśnie skutku. Cicha zmiana nastąpiła w zakresie drugiego z tych czynników.

    Mówiąc wprost, w jakich obszarach modele z otwartą wagą zawodzą

    Warto dokładnie oszacować, ile kosztuje cię wskaźnik precyzji na poziomie 0,684. Niska precyzja oznacza, że model wciąż wykrywa pewne elementy, a następnie zagubia je w gąszczu błędnych wyników, które ktoś musi przejrzeć. Dla twojego zespołu to dodatkowy koszt. Dla atakującego, który tylko pobieżnie przegląda wyniki i potrzebuje tylko jednego trafienia, nie wiąże się to z żadnymi kosztami.

    A tę lukę można wypełnić bez konieczności wprowadzania jakichkolwiek zmian w modelu.

    W czerwcu clearbluejar odtworzył szeroko nagłośnione odkrycie – siedemnastoletni RCE w systemie FreeBSD, którego po raz pierwszy wykrył model typu „frontier”. Ten poziom autonomii był już prezentowane w ramach kontrolowanych testów kilka miesięcy wcześniej. Tyle że uruchomił go na gpt-oss-20b na swoim własnym sprzęcie, korzystając z publicznego, liczącego 1 700 wierszy potoku AISLE w języku Python. Pozorne pominięcie zniknęło po ponownym uruchomieniu. Prawdziwym problemem był szum, a rzeczywisty błąd został zagłuszony przez fałszywe alarmy.

    Dodał więc etap sprawdzający, czy kod jest osiągalny. Liczba fałszywych alarmów spadła z 30 do 5, a luka CVE nadal istniała. Powiedział to wprost: “To właśnie ta konstrukcja wykonuje całą pracę i jest to dźwignia, którą można wykorzystać we własnym modelu”.

    Stanislav Fort z serwisu AISLE odtworzył to samo odkrycie za mniej niż $100.

    Oczywisty zarzut i dlaczego nie ma on uzasadnienia

    Ktoś powie, że są to syntetyczne testy wydajnościowe, przeprowadzone w cyberpoligonach bez obrońców, z wykorzystaniem specjalnie dobranych zbiorów danych, które zawyżają wyniki. To słuszna uwaga, a sam raport AISI to potwierdza.

    Jednak ten argument mija się z celem. Jeśli zakres ten sprzyja w równym stopniu zarówno modelom z otwartą masą, jak i tym z zamkniętą, to porównanie między nimi nadal ma sens. A istotny w tym przypadku wniosek ma charakter behawioralny, a nie liczbowy, ponieważ model został przetestowany i żadna konstrukcja zakresu nie zmieni tego faktu.

    Cztery elementy, które należy sprawdzić w modelu zagrożeń

    Pomiń tabelę wyników. Jeśli modele o dowolnej masie w ogóle występują w Twoim modelu zagrożeń, skup się raczej na tych czterech.

    1. Znajdź wszystkie elementy sterujące, z których korzystasz i które znajdują się u dostawcy. Wymień je na głos. Odmowa, ograniczenie częstotliwości, rejestrowanie, zamknięcie konta. Wszystkie pozycje z tej listy znikają w momencie, gdy algorytmy działają lokalnie.
    2. Sprawdź jeszcze raz swoje progi wykrywania, aby przeprowadzić niedrogie działania rozpoznawcze. Wraz ze wzrostem liczby prób spada jakość poszczególnych prób. Progi alarmowe dostosowane do pracy cierpliwego, ludzkiego operatora zinterpretują to jako szum.
    3. Oblicz różnicę czasową między opublikowaniem CVE a wydaniem twojej poprawki. Kiedyś zabezpieczeniem tego okna było to, że niewiele osób potrafiło wykorzystać błąd jako broń. Modele o otwartej wadze oraz publiczny potok skróciły kolejkę, a nikt nie wysyłał ci powiadomienia, gdy to się działo.
    4. Oceń, jak duże jest dla Ciebie obciążenie związane z segregacją medyczną. Niska precyzja kosztuje obrońcę realny czas, a atakującego nic. Jeśli wdrażasz wewnętrznie narzędzia tej samej klasy, uwzględnij w budżecie czas potrzebny na selekcję tak samo, jak uwzględniasz go w budżecie na skanowanie.

    Żadna z tych kwestii nie wymaga nowego produktu, a żadna z nich nie dotyczy modeli o otwartej masie jako technologii. Trzeba po prostu wyeliminować z modelu zagrożeń założenie, że “prawdopodobnie nie są w stanie tego zrobić”.

    Jedna zasada, którą warto zapamiętać

    Przestań się zastanawiać, czy model twojego przeciwnika jest równie dobry jak twój. W przypadku modeli o dowolnej wadze należy zadać sobie szczere pytanie, czy cokolwiek jest w stanie go powstrzymać.

    Laboratoria i przeprowadzane przez nie oceny wyznaczają górną granicę możliwości. Dolną granicę dostępności wyznaczają pliki zajmujące miejsce na czyimś dysku oraz 1 700 wierszy kodu w języku Python z serwisu GitHub. Modele z otwartą wagą przesunęły tę dolną granicę, podczas gdy argument pozostawał niezmienny na górnej granicy.

    Opracuj model zagrożeń w oparciu o drugą liczbę.

    Źródło | https://www.mbi-deepdives.com/open-weights/


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • 272 ekspertów opracowało ranking ryzyka związanego ze sztuczną inteligencją. Cyberbezpieczeństwo znalazło się w pierwszej piątce.

    272 ekspertów opracowało ranking ryzyka związanego ze sztuczną inteligencją. Cyberbezpieczeństwo znalazło się w pierwszej piątce.

    Spis treści

    Dwieście siedemdziesiąt dwóch międzynarodowych ekspertów w dziedzinie sztucznej inteligencji opracowało właśnie ranking ryzyka związanego ze sztuczną inteligencją oparty na prawdopodobieństwie, a nie na domysłach. Większości organów regulacyjnych nie udało się tego osiągnąć nawet w ciągu trzech lat.

    Badanie zatytułowane “Prioritization of Risks From Artificial Intelligence” („Ustalanie priorytetów zagrożeń związanych ze sztuczną inteligencją”) zostało przeprowadzone przez MIT FutureTech oraz Uniwersytet Queensland. W artykule wymieniono 188 współautorów. Głównymi autorami są Peter Slattery, Alexander Saeri, Jess Graham, Michael Noetel i Neil Thompson. Wykorzystali oni metodę Delphi – proces badawczy polegający na gromadzeniu opinii ekspertów w wielu rundach, aż do momentu, gdy widoczne staną się zarówno punkty zgodności, jak i rozbieżności. Ta sama metoda pojawia się w Międzynarodowym raporcie dotyczącym bezpieczeństwa sztucznej inteligencji z 2026 r., który powołuje się na tę samą pracę. Dane, na których opiera się badanie, znajdują się w Repozytorium ryzyka związanego ze sztuczną inteligencją MIT, stale aktualizowany katalog zawierający ponad 1 600 udokumentowanych zagrożeń, z którego korzystają decydenci i specjaliści ds. technologii.

    Eksperci ocenili 24 obszary ryzyka w perspektywie pięcioletniej, od 2025 do 2030 roku, w ramach dwóch scenariuszy. Jeden scenariusz zakładał utrzymanie dotychczasowego stanu rzeczy, w którym organizacje i rządy kontynuują dotychczasowe działania. Drugi zakładał pragmatyczne działania łagodzące, w ramach których wszyscy podejmują opłacalne wysiłki w celu ograniczenia szkód. W scenariuszu „biznes jak zwykle” w 18 z 24 obszarów prawdopodobieństwo wystąpienia katastrofalnych skutków wynosiło co najmniej 10%. Konsekwencje katastrofalne oznaczały ponad milion ofiar śmiertelnych lub straty przekraczające $100 miliardów, przy czym w obu przypadkach szkody miały porównywalną skalę cywilizacyjną. To punkt odniesienia, którego nikt do tej pory nie chciał zapisać. Jest to bardziej wyraziste, oparte przede wszystkim na liczbach ujęcie spektrum ryzyka Ten blog już zawiera mapy.

    Dlaczego większość ludzi źle to interpretuje

    Większość ludzi, słysząc o “ryzyku związanym ze sztuczną inteligencją”, wyobraża sobie coś, co nastąpi za wiele lat – na przykład niekontrolowane modele lub autonomiczną broń w jakimś przyszłym konflikcie. Nie jest to jednak zgodne z wynikami niniejszego rankingu ryzyka związanego ze sztuczną inteligencją. Nawet przy zastosowaniu pragmatycznych środków ograniczających ryzyko pięć obszarów nadal osiągnęło prawdopodobieństwo katastrofy na poziomie 10%. Niebezpieczne możliwości oraz broń oparta na sztucznej inteligencji lub cyberataki osiągnęły po 12%. Podobnie było w przypadku szkód środowiskowych – obszaru, którego większość ludzi nie kojarzyłaby w ogóle z cyberbezpieczeństwem. Nierówności społeczne i bezrobocie uplasowały się o jeden punkt niżej, na poziomie 11%, tuż obok centralizacji władzy. Dwie z tych pięciu dziedzin stanowią problem cyberbezpieczeństwa i ich wskaźniki nie spadły znacząco, nawet pomimo wspólnych wysiłków wszystkich zainteresowanych stron.

    Ranking ryzyka związanego ze sztuczną inteligencją

    Praca w dziedzinie bezpieczeństwa sprowadza się do jednego zadania: podniesienia kosztów ponoszonych przez atakującego na tyle, by atak przestał być opłacalny. Żaden system nie pozostaje bezpieczny na zawsze, więc alternatywa musi być po prostu na tyle kosztowna, by miała znaczenie. Sztuczna inteligencja nie tworzy nowych etapów ataku. Obniża ona koszty etapów, które już istnieją. Rozpoznanie zostaje zautomatyzowane.

    Wykorzystywanie tych metod do celów złośliwych staje się szablonowe, a sposób ich dostarczania – coraz bardziej przekonujący, ponieważ wygenerowana wiadomość phishingowa czy sklonowany głos nie wymagają już udziału wykwalifikowanego operatora. To ten sam mechanizm, który stoi za… Ataki cybernetyczne wykorzystujące sztuczną inteligencję które już dziś dotykają zwykłe firmy. Jak stwierdził Slattery, właśnie w dziedzinie hakowania możliwości sztucznej inteligencji rozwijają się najszybciej, a wzrost ten jest bardziej widoczny po stronie kosztów niż po stronie prawdopodobieństwa.

    Presja konkurencyjna działa jako mechanizm, który podtrzymuje pozostałe cztery rodzaje ryzyka. Gdy firma lub państwo uznają, że sztuczna inteligencja daje im przewagę, spowolnienie działań ze względów bezpieczeństwa oznacza po prostu przekazanie tej przewagi tym, którzy nie zwalniają tempa. Nikt nie chce być tym, który podnosi własne koszty, podczas gdy konkurencja tego nie robi, więc wyścig w dół w zakresie zarządzania trwa nadal. To ta sama dynamika, która sprawia, że cykle aktualizacji są zbyt powolne, a budżety na bezpieczeństwo zbyt małe – wszystko to przebiega w tempie sztucznej inteligencji, a nie w tempie IT.

    Traktowanie tego rankingu ryzyka związanego ze sztuczną inteligencją jako jednorazowego projektu mającego na celu zapewnienie zgodności z przepisami oznacza błędną interpretację danych. Nie jest to coś, co można raz zakończyć i odłożyć na bok.

    Co to oznacza, jeśli to właśnie ty ponosisz ryzyko

    W badaniu wskazano również, kto jest narażony, a kto ponosi odpowiedzialność – te dwie grupy nie pokrywają się. Największa odpowiedzialność za przeciwdziałanie tym zagrożeniom spoczywa na twórcach oprogramowania i organach regulacyjnych. Największe ryzyko ponoszą użytkownicy oraz osoby, na które wpływ mają systemy sztucznej inteligencji. Ta rozbieżność sprawia, że nikt nie odczuwa odpowiedniego poczucia pilności. Osoby, które mogłyby spowolnić ten proces, nie są tymi, które poniosą jego konsekwencje.

    Zasięg informacji nie rozkłada się równomiernie. Media pochłaniają ją poprzez dezinformację i manipulację – takie praktyki podważają zaufanie do tego, co ludzie widzą i czytają – podczas gdy kwestie bezpieczeństwa narodowego skupiają się na cyberatakach i rozwoju broni, a nadzór kierowany jest ku temu wrogim podmiotowi, który wykona pierwszy ruch. Nie oszczędza to również sektora finansowego, gdzie oszustwa i manipulacje rynkowe stają się łatwiejsze, a na dodatek naruszenia prywatności wywołują falę skutków w całej gospodarce. Sztuczna inteligencja sprawia, że wyrządzanie szkód staje się tańsze dla każdego, kto już był do tego zdolny, a także możliwe dla osób, które wcześniej nie miały takiej możliwości.

    Slattery przedstawił te ustalenia jako listę kwestii, na które warto zwrócić uwagę już teraz, opartą raczej na prawdopodobieństwie niż na pewności. Reakcja na nie powinna stać się częścią dyskusji na temat zarządzania, którą firmy już prowadzą w zakresie cyberbezpieczeństwa i prywatności. Powinna ona również znaleźć swoje miejsce w planowaniu ciągłości działania, a nie stanowić oddzielnego punktu do odhaczenia z własnym terminem realizacji.

    Jeśli odpowiadasz za bezpieczeństwo w organizacji wdrażającej sztuczną inteligencję, liczba, która powinna Ci utkwić w pamięci w kontekście ryzyka związanego z AI, to nie 272 ekspertów ani 24 kategorie. Chodzi o to, że nawet w najlepszym scenariuszu, jaki modelowali naukowcy, cyberataki i niebezpieczne możliwości nie wypadły z pierwszej piątki. Działania ograniczające ryzyko zmniejszają prawdopodobieństwo ich wystąpienia. Nie eliminują jednak cyberzagrożeń z tej listy.

    Źródło: https://mitsloan.mit.edu/ideas-made-to-matter/these-are-most-urgent-ai-risks-according-to-272-experts


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Mapowanie AI ATT&CK jest błędne w czterech na pięć przypadków

    Mapowanie AI ATT&CK jest błędne w czterech na pięć przypadków

    Spis treści

    Zautomatyzowane mapowanie ATT&CK to główna funkcja każdej platformy CTI sprzedawanej w 2026 roku. Z opublikowanego w czerwcu badania porównawczego wynika, że najlepszy model oparty na oprogramowaniu open source prawidłowo rozpoznaje mniej więcej jedną technikę na pięć.

    Wyobraź sobie analityka SOC, który otrzymał właśnie raport o nowym incydencie i otrzymał polecenie, by go podzielić na MITRE ATT&CK techniki. Kilka godzin pracy. Ktoś wtrąca się z oczywistą sugestią: wrzuć to do modelu LLM – minuta i gotowe.

    Tak się stanie. Cztery na pięć technik będą błędne.

    Co obejmował test porównawczy

    Sześciu naukowców oszacowało to w artykule zatytułowanym “Ocena modeli językowych typu LLM typu open source pod kątem klasyfikacji technik ATT&CK z wieloma etykietami w raportach CTI”, arXiv ID 2606.18166, opublikowanym 16 czerwca 2026 r. Jest to pierwszy rzetelny punkt odniesienia dla mapowania ATT&CK w nieustrukturyzowanych danych wywiadowczych dotyczących zagrożeń, oparty na rzeczywistych raportach, a nie na wybiórczych fragmentach tekstu.

    Zespół stworzył zbiór 2 076 zdań zaczerpniętych z 83 Raport DFIR opisy, w których 1 281 zdań zawiera opis techniki, a 795 nie zawiera żadnego opisu. Adnotacje zostały wprowadzone ręcznie w sześciu etapach, a współczynnik kappa Cohena między adnotatorami wyniósł 0,68; w sumie zidentyfikowano 114 unikalnych technik.

    Przetestowano na nich siedem modeli open source przy kwantyzacji 4-bitowej Q4_K_M. DeepSeek-V2.5 z 236 mld parametrów, GPT-OSS z 120 mld i 20 mld, Llama 3.1 Instruct z 70 mld i 8 mld oraz Gemma 3 z 27 mld i 12 mld.

    Mapowanie ATT&CK

    Najlepszy wynik w kategorii mikro F1 wyniósł 0,22 i został osiągnięty przez DeepSeek-V2.5. W tym przebiegu zastosowano temperaturę 0,0, trzy podpowiedzi oraz włączoną funkcję łańcucha myślenia. Precyzja wyniosła 0,21, a odzyskiwalność 0,23.

    Najsłabszy z całej grupy, model GPT-OSS 20B, osiągał wyniki w przedziale od 0,00 do 0,06.

    Wygląda to na narzędzie, które w procesie produkcyjnym generuje więcej pracy, niż pozwala zaoszczędzić.

    Dlaczego wyniki dostawców wyglądały tak dobrze?

    Wcześniejsze narzędzia do mapowania ATT&CK mierzyły zupełnie inne parametry, a ich wyniki dobrze prezentują się na slajdach. TTPXHunter osiągnął współczynnik F1 na poziomie 0,97, TTPHunter – 0,88, TTPDrill – 0,82, a AttacKG – 0,79.

    Haczyk tkwi w sposobie oceny tych narzędzi. Punktacja obejmowała wyłącznie 50 najpopularniejszych technik, na podstawie opisów procedur zaczerpniętych bezpośrednio z ATT&CK. Ocena odbywała się następnie na poziomie raportu, a nie na poziomie zdania, więc model otrzymywał zdanie napisane językiem taksonomii i dopasowywał je z powrotem do taksonomii. Egzamin z otwartą książką.

    Prawdziwy raport wcale tak nie wygląda, a zbiór danych pokazuje, dlaczego. Jedno zdanie zawiera średnio 1,58 techniki, a 40,2 procent oznaczonych zdań zawiera więcej niż jedną. Sytuacja komplikuje się w przypadku długiego ogona, ponieważ spośród 114 technik 56 pojawia się pięć razy lub rzadziej, a 27 występuje dokładnie raz. Najczęściej występująca technika przewyższa najrzadziej występującą w stosunku 229 do 1.

    Gdzie mapowanie ATT&CK zawodzi

    Dwa rodzaje błędów psują wyniki, a oba są dobrze znane każdemu, kto na co dzień pracuje z modelami LLM.

    Największe szkody wyrządza przechwytywanie słów kluczowych, a jeden z przykładów przytoczonych w artykule pokazuje, jak poważne mogą być tego skutki. W raporcie pojawia się sformułowanie “staged a ransomware binary” (umieszczono plik binarny oprogramowania ransomware), które człowiek odczytuje jako “Ingress Tool Transfer” – co oznacza, że ktoś umieścił narzędzie na komputerze ofiary. Model skupia się na słowie „staged” i generuje wynik „Data Staged” – technikę z innej taktyki dotyczącej przygotowywania danych do wycieku. Słowo się zgadza, ale znaczenie nie.

    Z podobnego powodu pomijane są działania wieloetapowe. Model szuka dosłownych sformułowań z taksonomii zamiast analizować działania atakującego w trzech zdaniach, przez co połowa łańcucha ataku pozostaje niezauważona.

    Szybka regulacja nic nie dała

    Wynik, który powinien zaniepokoić każdego, kto rozważa zakup rozwiązania do mapowania ATT&CK, to ten, który w ogóle nie uległ zmianie. Zmiana temperatury z 0,0 do 0,5 powoduje zmianę wskaźnika micro F1 o maksymalnie 0,01 we wszystkich siedmiu modelach. Porównanie metody zero-shot z metodą three-shot, zarówno z zastosowaniem łańcucha rozumowania, jak i bez niego, nie przyniosło nigdzie statystycznie istotnego wzrostu wyników. Liczba parametrów wykazuje dodatnią korelację z wynikiem, jednak nawet przy 236 miliardach parametrów uzyskuje się jedynie 0,22.

    Mówiąc wprost, nie da się po prostu „wymanewrować” się z błędnego przyporządkowania do modelu ATT&CK.

    Jedyną skuteczną metodą było odzyskanie danych

    Autorzy załadowali dokumentację ATT&CK do magazynu wektorów FAISS i do każdego zapytania dołączyli pięć najlepiej pasujących definicji technik. Wynik Llama 70B wzrósł z 0,22 do 0,32, a współczynnik odzysku wzrósł z 0,23 do 0,41, co stanowi poprawę o współczynnik 1,78.

    Rzetelne mapowanie ATT&CK przewyższyło wszystkie kombinacje promptów i temperatur uwzględnione w badaniu łącznie. Rozumowanie nigdy nie stanowiło wąskiego gardła. Model nie przechowuje roboczej kopii kilkuset technik i podtechnik ATT&CK, więc opiera się na pamięci.

    Pobieranie danych również stwarza nową lukę, ponieważ wszystko, co znajduje się w tym magazynie wektorów, staje się dla modelu „prawdziwym obrazem rzeczywistości” – i właśnie ta sama słabość leży u podstaw zatrucie agenta zajmującego się badaniami nad sztuczną inteligencją.

    Kierunek jest już ustalony, nawet jeśli wartość 0,32 nadal nie spełnia wymagań klasy produkcyjnej. Przekaż modelowi definicje ATT&CK i przestań dostosowywać podpowiedzi.

    Cztery pytania, które warto zadać przed zakupem narzędzia do mapowania ATT&CK

    Należy poprosić dostawcę o udzielenie odpowiedzi na wszystkie cztery pytania na piśmie.

    1. Zapytaj, na podstawie jakiego zbioru danych oceniano to narzędzie. Przykłady procedur zaczerpnięte z samego ATT&CK nie dają żadnej informacji na temat tego, jak narzędzie to radzi sobie z twoimi raportami.
    2. Sprawdź wskaźnik pokrycia technik. Ranking 50 najpopularniejszych technik ukrywa „długi ogon”, w którym kryją się prawdziwe włamania.
    3. Sprawdź, czy ocena została przeprowadzona na poziomie raportu, czy na poziomie zdania. Ocena na poziomie raportu pozwala narzędziu odgadnąć trzy popularne techniki i mimo to sprawiać wrażenie dokładnego.
    4. Zapytaj o wskaźnik wyników fałszywie pozytywnych dla zdań, które w ogóle nie zawierają żadnej techniki. W zestawieniu porównawczym znalazło się 795 takich zdań nie bez powodu.

    Odpowiedział ci sprzedawca, który uniknął wszystkich czterech pytań.

    Każdy, kto już stosuje mapowanie ATT&CK w centrum operacyjnym bezpieczeństwa (SOC), powinien sprawdzić, ile z tych powiązań jest weryfikowanych przez człowieka, zanim trafią one do reguły wykrywania. Przy wskaźniku F1 wynoszącym 0,22 automatyzacja zasila system wykrywania, a raporty kierownictwa zawierają zmyślone TTP. Jest to gorsze niż całkowity brak mapowania, ponieważ sprawia wrażenie, jakby opierało się na wiedzy.

    Ta sama pułapka czai się w każdym systemie, który samodzielnie generuje wezwania związane z bezpieczeństwem, a mapowanie ATT&CK stanowi jeden z przykładów znacznie szerszego problemu związanego z jak działa uczenie się w autonomicznej cyberobronie.

    Trzeba informować o wszystkim człowieka. Wymaga tego logika.

    Źródło: https://arxiv.org/abs/2606.18166v1


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Agenci oparci na sztucznej inteligencji już teraz naruszają przepisy ustawy o cyberodporności

    Agenci oparci na sztucznej inteligencji już teraz naruszają przepisy ustawy o cyberodporności

    Spis treści

    Zgodność z ustawą o cyberodporności wydaje się być pewnym gruntem, gdy już przejdzie się audyt i uzyska znak CE. Nowe badanie wskazuje jednak, że ten grunt już się zapadł, ponieważ agenci sztucznej inteligencji mogą zamienić w pełni certyfikowane urządzenie w otwarte drzwi, nie zmieniając ani jednej linii jego kodu.

    Kosiarka automatyczna Hookii przeszła wszystkie testy wymagane przez przepisy UE, podobnie jak humanoidalny robot Unitree G1. Oba urządzenia posiadają certyfikaty i mogą być legalnie sprzedawane na terenie całej Unii, przynajmniej na papierze. W marcu 2026 r. agent sztucznej inteligencji, którego koszt był mniej więcej równy cenie filiżanki kawy, przejął kontrolę nad flotą 267 takich kosiarek, nie łamiąc przy tym ani jednego prawa ani nie stawiając stopy w hali produkcyjnej. Certyfikat wciąż wisi na ścianie, ale rzeczywistość już go wyprzedziła.

    Czego faktycznie wymaga zgodność z ustawą o cyberodporności

    The Unijna ustawa o cyberodporności osiągnie pełną moc w grudniu 2027 roku, a jej centralnym elementem będzie cykl zapewniania zgodności. Producenci oceniają ryzyko i zajmują się wszelkimi wykrytymi błędami, a następnie dostarczają poprawki zgodnie z ogłoszonym harmonogramem, jednocześnie zgłaszając aktywne luki. Leży za tym założenie, że oprogramowanie zawsze zawiera błędy i wymaga jedynie odpowiedniego zarządzania.

    Projekt ten opiera się na czterech niewypowiedzianych założeniach dotyczących rzeczywistego świata, a każde z nich musi się sprawdzić, aby proces ten miał jakikolwiek sens.

    1. Wykrycie luki wymaga prawdziwej wiedzy specjalistycznej i czasu, dlatego w danym momencie znana jest jedynie niewielka grupa powoli ujawnianych luk w zabezpieczeniach.
    2. Pełny zestaw luk w zabezpieczeniach produktu, które można wykorzystać, można zidentyfikować jeszcze przed jego wprowadzeniem na rynek, a ten wykaz pozostaje w przybliżeniu aktualny również po tej dacie.
    3. Wykorzystanie luk w zabezpieczeniach zdarza się na tyle rzadko i jest na tyle widoczne, że wykrycie takiego incydentu stanowi istotny sygnał.
    4. Działania naprawcze przebiegają szybciej niż ataki, więc regularny cykl instalowania poprawek wystarcza, by zachować przewagę.

    Víctor Mayoral-Vilches z firmy Alias Robotics, autor artykułu, szacuje, że rozbieżność ta dotyczy okresu dziesięciu tygodni. Komisja Europejska opracowała projekt ustawy we wrześniu 2022 roku, a ChatGPT został wprowadzony na rynek w listopadzie tego samego roku, co spowodowało, że obraz świata przedstawiony w rozporządzeniu został zamrożony dokładnie w momencie, gdy ten obraz…
    ## Dlaczego argument dotyczący wielkości mija się z celem

    Większość komentarzy na temat sztucznej inteligencji i cyberbezpieczeństwa skupia się na jednym fakcie – że systemy automatyczne wykrywają więcej błędów niż ludzie. To prawda, ale w kontekście zgodności z ustawą FORENCE to tylko połowa historii.
    Kiedy w kwietniu 2024 r. agent GPT-4 wykorzystał lukę 87% w oparciu o opis CVE, samo to nie stanowi zagrożenia. Firmy ponownie ustalają priorytety i dokumentują ryzyko, jakie akceptują w pozostałych przypadkach, co jest dokładnie tym zachowaniem, jakie przewidział art. 14, ograniczając obowiązkowe zgłoszenia do błędów będących przedmiotem aktywnych ataków i wyłączając z tego obowiązku rutynowe wyniki skanowania. Nie jest to też tylko laboratoryjna ciekawostka, ponieważ Narzędzia hakerskie oparte na sztucznej inteligencji już teraz przeprowadzają ataki na serwery produkcyjne przez całą dobę.

    Czas ma jednak znacznie większy wpływ niż sama liczba. Mediana czasu od ujawnienia do wykorzystania luki wynosiła w 2018 roku 771 dni; w 2023 r. wynosił 5,3 dnia, co stanowiło wykładniczy spadek o współczynniku R² = 0,98, a w 2025 r. wartość ta zbliżyła się do zera, podczas gdy odsetek luk wykorzystanych do ataków przed lub w momencie publicznego ujawnienia wzrósł z 19% do 54%.

    Certyfikat, który pozostaje ważny, nawet jeśli produkt ulegnie zmianie

    Zgodność z ustawą o cyberodporności

    Zgodność z ustawą o cyberodporności przekształca się w kruchy wymóg, zgodnie z którym produkty muszą być dostarczane “bez znanych luk w zabezpieczeniach, które można wykorzystać”. Klauzula ta zakłada, że to, co jest “znane” pierwszego dnia, w przybliżeniu odpowiada temu, co można “wykryć” tydzień później.


    Google’s Agent z filmu „Wielki sen” w listopadzie 2024 roku na żądanie odkryto na nowo ukrytą lukę w SQLite, a przeprowadzenie tego rodzaju ataku kosztuje dziś około stu dolarów za próbę, jednak produkt i jego certyfikat pozostały na papierze dokładnie takie same. Jego rzeczywisty zakres podatności na ataki i tak uległ zmianie, ponieważ warunki związane z

    Dotyczy to każdego producenta wprowadzającego na rynek UE urządzenie podłączone do sieci, niezależnie od tego, czy jest to kamera IP, urządzenie przemysłowe
    sterownik, robot magazynowy lub inteligentne urządzenie – jeśli jest w pełni zgodne z normami – może stać się łatwym celem już tydzień po certyfikacji, ponieważ luka wynikała z zestawu narzędzi atakującego i znajdowała się całkowicie poza kodem samego produktu.

    Dwa roboty, jeden dowód

    W artykule tezę tę poparto przykładami dwóch urządzeń przetestowanych bezpośrednio w ramach ustawy o cyberodporności: humanoida Unitree G1
    oraz kosiarka Hookii.

    Nieobroniony agent AI przejął kontrolę nad urządzeniem G1, wykorzystując lukę w zabezpieczeniach polegającą na wstrzyknięciu poleceń przez Bluetooth oraz identyczny klucz AES wbudowany w każdy egzemplarz floty. Następnie odszyfrował dane telemetryczne robota i uzyskał dostęp do sterowania zdalnego, osiągając wskaźnik skuteczności na poziomie 79%. W przypadku kosiarki 38 połączonych luk w zabezpieczeniach pozwoliło na ominięcie geofence’u bezpieczeństwa w całej flocie 267 urządzeń, osiągając wskaźnik skuteczności na poziomie 75%.

    Po włączeniu obu robotów do systemu „Robot Immune System” – autonomicznego agenta sztucznej inteligencji pełniącego funkcję obronną – skuteczność ataku spada do 14% i 8%, a czas wykrycia i powstrzymania ataku wynosi odpowiednio poniżej 8 i 12 sekund. Wniosek płynący z artykułu ma dwojakie znaczenie, ponieważ zarówno atakujący, jak i broniący się wykorzystują tę samą technologię, więc jedyną certyfikacją, która się sprawdza, jest taka, która nigdy nie przestaje działać. Mechanizm stojący za tą koncepcją omówiłem w jak działa uczenie się w autonomicznej cyberobronie.

    Sposoby na sprawdzenie skuteczności programu zapewnienia zgodności

    Jeśli doradzacie klientom w kwestiach zgodności z ustawą o odporności cybernetycznej lub dostarczacie produkty podłączone do sieci do UE, te zmiany mają większe znaczenie niż sama formalność.

    1. Zaplanuj ponowny audyt po uzyskaniu certyfikatu, ponieważ audyt punktowy dostarcza informacji wyłącznie o dniu, w którym został przeprowadzony.
    2. Należy uwzględnić w budżecie koszty ciągłego monitorowania jako wydatki cykliczne, ponieważ czas od ujawnienia luki do jej wykorzystania mierzy się obecnie w dniach, a czasem nawet w godzinach.
    3. Traktuj defensywnego agenta AI jako kluczowy element zapewnienia zgodności z przepisami; dane zawarte w artykule pokazują, że skuteczność ataków spada z 791 TP3T do 141 TP3T, gdy taki agent jest uruchomiony.
    4. Zapytaj dowolnego dostawcę, w jaki sposób wykrywa rozbieżności między tym, co zostało certyfikowane, a tym, co faktycznie działa obecnie.

    W grudniu 2027 r. ustawa o cyberodporności wejdzie w życie w pełnym zakresie, wprowadzając certyfikację produktów w świecie, który już poszedł naprzód. Coroczny certyfikat zgodności nie ma żadnej wartości po następnym wtorku, a jedyną możliwością zapewnienia ochrony na dłużej niż tydzień jest ciągła ochrona oparta na agentach.

    Źródło: https://arxiv.org/abs/2607.07109


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • W Polsce protokół HTTPS jest niemal powszechnie stosowany w sektorze publicznym. Nie dotyczy to jednak warstw wyższych

    W Polsce protokół HTTPS jest niemal powszechnie stosowany w sektorze publicznym. Nie dotyczy to jednak warstw wyższych

    Spis treści

    Aktualizacja z 10 lipca 2026 r. Pierwsza wersja tego artykułu opierała się na 50 domenach i zawierała stwierdzenie, że dwie trzecie polskich gmin nie korzystało z protokołu HTTPS. Próba ta była niewielka i nieobiektywna. Ponownie przeanalizowałem 2442 z 2479 polskich gmin i przeredagowałem artykuł w oparciu o pełne dane. Prawdziwe liczby przedstawiono poniżej.

    W urzędzie miasta wypełniasz formularz. Wpisujesz swój numer identyfikacyjny, adres i datę urodzenia. Klikasz „Wyślij”. Dobra wiadomość: na niemal każdej polskiej stronie internetowej gminy połączenie to jest obecnie szyfrowane. Problem tkwi w tym, co dzieje się dalej.

    Przeskanowałem 2442 z 2479 gmin w Polsce – każdą z nich, która posiadała działający adres internetowy w oficjalnym rejestrze MSWiA. Zrobiłem to w sposób pasywny, nie ingerując w żaden system. Wykorzystałem jedynie protokół SSL, nagłówki HTTP i DNS – czyli elementy, które każdy może zobaczyć z zewnątrz.

    Co to właściwie oznacza

    Zacznijmy od dobrych wiadomości, bo takie są. Protokół HTTPS w sektorze publicznym w Polsce jest dostępny niemal wszędzie. Tylko około 1 procent gmin nie korzysta w ogóle z protokołu HTTPS. Kłódka, której szuka większość mieszkańców, zazwyczaj tam jest.

    Szyfrowanie jest jednak fundamentem, a nie samym domem. I prawie nic na nim nie stoi.

    67 procent gmin nie wysyła nagłówka HSTS. 77 procent nie posiada polityki Content-Security-Policy. 79 procent nie ustawia polityki Permissions-Policy. 58 procent nie posiada zabezpieczeń przed clickjackingiem. Co trzecia gmina ma co najmniej jedną lukę, którą oceniam jako wysokiego ryzyka.

    W kwestii statystyk dotyczących protokołu HTTPS jest też pewien mniej oczywisty aspekt. 9 procent gmin posiada ważny certyfikat, ale nadal udostępnia treści przez zwykły protokół HTTP, jeśli użytkownik spróbuje uzyskać do nich dostęp tą drogą, ponieważ nikt nie skonfigurował przekierowania. Szyfrowanie istnieje, ale połączenie może po cichu z niego wypadnąć, a dane logowania przesłane przez ten przypadkowy protokół HTTP stają się narażone na atak. Sytuacja pogarsza się, gdy to samo hasło jest używane w innych miejscach – właśnie ten nawyk leży u podstaw większości bezpieczeństwo haseł wszędzie pełno jest porażek.

    Dlaczego wszyscy patrzą w złym kierunku

    Większość dyskusji na temat cyberbezpieczeństwa w sektorze publicznym kręci się wokół oprogramowania ransomware, hakerów w bluzach z kapturem i ataków z zagranicy. To wygodna narracja. Zrzuca winę na “rosyjskich hakerów” – cel, z którym tak naprawdę nikt nie może nic zrobić. Nudne sprawy, takie, które porusza się w porządnym strategia cyberbezpieczeństwa, nigdy nie trafia na pierwsze strony gazet.

    HTTPS w sektorze publicznym

    Prawdziwy problem jest nudny. W konfiguracji serwera brakuje kilku wierszy. Przekierowanie na HTTPS, którego nigdy nie skonfigurowano, nagłówek bezpieczeństwa, którego nikt nie dodał. To zwykłe zaniedbanie, a skan pasywny wykrywa je w ciągu kilku sekund, nawet nie wchodząc do wnętrza systemu.

    Żadna z tych nagłówków nie jest skomplikowana. Wystarczy je raz ustawić w pliku konfiguracyjnym, a będą działać przez lata. Brak nagłówków Content-Security-Policy lub X-Frame-Options pozwala komuś wstrzyknąć obcy kod na stronę urzędu lub ukryć prawdziwą witrynę w niewidocznej ramce, którą kontroluje. W przypadku witryny, na której mieszkańcy wprowadzają dane osobowe, nie jest to tylko kwestia estetyki.

    Co to oznacza dla Ciebie, jeśli prowadzisz jedną z takich stron

    Jeśli strona internetowa gminy nadal działa wyłącznie w protokole HTTP – czyli te 9 procent – stanowi to bezpośredni problem w kontekście RODO. Przetwarzacie dane obywateli bez podstawowej ochrony podczas przesyłania, a audytor nie musi być hakerem, aby to dostrzec. Wystarczy, że otworzy stronę w protokole HTTP i zobaczy, jak znika szyfrowanie.

    Brakujące nagłówki zabezpieczeń znajdują się na kolejnym poziomie. Stanowią one “odpowiednie środki techniczne”, których wymaga rozporządzenie – te, których pominięcie trzeba umieć uzasadnić. “Nigdy nie zdążyliśmy tego zrobić” nie jest odpowiedzią, jaką chcesz mieć w dokumentacji po wystąpieniu incydentu.

    Rozwiązania techniczne – wyjaśnione bez żargonu

    HTTPS to szyfrowanie połączenia. Polskie gminy mają tę funkcję. To jest osiągnięcie, które warto zachować.

    HSTS nakazuje przeglądarce, by zawsze łączyła się z witryną w trybie szyfrowanym i nigdy w inny sposób. 67 procent gmin objętych badaniem nie wysyła tego nagłówka, więc osoba atakująca nadal może próbować wymusić, by pierwsze połączenie odbyło się w trybie zwykłego HTTP.

    CSP i X-Frame-Options, które zostały omówione w Przewodnik OWASP dotyczący bezpiecznych nagłówków, utrudniają wstrzyknięcie obcego kodu do strony lub ukrycie legalnej witryny w niewidocznej ramce kontrolowanej przez kogoś innego.

    Certyfikat SSL można uzyskać bezpłatnie za pośrednictwem Let’s Encrypt, a większość gmin już takie rozwiązanie stosuje. Dodanie tych nagłówków zajmuje zaledwie kilka wierszy w pliku konfiguracyjnym serwera i pół godziny twojego czasu – można to załatwić podczas przerwy na kawę.

    Sprawdź swoją stronę już dziś

    Otwórz swoją stronę w nowej karcie. Prawdopodobnie widoczna jest ikona kłódki, co jest dobrym znakiem. Teraz otwórz konsolę programisty i sprawdź nagłówki odpowiedzi. To właśnie tam kryje się luka: brak HSTS, brak CSP, brak ochrony przed ramkami. Jeśli ich brakuje, wykryłeś to przed kolejnym audytem.

    Pobierz pełną kartę wyników w formacie PDF, zawierającą zestawienie według rodzaju gminy.


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Prywatność agentów sztucznej inteligencji to luka, której nikt nie bada

    Spis treści

    AI agent Kwestia prywatności rzadko trafia na listę kontrolną dotyczącą bezpieczeństwa, a właśnie ta luka jest źródłem prawdziwych szkód. Wyobraźmy sobie pracownika zajmującego się rutynowym zadaniem: sprawdza status zamówienia klienta, a następnie – zanim udzieli odpowiedzi – pobiera pasujące rekordy z systemu CRM i bazy danych faktur, a wszystko to w ciągu dziesięciu sekund. Nikt nie zatrzymał się, by zapytać, czy w tym samym wątku rozmowy, wciąż przechowywanym w pamięci roboczej, nie znalazł się również numer karty innego klienta.

    Problem w skrócie

    Obecnie agent LLM działa w oparciu o bazy danych, zbiory dokumentów pobierane za pośrednictwem RAG, zewnętrzne interfejsy API oraz inne agenty znajdujące się niżej w łańcuchu zadań. Każda z tych płaszczyzn stwarza własną ścieżkę wycieku danych agenta, a każda z nich stanowi martwy punkt w większości agentów AI prywatność analizy. Badanie śledzi, w jaki sposób dane wrażliwe faktycznie opuszczają system. Część z nich wychodzi poprzez zapytania, które agent sam dla siebie tworzy. Reszta przedostaje się na zewnątrz poprzez wyniki pośrednie przechowywane w pamięci lub poprzez komunikaty przekazywane innemu agentowi w trakcie

    Większość polityk bezpieczeństwa została opracowana tak, by wyłapać jedną z tych ścieżek, pozostawiając pozostałe dwie całkowicie otwarte. Ta rozbieżność stanowi rzeczywisty kształt „drzwi” problemu prywatności agenta AI, podczas gdy dwa boczne wejścia pozostają otwarte.

    Dlaczego większość zespołów popełnia ten błąd

    Większość analiz bezpieczeństwa agentów opiera się na scenariuszach ataków, takich jak wstrzyknięcie argumentu lub próba przełamania ograniczeń, które umykają uwadze modelu. Niniejsze badanie skupia się przede wszystkim na kwestii, z jakimi danymi ma do czynienia agent, niezależnie od tego, czy ktoś go atakuje. Zespół przeprowadzający testy typu „red team” na swoim agencie pod kątem znanych ataków może nadal przeoczyć ryzyko tkwiące w samym projekcie dostępu do danych.

    ochrona prywatności agentów sztucznej inteligencji

    Wydaje się, że kontrola dostępu na poziomie bazy danych powinna to uwzględniać, choć odpowiada ona jedynie na węższe pytanie – kto może w danej chwili odczytać rekord. Nie mówi ona nic o tym, co agent robi z tym rekordem trzy sesje później. W badaniu przeanalizowano sześć mechanizmów zarządzania stworzonych w celu zapewnienia prywatności, kontroli przepływu informacji oraz wykrywania wycieków, działających w sposób łączący się w wielu sesjach. Pozostałe mechanizmy wykrywają jedynie pojedyncze żądania. Prywatność agenta AI faktycznie ulega naruszeniu na poziomie wzorców, łączących się w różnych sesjach, co jest właśnie tym, czego brakuje w pozostałych pięciu mechanizmach.


    Co to oznacza dla Ciebie

    Wdrażanie agentów u klientów lub uruchamianie ich wewnątrz własnej firmy zmienia zakres elementów, które powinny znaleźć się na liście kontrolnej dostawcy. Dane uwierzytelniające uzyskane w ramach testów typu „red team” metodą jailbreak obejmują obecnie tylko część tej listy. Bardziej trafne pytanie dotyczy prywatności agenta opartego na sztucznej inteligencji we wszystkich obszarach, z którymi agent ma kontakt w danym momencie – w tym podczas pobierania informacji za pomocą RAG, wykonywania zapytań SQL, korzystania z pamięci oraz wymiany komunikatów z innymi agentami.
    Autorzy badania twierdzą, że taki łączny punkt odniesienia praktycznie jeszcze nie istnieje, a w świetle RODO i podobnych przepisów ten brak staje się prawdziwym obciążeniem, ponieważ udowodnienie zachowania należytej staranności staje się trudne, gdy przeprowadzony test pomija większość rzeczywistej ścieżki danych w systemie.

    Kwestie techniczne, w prostych słowach

    Weźmy konkretny przykład, który pokazuje, jak w praktyce wygląda zagrożenie dla prywatności związane z agentami AI. Agent działu kadr odpowiada na pytanie pracownika dotyczące dni urlopowych. Podczas wyszukiwania danych pobiera również pole zawierające informację o przyczynie medycznej leżącej u podstaw
    Wcześniejsza nieobecność, odnotowana tuż obok wyniku analizy danych, zostaje zapisana w pamięci agenta. Trzy zapytania później oddzielny wątek dotyczący tego samego pracownika czerpie z tej pamięci i ujawnia szczegół, o którego ujawnienie nikt nie prosił.

    Błąd wynika z braku granicy między tym, co agent wie, a tym, co może powiedzieć w danym kontekście – granicy, której żaden atakujący nie musiał przekraczać. Kontrola przepływu informacji ma na celu wyznaczenie tej granicy na poziomie warstwy danych, a nie
    warstwa podpowiedzi. Oznacza ona poziom wrażliwości; monitor śledzi ten znacznik niezależnie od tego, gdzie trafią dane – czy to w odpowiedzi na czacie, czy w wiadomości wysłanej do innego agenta. To właśnie ta luka, bardziej niż jakikolwiek atak oparty na podpowiedziach, stanowi codzienny obraz niepowodzeń agentów AI w zakresie ochrony prywatności.

    Cztery pytania, które należy sobie zadać przed wysłaniem agenta

    Zanim agent uzyska dostęp do danych produkcyjnych, cztery pytania pozwalają wyeliminować większość opisanych powyżej zagrożeń.

    Po pierwsze, należy sporządzić mapę wszystkich obszarów danych, do których agent ma dostęp, w tym tych wykraczających daleko poza jego pierwotny zakres działania, obejmując wszystkie bazy danych, repozytoria dokumentów, interfejsy API oraz warstwy pamięci objęte analizą. Po drugie, należy śledzić dane w kontekście sesji, a nie pojedynczych żądań, sprawdzając, czy fakt ujawniony w pierwszej sesji może pojawić się ponownie w piątej sesji bez czyjejkolwiek zgody.

    Po trzecie, należy oddzielić pobieranie danych od ich ujawniania, ponieważ agent powtarzający ten zapis na głos potrzebuje innych uprawnień. Po czwarte, należy poprosić dostawców o przedstawienie wyników testów porównawczych zamiast prezentacji demonstracyjnej, ponieważ system odporny na jailbreak nie pokazuje nic na temat poziomu ochrony prywatności agenta AI w kontekście RAG i SQL, nie mówiąc już o pamięci.


    Zarządzanie prywatnością agentów AI będzie stawało się coraz trudniejsze, ponieważ systemy agentów nieustannie dodają nowe źródła danych i łączą coraz więcej agentów, które przekazują sobie informacje. Dopóki żaden standard nie obejmie tego pełnego obrazu sytuacji, każda firma korzystająca obecnie z agentów musi samodzielnie decydować, jaki poziom prywatności jest dla niej odpowiedni, i świadomie wybierać kompromisy w tym zakresie, zanim jakiś incydent podejmie tę decyzję za nią.


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś