Tag: atak typu mitre

  • Mapowanie AI ATT&CK jest błędne w czterech na pięć przypadków

    Mapowanie AI ATT&CK jest błędne w czterech na pięć przypadków

    Spis treści

    Zautomatyzowane mapowanie ATT&CK to główna funkcja każdej platformy CTI sprzedawanej w 2026 roku. Z opublikowanego w czerwcu badania porównawczego wynika, że najlepszy model oparty na oprogramowaniu open source prawidłowo rozpoznaje mniej więcej jedną technikę na pięć.

    Wyobraź sobie analityka SOC, który otrzymał właśnie raport o nowym incydencie i otrzymał polecenie, by go podzielić na MITRE ATT&CK techniki. Kilka godzin pracy. Ktoś wtrąca się z oczywistą sugestią: wrzuć to do modelu LLM – minuta i gotowe.

    Tak się stanie. Cztery na pięć technik będą błędne.

    Co obejmował test porównawczy

    Sześciu naukowców oszacowało to w artykule zatytułowanym “Ocena modeli językowych typu LLM typu open source pod kątem klasyfikacji technik ATT&CK z wieloma etykietami w raportach CTI”, arXiv ID 2606.18166, opublikowanym 16 czerwca 2026 r. Jest to pierwszy rzetelny punkt odniesienia dla mapowania ATT&CK w nieustrukturyzowanych danych wywiadowczych dotyczących zagrożeń, oparty na rzeczywistych raportach, a nie na wybiórczych fragmentach tekstu.

    Zespół stworzył zbiór 2 076 zdań zaczerpniętych z 83 Raport DFIR opisy, w których 1 281 zdań zawiera opis techniki, a 795 nie zawiera żadnego opisu. Adnotacje zostały wprowadzone ręcznie w sześciu etapach, a współczynnik kappa Cohena między adnotatorami wyniósł 0,68; w sumie zidentyfikowano 114 unikalnych technik.

    Przetestowano na nich siedem modeli open source przy kwantyzacji 4-bitowej Q4_K_M. DeepSeek-V2.5 z 236 mld parametrów, GPT-OSS z 120 mld i 20 mld, Llama 3.1 Instruct z 70 mld i 8 mld oraz Gemma 3 z 27 mld i 12 mld.

    Mapowanie ATT&CK

    Najlepszy wynik w kategorii mikro F1 wyniósł 0,22 i został osiągnięty przez DeepSeek-V2.5. W tym przebiegu zastosowano temperaturę 0,0, trzy podpowiedzi oraz włączoną funkcję łańcucha myślenia. Precyzja wyniosła 0,21, a odzyskiwalność 0,23.

    Najsłabszy z całej grupy, model GPT-OSS 20B, osiągał wyniki w przedziale od 0,00 do 0,06.

    Wygląda to na narzędzie, które w procesie produkcyjnym generuje więcej pracy, niż pozwala zaoszczędzić.

    Dlaczego wyniki dostawców wyglądały tak dobrze?

    Wcześniejsze narzędzia do mapowania ATT&CK mierzyły zupełnie inne parametry, a ich wyniki dobrze prezentują się na slajdach. TTPXHunter osiągnął współczynnik F1 na poziomie 0,97, TTPHunter – 0,88, TTPDrill – 0,82, a AttacKG – 0,79.

    Haczyk tkwi w sposobie oceny tych narzędzi. Punktacja obejmowała wyłącznie 50 najpopularniejszych technik, na podstawie opisów procedur zaczerpniętych bezpośrednio z ATT&CK. Ocena odbywała się następnie na poziomie raportu, a nie na poziomie zdania, więc model otrzymywał zdanie napisane językiem taksonomii i dopasowywał je z powrotem do taksonomii. Egzamin z otwartą książką.

    Prawdziwy raport wcale tak nie wygląda, a zbiór danych pokazuje, dlaczego. Jedno zdanie zawiera średnio 1,58 techniki, a 40,2 procent oznaczonych zdań zawiera więcej niż jedną. Sytuacja komplikuje się w przypadku długiego ogona, ponieważ spośród 114 technik 56 pojawia się pięć razy lub rzadziej, a 27 występuje dokładnie raz. Najczęściej występująca technika przewyższa najrzadziej występującą w stosunku 229 do 1.

    Gdzie mapowanie ATT&CK zawodzi

    Dwa rodzaje błędów psują wyniki, a oba są dobrze znane każdemu, kto na co dzień pracuje z modelami LLM.

    Największe szkody wyrządza przechwytywanie słów kluczowych, a jeden z przykładów przytoczonych w artykule pokazuje, jak poważne mogą być tego skutki. W raporcie pojawia się sformułowanie “staged a ransomware binary” (umieszczono plik binarny oprogramowania ransomware), które człowiek odczytuje jako “Ingress Tool Transfer” – co oznacza, że ktoś umieścił narzędzie na komputerze ofiary. Model skupia się na słowie „staged” i generuje wynik „Data Staged” – technikę z innej taktyki dotyczącej przygotowywania danych do wycieku. Słowo się zgadza, ale znaczenie nie.

    Z podobnego powodu pomijane są działania wieloetapowe. Model szuka dosłownych sformułowań z taksonomii zamiast analizować działania atakującego w trzech zdaniach, przez co połowa łańcucha ataku pozostaje niezauważona.

    Szybka regulacja nic nie dała

    Wynik, który powinien zaniepokoić każdego, kto rozważa zakup rozwiązania do mapowania ATT&CK, to ten, który w ogóle nie uległ zmianie. Zmiana temperatury z 0,0 do 0,5 powoduje zmianę wskaźnika micro F1 o maksymalnie 0,01 we wszystkich siedmiu modelach. Porównanie metody zero-shot z metodą three-shot, zarówno z zastosowaniem łańcucha rozumowania, jak i bez niego, nie przyniosło nigdzie statystycznie istotnego wzrostu wyników. Liczba parametrów wykazuje dodatnią korelację z wynikiem, jednak nawet przy 236 miliardach parametrów uzyskuje się jedynie 0,22.

    Mówiąc wprost, nie da się po prostu „wymanewrować” się z błędnego przyporządkowania do modelu ATT&CK.

    Jedyną skuteczną metodą było odzyskanie danych

    Autorzy załadowali dokumentację ATT&CK do magazynu wektorów FAISS i do każdego zapytania dołączyli pięć najlepiej pasujących definicji technik. Wynik Llama 70B wzrósł z 0,22 do 0,32, a współczynnik odzysku wzrósł z 0,23 do 0,41, co stanowi poprawę o współczynnik 1,78.

    Rzetelne mapowanie ATT&CK przewyższyło wszystkie kombinacje promptów i temperatur uwzględnione w badaniu łącznie. Rozumowanie nigdy nie stanowiło wąskiego gardła. Model nie przechowuje roboczej kopii kilkuset technik i podtechnik ATT&CK, więc opiera się na pamięci.

    Pobieranie danych również stwarza nową lukę, ponieważ wszystko, co znajduje się w tym magazynie wektorów, staje się dla modelu „prawdziwym obrazem rzeczywistości” – i właśnie ta sama słabość leży u podstaw zatrucie agenta zajmującego się badaniami nad sztuczną inteligencją.

    Kierunek jest już ustalony, nawet jeśli wartość 0,32 nadal nie spełnia wymagań klasy produkcyjnej. Przekaż modelowi definicje ATT&CK i przestań dostosowywać podpowiedzi.

    Cztery pytania, które warto zadać przed zakupem narzędzia do mapowania ATT&CK

    Należy poprosić dostawcę o udzielenie odpowiedzi na wszystkie cztery pytania na piśmie.

    1. Zapytaj, na podstawie jakiego zbioru danych oceniano to narzędzie. Przykłady procedur zaczerpnięte z samego ATT&CK nie dają żadnej informacji na temat tego, jak narzędzie to radzi sobie z twoimi raportami.
    2. Sprawdź wskaźnik pokrycia technik. Ranking 50 najpopularniejszych technik ukrywa „długi ogon”, w którym kryją się prawdziwe włamania.
    3. Sprawdź, czy ocena została przeprowadzona na poziomie raportu, czy na poziomie zdania. Ocena na poziomie raportu pozwala narzędziu odgadnąć trzy popularne techniki i mimo to sprawiać wrażenie dokładnego.
    4. Zapytaj o wskaźnik wyników fałszywie pozytywnych dla zdań, które w ogóle nie zawierają żadnej techniki. W zestawieniu porównawczym znalazło się 795 takich zdań nie bez powodu.

    Odpowiedział ci sprzedawca, który uniknął wszystkich czterech pytań.

    Każdy, kto już stosuje mapowanie ATT&CK w centrum operacyjnym bezpieczeństwa (SOC), powinien sprawdzić, ile z tych powiązań jest weryfikowanych przez człowieka, zanim trafią one do reguły wykrywania. Przy wskaźniku F1 wynoszącym 0,22 automatyzacja zasila system wykrywania, a raporty kierownictwa zawierają zmyślone TTP. Jest to gorsze niż całkowity brak mapowania, ponieważ sprawia wrażenie, jakby opierało się na wiedzy.

    Ta sama pułapka czai się w każdym systemie, który samodzielnie generuje wezwania związane z bezpieczeństwem, a mapowanie ATT&CK stanowi jeden z przykładów znacznie szerszego problemu związanego z jak działa uczenie się w autonomicznej cyberobronie.

    Trzeba informować o wszystkim człowieka. Wymaga tego logika.

    Źródło: https://arxiv.org/abs/2606.18166v1


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Ataki cybernetyczne wykorzystujące sztuczną inteligencję nie wymagają już udziału hakerów

    Spis treści

    Cyberataki oparte na sztucznej inteligencji nie wymagają już obecności wykwalifikowanego operatora przy klawiaturze. Firma Antropiczny przez dwanaście miesięcy śledziła 832 zablokowane konta, które przeprowadzały cyberataki oparte na sztucznej inteligencji na działającą infrastrukturę, prawdziwych sprawców, rzeczywiste cele i powodowały realne konsekwencje.

    Wyniki te powinny wzbudzić niepokój u każdego specjalisty ds. bezpieczeństwa.

    W ciągu jednego roku liczba podmiotów wysokiego ryzyka wzrosła 1,7-krotnie

    W okresie od początku 2025 r. do początku 2026 r. odsetek podmiotów o średnim i wysokim ryzyku wzrósł z 33% do 56%. Oznacza to wzrost o 1,7-krotność w ciągu dwunastu miesięcy.

    Oto, czego to nie oznacza.

    Nie oznacza to, że hakerzy stali się lepsi w programowaniu. Wyniki dotyczące zaawansowania technicznego nie uległy radykalnej zmianie. Liczba różnych technik ataku stosowanych przez te podmioty pozostała na poziomie porównywalnym z podmiotami stwarzającymi średnie ryzyko.

    Zmieniła się koordynacja, to, kto (lub co) łączył te techniki oraz w jakim stopniu odbywało się to niezależnie.

    Wskaźnik, który faktycznie pozwala przewidzieć zagrożenie

    Zespoły ds. bezpieczeństwa opierają się na wskaźnikach złożoności: im więcej narzędzi i technik, tym większe ryzyko. Dane firmy Anthropic podważają to założenie.

    Poziom zaawansowania technicznego nie był miarodajnym wskaźnikiem zagrożenia. Cyberataki oparte na sztucznej inteligencji, przeprowadzone przez podmioty wykorzystujące 50 technik z modelu MITRE ATT&CK, nie były w sposób jednoznaczny bardziej niszczycielskie niż te, w których zastosowano 30 technik.

    cyberataki wykorzystujące sztuczną inteligencję

    To, co naprawdę wyróżnia to rozwiązanie: możliwość łączenia kolejnych etapów ataku bez udziału człowieka. Rozpoznanie celu. Wybór wektora. Dostosowanie się do nieznanej infrastruktury. Archiwizacja danych. A wszystko to bez konieczności zatwierdzania każdego kroku przez człowieka.

    “Sztuczna inteligencja jako asystent” i “sztuczna inteligencja jako operator” to dwie różne kategorie zagrożeń.

    GTG-1002: Przypadek, który zmienia model zagrożeń

    GTG-1002 uzyskał maksymalny wynik 100 punktów w skali ryzyka ARiES firmy Anthropic, wykorzystując zaledwie 30 technik. Wiele podmiotów o średnim poziomie ryzyka stosuje podobny zestaw technik.

    Co wykorzystano: Claude Code na systemie Kali Linux, połączony z serwerami MCP (Model Context Protocol). Sztuczna inteligencja nie sugerowała poleceń, lecz je wykonywała. Autonomiczny rozpoznanie. Autonomiczne przemieszczanie się w sieci. Autonomiczne gromadzenie danych. W przypadku napotkania nieznanej infrastruktury dostosowywała się do niej bez żadnych instrukcji.

    Tak właśnie wyglądają cyberataki oparte na sztucznej inteligencji przy maksymalnym poziomie ryzyka: brak udziału człowieka, brak technik, które mogłyby wzbudzić podejrzenia, oraz standardowa ocena ryzyka, która całkowicie pomija to zagrożenie.

    Dlaczego tradycyjne metody wykrywania zawodzą

    W modelu MITRE ATT&CK nie ma kategorii “autonomiczna koordynacja łańcucha ataku”. Firma Anthropic współpracuje z MITRE, aby to zmienić. Obecnie luka ta nadal istnieje.

    Cyberataki wykorzystujące sztuczną inteligencję nie przebiegają według ustalonego schematu – ten sam agent może w kolejnych rundach atakować te same cele w różny sposób. Tradycyjne metody wykrywania opierają się na poszukiwaniu konkretnych sygnatur, narzędzi i znanych technik. Takie podejście z natury rzeczy nie pozwala wychwycić zachowań autonomicznych.

    Włączono wykrywanie AI cyberataki wymaga rozpoznawania wzorców zachowań na różnych etapach ataku, a nie tylko pojedynczych uruchomień narzędzi. Wymaga to innej architektury wykrywania niż ta, z której obecnie korzysta większość zespołów.

    Jak firma Anthropic ocenia ryzyko związane ze sztuczną inteligencją: ARiES

    Wskaźnik AI Risk Enablement Score dzieli ocenę zagrożeń na trzy wymiary, których łączna skala wynosi 100 punktów:

    Zagrożenie (0–35)

    Ocenia jasność intencji, umiejętności techniczne oraz stosowanie taktyk unikania.

    Wrażliwość (0–35)

    Mierzy, w jakim stopniu dany model umożliwia wyrządzenie szkody. Najwyższe wyniki osiągają tutaj dostęp do interfejsów API oraz narzędzia umożliwiające autonomiczne działanie – czyli dokładnie te elementy, które stanowią podstawę cyberataków z wykorzystaniem sztucznej inteligencji o wysokim stopniu ryzyka.

    Wpływ (0–30)

    Ocenia rzeczywiste skutki w przypadku powodzenia operacji.

    System opiera się na sumowaniu, a nie na mnożeniu. W tradycyjnych modelach ryzyka wynik równy zero w jednym wymiarze powoduje obniżenie całej oceny. System ARiES rejestruje rozwój zdolności na wczesnym etapie, zanim dojdzie do szkód, dzięki czemu jest bardziej przydatny do wczesnej interwencji.

    Gdzie sztuczna inteligencja jest obecnie wykorzystywana

    W przypadku wszystkich 832 zablokowanych kont wykorzystanie sztucznej inteligencji skupiało się na fazach przygotowawczych:

    • 69% wykorzystano sztuczną inteligencję do opracowania nowych funkcji, głównie związanych ze złośliwym oprogramowaniem
    • 64.7% – techniki zaciemniania i unikania wykrycia
    • 55.9% – gromadzenie danych lokalnych
    • 54.9% – wyłączenie narzędzi zabezpieczających

    Działania mające na celu obejście zabezpieczeń stanowiły 84,41 TP3T całej zarejestrowanej aktywności. Operacje sieciowe w czasie rzeczywistym pozostają na niższym poziomie: ruchy boczne wyniosły 6,51 TP3T, a usługi zdalne – poniżej 1,51 TP3T.

    Warto zwrócić uwagę na tę liczbę: aktorzy, którzy korzystali ze sztucznej inteligencji podczas rzeczywistych operacji sieciowych, a nie tylko podczas przygotowywania narzędzi, osiągnęli średnio o 10,5 punktu wyższy wynik w skali ARiES. Gdy sztuczna inteligencja przechodzi od etapu przygotowań do etapu realizacji, ryzyko gwałtownie wzrasta.

    Liczba ta rośnie.

    Co powinni teraz zrobić obrońcy

    Firma Anthropic wdrożyła zabezpieczenia działające w czasie rzeczywistym oraz zaktualizowane klasyfikatory dostosowane do wskaźników ARiES, a także uruchomiła program weryfikacji cyberbezpieczeństwa przeznaczony dla specjalistów ds. bezpieczeństwa, którzy muszą w zgodzie z prawem testować możliwości najnowocześniejszych modeli.

    Dla osób zajmujących się ochroną sieci zadanie jest proste: należy na nowo zdefiniować pojęcie “wysokiego ryzyka”.”

    Organizacje, które nie zaklasyfikowały jeszcze cyberataków wykorzystujących sztuczną inteligencję jako zagrożenie poziomu 1, działają w oparciu o przestarzałe procedury. Dzisiaj niebezpiecznym podmiotem nie jest ten, kto dysponuje najbogatszym zestawem technik, lecz ten, kto posiada odpowiednią infrastrukturę pozwalającą na uruchomienie autonomicznego agenta i wycofanie się z działania.

    Do przeprowadzania cyberataków na dużą skalę z wykorzystaniem sztucznej inteligencji nie potrzeba już eksperta. Potrzebny jest ktoś, kto je koordynuje.

    Umiejętności techniczne przestają stanowić barierę wejścia na rynek. To właśnie umiejętności w zakresie koordynacji stanowią teraz czynnik decydujący.

    Zaktualizuj swój model zagrożeń, zanim zrobi to GTG-1002.


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś