Spis treści
Mój czytnik RSS codziennie rano przegląda za mnie listę źródeł – to mój własny, niewielki system analizy zagrożeń oparty na sztucznej inteligencji. Przyznaje on każdej wiadomości określoną ocenę, a wszystko, co uzyska wynik powyżej 7 na 10, trafia do mojego podsumowania. Sam go stworzyłem i korzystam z niego codziennie, ale aż do zeszłego tygodnia nigdy nie zastanawiałem się, co oznacza ta 7.
Potem przeczytałem nowy artykuł autorstwa Jiahonga Qiana z Uniwersytetu Jian Qiao w Szanghaju. Test ten sprawdza, co się dzieje, gdy model LLM analizuje raporty dotyczące cyberzagrożeń i musi wskazać podmioty odpowiedzialne za zagrożenia oraz luki w zabezpieczeniach stojące za każdą kampanią. Test przeprowadzono na 354 kampaniach incydentów pochodzących z publicznego korpusu. DeepSeek-V4-Flash i GLM-5.3-Flash były modelami niedrogimi, a GPT-6.1-Sol stanowił flagowy model kontrolny.
Ten niepokojący wynik wynika z eksperymentu dodatkowego, w którym dodano jedno zdanie przypisujące kampanii fałszywy numer CVE, a proste modele powiązały ten numer CVE w 95,61% przypadków z 1001% przypadków, wykazując poziom pewności zbliżony do maksymalnego.
Modele wykrywają wszystko, łącznie z szumem
Wskaźnik Recall osiąga świetne wyniki w przedziale od 0,81 do 0,99 dla wszystkich modeli i typów encji, co oznacza, że modele wykrywają niemal każdą encję zaznaczoną przez analityków.
Różnica polega na precyzji – we wszystkich przypadkach obserwuje się mikroprecyzję w przedziale od 0,03 do 0,34. Średnio GLM-5.3-Flash generuje 15,1 ciągów CVE na raport, podczas gdy w referencyjnym zestawieniu podano maksymalnie 2 główne identyfikatory CVE.
Model GPT-6.1-Sol osiąga wynik 0,057 mikro w zakresie precyzji dla CVE, a jak stwierdzono w artykule: “różnica ta nie zmniejsza się nawet w przypadku modeli z najwyższej półki”. Zapłacenie więcej daje w zamian tę samą liczbę dodatkowych kandydatów.
Otrzymujesz więc listę piętnastu pozycji, z których dwie są istotne, ale nikt nie podpowiada, które to są. Jeśli Twój system analizy zagrożeń oparty na sztucznej inteligencji działa w ten sposób, analityk nadal musi ręcznie sortować te dane. Na początku tego roku napisałem, że Mapowanie AI ATT&CK jest błędne w czterech na pięć przypadków na podstawie rzeczywistych zgłoszeń, a w niniejszym artykule stwierdzono taką samą niską dokładność w odniesieniu do podmiotów i luk CVE.
W tym przypadku halucynacja nie jest właściwym podejrzanym
Odruchową odpowiedzią jest „halucynacja”, a odruchowym rozwiązaniem jest metoda RAG w połączeniu z łańcuchem myśli.
W artykule zweryfikowano to poprzez opatrzenie adnotacjami próby 360 kandydatów i odnieślenie jej do wszystkich wyników. Większość z nich, 65,61 TP3T, stanowiły wzmianki tła, czyli podmioty wymienione w raporcie, których ta kampania nigdy nie wykorzystała. Kolejne 19,91 TP3T odnosiły się do wydarzenia, ale wykraczały poza zakres uwag referencyjnych. Tylko 1,21 TP3T nie miało żadnego potwierdzenia w tekście. Spośród fałszywych alarmów CVE od 99,71 TP3T do 99,81 TP3T pojawiają się wyraźnie w którymś miejscu raportu.
W artykule stwierdzono, że modele “wskazują ciągi znaków, których prawdziwości nie są w stanie ocenić w kontekście tego zdarzenia”, oraz że słowo “wspomniane” jest mylnie traktowane jako “użyte”.
To zmienia podejście do analizy zagrożeń opartej na sztucznej inteligencji, ponieważ technologie RAG i „łańcuch myśli” poprawiły wydajność identyfikacji podmiotów nawet o 0,133 wskaźnika macro-F1, a w przypadku luk w zabezpieczeniach zmiany były znikome. Nie da się rozwiązać problemu rozumienia tekstu wyłącznie poprzez wyszukiwanie informacji.
Atrybucja techniczna polega na porównywaniu metod, taktyk i procedur (TTP) oraz infrastruktury ze znanymi kampaniami, a operacje typu „false flag” zawsze stanowiły część tych działań. Łukasz Olejnik i Artur Kurasiński opisują w książce „Philosophy of Cybersecurity”, jak grupa Turla prowadziła operacje, wykorzystując irańską infrastrukturę. Tego rodzaju działania dezinformacyjne wymagały kiedyś od atakującego znacznego wysiłku. Jeśli analizę danych przeprowadza sztuczna inteligencja, fałszywa flaga kosztuje zaledwie jedno zdanie w raporcie, który odczytuje twój system.
Jakie wskaźniki pewności zapewniają dane wywiadowcze dotyczące zagrożeń związanych ze sztuczną inteligencją
Wyrażona słowami pewność – model twierdzący, że jest pewien na poziomie 95% – jest źle skalibrowana. Oczekiwany błąd kalibracji mieści się w przedziale od 0,53 do 0,94.
Metoda spójności wewnętrznej sprawdza się lepiej – polega ona na zadaniu tego samego pytania pięć razy i zliczeniu, ile razy pojawia się dana jednostka. Jako sygnał rankingowy spełniła ona wymagania określone w rejestracji wstępnej artykułu we wszystkich sześciu komórkach testowych. Jeśli chodzi o luki w zabezpieczeniach, przegląd 20% pozycji z najwyższym wynikiem pozwala zidentyfikować 96% poprawnych elementów.
W teście z wstawionym zdaniem fałszywy podmiot uzyskał średni poziom pewności zgłoszony przez niego samego wynoszący 98,0 i 85,6 w obu modelach, co nie różniło się od wyników prawdziwego podmiotu. Jego częstotliwość spójności wewnętrznej wyniosła 0,892 w obu modelach. W artykule stwierdzono, że “częstotliwość SC mierzy spójność tekstową, a nie zgodność z faktami”.”
Zakodowane zdanie to spójny tekst, więc model za każdym razem potwierdza jego poprawność. W analizie zagrożeń opartej na sztucznej inteligencji wynik mierzy zgodność z tekstem, a tekstem zarządza osoba atakująca.
Jak wdrażać system analizy zagrożeń oparty na sztucznej inteligencji z udziałem człowieka
Holenderski analityk OSINT Nico Dekens napisał w sierpniu że niepowodzenia wywiadowcze rzadko pojawiają się z wielkim rozgłosem, a “zazwyczaj towarzyszy im ocena wiarygodności”. Niniejszy artykuł potwierdza te słowa danymi liczbowymi.
Zawarte w artykule zalecenia dotyczące wdrożenia procesu analizy zagrożeń opartego na sztucznej inteligencji sprowadzają się do czterech zmian.
Funkcja „Confidence” sortuje kolejkę do przeglądu i nigdy nie zastępuje samej analizy, więc w przypadku luk w zabezpieczeniach zaczyna się od górnej części listy 20%. W przypadku podmiotów stanowiących zagrożenie należy postępować inaczej, ponieważ górna część tej listy (od 5 do 10%) zawiera wiele błędów i człowiek musi ręcznie sprawdzić przypisania podmiotów od początku listy.
Progi są ponownie kalibrowane dla każdego korpusu, ponieważ w przypadku nowszego zestawu raportów z lat 2022–2025 rankingi pozostały niezmienione, podczas gdy stałe progi nie dały się przenieść.
Każdy raport, który zasila system analizy zagrożeń oparty na sztucznej inteligencji, stanowi dane wejściowe kontrolowane przez atakującego, ponieważ raporty CTI zawierają cytaty z blogów dostawców oraz wklejone fragmenty, a wraz z nimi pojawia się jeden podłożony wiersz.
Każda wyodrębniona jednostka ma obok siebie zdanie, z którego pochodzi, dzięki czemu recenzent najpierw zapoznaje się z danym fragmentem.
Partia zawierająca zdania z wbudowanymi elementami została przetworzona wyłącznie na dwóch modelach typu flash, więc nie znamy wyników dla modelu flagowego. Adnotacje zostały wykonane przez dwa modele LLM innych dostawców, a ręczna kontrola wyrywkowa wciąż nie została przeprowadzona. Główny korpus obejmuje okres do około 2021 roku.
Mój czytnik RSS nr 7 działa na tej samej zasadzie, bo podpowiada mi, co przeczytać w pierwszej kolejności, i ani razu nie powiedział mi, co jest prawdą.
System „Confidence” sortuje kolejkę. Przypisanie przypisuje pracownik.
Źródło | https://arxiv.org/abs/2610.20417