Tag: Bezpieczeństwo LLM

  • Tworzenie profili w mediach społecznościowych kosztuje obecnie szesnaście centów na osobę

    Tworzenie profili w mediach społecznościowych kosztuje obecnie szesnaście centów na osobę

    Spis treści

    Nadaj nazwę procesowi LLM i poczekaj osiem i pół minuty. Zautomatyzowana analiza profili w mediach społecznościowych wskaże następnie, w jaki sposób dana osoba pisze, jak ostrożnie zachowuje się w sieci, w jakim kierunku zmierza jej kariera i jakie sukcesy może osiągnąć w pracy.

    Większość z tego nigdy nie pojawiła się w żadnym wpisie.

    W raporcie podano cenę docelową na poziomie 0,16 dolara za akcję, a przedział cenowy wynosił od 14 do 18 centów.

    Pellegrino Casoria i Simon Pietro Romano Naukowcy z Uniwersytetu Federico II w Neapolu przeprowadzili badanie dotyczące profilowania w mediach społecznościowych na grupie 14 ochotników. Pobierali dane z profili każdej osoby na LinkedIn i Facebooku, a następnie prosili daną osobę o ocenę profilu wygenerowanego przez system.

    Przeczytałem ten przykładowy opis dwa razy, bo dzięki pracy w dziedzinie bezpieczeństwa i cotygodniowemu nawyku korzystania z LinkedIn od razu się w nim odnalazłem.

    tworzenie profili w mediach społecznościowych

    Wszyscy 14 ochotnicy byli specjalistami ds. cyberbezpieczeństwa o wysokiej świadomości w zakresie ochrony prywatności, a mimo to przyznali wywnioskowanym atrybutom ocenę 4,73 na 5.

    Twoje ustawienia prywatności nie zapobiegają profilowaniu w mediach społecznościowych

    Ustawienia prywatności określają, co publikujesz, a profilowanie w mediach społecznościowych opiera się na tym, co z tego wynika.

    W przypadku „łatwej warstwy”, obejmującej stanowiska i stopnie naukowe, skuteczność ekstrakcji wyniosła 97,3% według wskaźnika F1. Wyrażenia regularne osiągnęły wynik 28,0% na tych samych danych, a rozpoznawanie encji przez spaCy – 17,3%.

    Większą wagę przywiązuje się do świadomości w zakresie OPSEC oraz dostępu do zasobów organizacyjnych, a nikt nie wpisał żadnej z tych informacji w formularzu. Model analizuje dane z poszczególnych pozycji profilu i sam je uzupełnia. Świadomość w zakresie OPSEC uzyskała ocenę 4,79, a dostęp do zasobów organizacyjnych – 4,57 według własnych ocen osób objętych badaniem. Tę samą lukę zauważyłem w Prywatność agentów sztucznej inteligencji, gdzie kontrola dostępu określa, kto może przeglądać rekord, a pomija to, co model z nim robi.

    Żadna z tych linii bazowych nie wygenerowała ani jednej z 252 wywnioskowanych cech.

    Skryper pobrał maksymalnie dziesięć najnowszych wpisów, więc ilość danych wejściowych była niewielka.

    A Badanie z lutego Badanie przeprowadzone przez Simona Lermena i jego współautorów wykazało, że agenci LLM potrafią ustalić tożsamość użytkownika na podstawie anonimowych wpisów. Autor ostrzegł, że informacje o mieście zamieszkania i zawodzie składają się na całościowy obraz, a jego sformułowanie utkwiło mi w pamięci. “Ta kombinacja często stanowi unikalny odcisk palca”. Artykuł z Neapolu kontynuuje temat tam, gdzie kończy się to badanie, ponieważ gdy tylko znane jest imię i nazwisko, profilowanie w mediach społecznościowych kosztuje mniej niż znaczek pocztowy.

    “Nie mam nic do ukrycia” skupia się na niewłaściwej kwestii

    Większość ludzi ocenia stopień ujawnienia informacji na podstawie pojedynczych wpisów, a z tej perspektywy zdjęcie z konferencji czy nowy certyfikat wydają się nieszkodliwe.

    Atakujący analizują treść tych wpisów, a rozpoznanie rozpoczyna łańcuch ataku. W klasyfikacji MITRE ATT&CK etap ten jest ujęty w kategorii T1593.001, oddział ds. mediów społecznościowych firmy Search Open Websites/Domains. W artykule wskazano na „Dream Job” i „Contagious Interview” – dwie kampanie powiązane z Koreą Północną, które rozpoczęły się od utworzenia fałszywych profili na LinkedIn i innych platformach, jeszcze przed jakimkolwiek włamaniem technicznym.

    Kiedyś ten etap wymagał udziału ludzkiego analityka, a autorzy szacują obecnie koszt profilowania w mediach społecznościowych na mniej niż 20 dolarów za sto celów. Jak piszą, atakujący dysponujący ograniczonymi zasobami zyskują “to, co kiedyś wymagało dobrze finansowanych operacji”.”

    W ramach tego badania nikt nie padł ofiarą ataku phishingowego, co potwierdzają sami autorzy. Zespół zbadał wskaźnik zastępczy, w ramach którego każdy ochotnik oceniał cztery opcje w 12 pytaniach, a system przewidywał kolejność tych ocen.

    Wyniki wykazały umiarkowaną zgodność – współczynnik tau Kendalla wyniósł 0,36, a pierwszy wybór okazywał się trafny w około 52% przypadków. To dwukrotnie więcej niż w przypadku losowego wyniku bazowego, a wszyscy 14 ochotnicy uzyskali wynik powyżej zera, wliczając w to nawet słabe ślady.

    W tym kontekście “podatność” należy rozumieć jako wybór odpowiedniego pretekstu – jest to pierwszy krok, który atakujący musi wykonać prawidłowo.

    Jakie zmiany czekają Twój zespół ds. bezpieczeństwa

    Najwyższy wynik uzyskała kategoria „Komunikacja” (0,54), wyprzedzając kategorię „Kariera” (0,30). Na ostatnim miejscu znalazła się kategoria „Zainteresowania” (0,23) – i właśnie tę część wyników badania profilowania w mediach społecznościowych pokazałbym zespołowi ds. bezpieczeństwa.

    Twój ton i sposób przekazywania informacji pozostają spójne we wszystkich postach, dzięki czemu model najlepiej je rozpoznaje. Moim zdaniem osłabia to dotychczasową wskazówkę pozwalającą rozpoznać phishing – czyli wiadomość, która brzmi podejrzanie. Jeśli sformułowania są zgodne ze sposobem, w jaki mówi Twój zespół, styl przestaje być dowodem.

    Warto więc sprawdzić samą prośbę i potwierdzić wszelkie informacje dotyczące pieniędzy lub danych uwierzytelniających za pośrednictwem innego kanału, niezależnie od tego, kto wydaje się o to prosić.

    Wyobraź sobie firmę zatrudniającą 500 osób, w której za około 80 dolarów osoba atakująca może przeprowadzić analizę profili wszystkich pracowników w mediach społecznościowych. Następnie, na podstawie uprawnień organizacyjnych i świadomości w zakresie OPSEC, wybiera pięć osób o największym zasięgu i najmniejszej ostrożności. Ten scenariusz jest moim pomysłem, a podana w nim cena za każdy cel pochodzi z artykułu.

    Jak działa profilowanie w mediach społecznościowych i jakie są jego ograniczenia

    W artykule rozwiązanie to określono mianem “głupiego scrapera, inteligentnego LLM” – Playwright pobiera surowe strony za pomocą plików cookie sesji. Ekstrakcja danych odbywa się na modelu gpt-4o-mini, a profilowanie na gpt-5-mini, natomiast model gpt-5 odpowiada za interakcję z użytkownikami. Zmiany w układzie strony praktycznie nie wpływają na działanie scrapera, dzięki czemu koszty utrzymania pozostają niskie.

    Pliki cookie sesji zmieniają również znaczenie pojęcia “publiczne”, ponieważ potok widzi wszystko to, co widzi każdy zalogowany użytkownik.

    Próba składa się z 14 osób z sieci kontaktów autorów, a badanie ogranicza się do dwóch platform i jednego zrzutu ekranu. Oceny zostały podane przez samych uczestników, a 29% z nich zgłosiło nieprawidłowe dane. Najbogatszy profil uzyskał najgorszy wynik – 84,1%.

    Traktuję to jako projekt pilotażowy, który ma na celu sprawdzenie ceny i wykonalności. Ile osób by to kliknęło, to wciąż kwestia otwarta.

    Najpierw sprawdź, jak wygląda Twój profil w mediach społecznościowych

    Wybierz swoje dziesięć ostatnich publicznych postów i przekaż je lokalnej modelce. Zapytaj, co mogą one powiedzieć o Twoim dostępie w pracy i jak ona sama by do Ciebie podeszła.

    Cokolwiek powraca i sprawia, że czujesz się niekomfortowo, stanowi twoją ekspozycję.

    Test nie wskaże, jakie informacje atakujący dodaje na podstawie danych uzyskanych w wyniku włamania, a usunięcie wpisu nie ma żadnego wpływu na kopie, które zostały już zebrane.

    Załóżmy, że ktoś przeczytał twoje ostatnie dziesięć postów, bo przy cenie szesnastu centów może sobie na to pozwolić.

    Źródło | https://arxiv.org/abs/2610.31573


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Modele bez ograniczeń wagowych nie odmawiają

    Modele bez ograniczeń wagowych nie odmawiają

    Spis treści

    21 lipca Guillermo Rauch, dyrektor generalny firmy Vercel, opublikował na platformie X wyniki swojej wewnętrznej oceny, co spowodowało znaczne zaostrzenie dyskusji na temat modeli typu “open-weight” w dziedzinie bezpieczeństwa. Kimi K3, chiński model typu “open-weight” wprowadzony na rynek pięć dni wcześniej, uzyskał w jego testach ocenę „najwyższej klasy w zakresie cyberbezpieczeństwa”. W tym samym poście dodał, że „Fable odrzuca wszystko” i że w ogóle nie udało mu się doprowadzić tego modelu do końca testu.

    Dzień później Semgrep opublikował tabelę zawierającą wskaźniki precyzji i odzysku.

    Dwa dni później brytyjska organizacja AISI i amerykańska organizacja CAISI opublikowały swoje raporty.

    Żaden z tych trzech pomiarów nie potwierdza tej tezy. A to jest o wiele ciekawsze niż sam ranking.

    Co zakładano, a co zmierzono

    Organizacje AISI i CAISI przetestowały system Kimi K3 za pomocą ExploitBench oraz w cyberpoligonie TLO, a także opublikowano dane. W teście ExploitBench uzyskał wynik 32 procent, podczas gdy GLM-5.2 – najsilniejszy z modeli o nieograniczonej wadze według stanu na czerwiec 2026 roku – osiągnął 24 procent. Wynik ten wygląda dobrze, dopóki nie spojrzy się na następną kolumnę, gdzie wiodące modele amerykańskie osiągnęły wykonanie dowolnego kodu średnio w 20 z 41 próbek. Kimi K3 nie osiągnął żadnego sukcesu na żadnej z 41 prób.

    Na poligonie cybernetycznym, gdzie pełna ścieżka ataku składa się z 32 etapów, Kimi osiągnęła średnią na 17. etapie. Modele amerykańskie osiągnęły średnią 28,5. Udało jej się przejść cały poligon raz na dziesięć prób.

    Semgrep przetestował coś innego, wykrywanie błędów w IDOR w rzeczywistych repozytoriach. Tam model Kimi K3 osiągnął precyzję na poziomie 0,684, podczas gdy modele Claude Opus 4,8, GPT-5,6 Sol, GPT-5,6 Terra i GLM-5,2 plasowały się w przedziale od 0,86 do 0,91. W największym repozytorium z zestawu Kimi osiągnął wynik F1 na poziomie około 6 procent, podczas gdy wszyscy inni osiągnęli około 20 procent. Jeśli ten schemat wydaje się znajomy, to nic dziwnego, ponieważ ta sama różnica między wynikiem reklamowanym a zmierzonym pojawiła się, gdy automatyczne mapowanie ATT&CK zostało poddane odpowiednim testom porównawczym.

    Trzeba jednak uczciwie przyznać, że nie są to porównywalne przypadki. AISI przetestowało modele amerykańskie przy wyłączonych zabezpieczeniach na poziomie systemu. Sam system, jak podano w raporcie, “nie posiada aktywnych mechanizmów obronnych ani narzędzi obronnych”.

    Dlaczego debata na temat modeli z otwartą kategorią wagową zmierza w złym kierunku

    Większość dyskusji dotyczy górnej granicy – tego, czy modele z otwartą wagą dogoniły już najnowsze osiągnięcia, czy też nie.

    Jeśli zarabiasz na życie, broniąc różnych rzeczy, to twoim problemem jest podłoga.

    Bezpieczeństwo sprowadza się do jednej zasady. Należy podnosić koszt ataku tak długo, aż przestanie się on opłacać. Ranking modeli pokazuje, jak wysoko może sięgnąć najlepszy atakujący na świecie. Dolna granica wskazuje, ile kosztuje najtańszy atakujący, a nawet ten najtańszy wystarczy, by zrujnować ci tydzień.

    Modele bez ograniczeń wagowych

    Jedno zdanie zawarte w tym samym raporcie AISI i CAISI nie trafiło w ogóle na pierwsze strony gazet. “Środki zabezpieczające stosowane przez Kimi K3 nie zapobiegły podejmowaniu przez tę organizację prób opracowywania cyberataków ani prowadzenia ofensywnych operacji cybernetycznych’.

    Porównajmy to teraz z drugą częścią wpisu Raucha. Model zamknięty dał odpowiedź negatywną. Model otwarty – nie, i nie ma to nic wspólnego z tym, jak dobrze któryś z nich radzi sobie z tym zadaniem.

    Nie można ponownie przykręcić obciążników do dysku, które ktoś już zdjął i umieścił na swoim własnym dysku.

    Co to dla Ciebie oznacza

    Warstwa odrzucania, którą traktujemy jako mechanizm zabezpieczający, stanowi cechę charakterystyczną interfejsu API dostawcy. Obejmuje ona limit częstotliwości, logi po stronie dostawcy, zespół ds. nadużyć oraz możliwość zablokowania konta. Modele o otwartej wadze działające na cudzym procesorze graficznym nie posiadają żadnej z tych czterech cech.

    Pod tym kryje się jeszcze jeden aspekt. Klasycznym ograniczeniem operacji ofensywnych są kwestie organizacyjne. Operator poświęca swój czas na jeden cel i nie jest w stanie zająć się dwudziestoma z zachowaniem tej samej jakości. Niedroga automatyzacja znosi to ograniczenie.

    Skala zdolności Departamentu Obrony (DoD) dzieli atakujących na sześć poziomów, przy czym na poziomie pierwszym wykorzystuje się narzędzia stworzone przez innych, a na poziomie trzecim samodzielnie wykrywa się i wykorzystuje luki w zabezpieczeniach. Tanie rozwiązania techniczne przesuwają część użytkowników z poziomu pierwszego w kierunku poziomu trzeciego, ponieważ pracę wykonuje teraz automatyczny proces, a nie człowiek.

    Ryzyko to iloczyn skutku i prawdopodobieństwa, a cały ten szum dotyczył właśnie skutku. Cicha zmiana nastąpiła w zakresie drugiego z tych czynników.

    Mówiąc wprost, w jakich obszarach modele z otwartą wagą zawodzą

    Warto dokładnie oszacować, ile kosztuje cię wskaźnik precyzji na poziomie 0,684. Niska precyzja oznacza, że model wciąż wykrywa pewne elementy, a następnie zagubia je w gąszczu błędnych wyników, które ktoś musi przejrzeć. Dla twojego zespołu to dodatkowy koszt. Dla atakującego, który tylko pobieżnie przegląda wyniki i potrzebuje tylko jednego trafienia, nie wiąże się to z żadnymi kosztami.

    A tę lukę można wypełnić bez konieczności wprowadzania jakichkolwiek zmian w modelu.

    W czerwcu clearbluejar odtworzył szeroko nagłośnione odkrycie – siedemnastoletni RCE w systemie FreeBSD, którego po raz pierwszy wykrył model typu „frontier”. Ten poziom autonomii był już prezentowane w ramach kontrolowanych testów kilka miesięcy wcześniej. Tyle że uruchomił go na gpt-oss-20b na swoim własnym sprzęcie, korzystając z publicznego, liczącego 1 700 wierszy potoku AISLE w języku Python. Pozorne pominięcie zniknęło po ponownym uruchomieniu. Prawdziwym problemem był szum, a rzeczywisty błąd został zagłuszony przez fałszywe alarmy.

    Dodał więc etap sprawdzający, czy kod jest osiągalny. Liczba fałszywych alarmów spadła z 30 do 5, a luka CVE nadal istniała. Powiedział to wprost: “To właśnie ta konstrukcja wykonuje całą pracę i jest to dźwignia, którą można wykorzystać we własnym modelu”.

    Stanislav Fort z serwisu AISLE odtworzył to samo odkrycie za mniej niż $100.

    Oczywisty zarzut i dlaczego nie ma on uzasadnienia

    Ktoś powie, że są to syntetyczne testy wydajnościowe, przeprowadzone w cyberpoligonach bez obrońców, z wykorzystaniem specjalnie dobranych zbiorów danych, które zawyżają wyniki. To słuszna uwaga, a sam raport AISI to potwierdza.

    Jednak ten argument mija się z celem. Jeśli zakres ten sprzyja w równym stopniu zarówno modelom z otwartą masą, jak i tym z zamkniętą, to porównanie między nimi nadal ma sens. A istotny w tym przypadku wniosek ma charakter behawioralny, a nie liczbowy, ponieważ model został przetestowany i żadna konstrukcja zakresu nie zmieni tego faktu.

    Cztery elementy, które należy sprawdzić w modelu zagrożeń

    Pomiń tabelę wyników. Jeśli modele o dowolnej masie w ogóle występują w Twoim modelu zagrożeń, skup się raczej na tych czterech.

    1. Znajdź wszystkie elementy sterujące, z których korzystasz i które znajdują się u dostawcy. Wymień je na głos. Odmowa, ograniczenie częstotliwości, rejestrowanie, zamknięcie konta. Wszystkie pozycje z tej listy znikają w momencie, gdy algorytmy działają lokalnie.
    2. Sprawdź jeszcze raz swoje progi wykrywania, aby przeprowadzić niedrogie działania rozpoznawcze. Wraz ze wzrostem liczby prób spada jakość poszczególnych prób. Progi alarmowe dostosowane do pracy cierpliwego, ludzkiego operatora zinterpretują to jako szum.
    3. Oblicz różnicę czasową między opublikowaniem CVE a wydaniem twojej poprawki. Kiedyś zabezpieczeniem tego okna było to, że niewiele osób potrafiło wykorzystać błąd jako broń. Modele o otwartej wadze oraz publiczny potok skróciły kolejkę, a nikt nie wysyłał ci powiadomienia, gdy to się działo.
    4. Oceń, jak duże jest dla Ciebie obciążenie związane z segregacją medyczną. Niska precyzja kosztuje obrońcę realny czas, a atakującego nic. Jeśli wdrażasz wewnętrznie narzędzia tej samej klasy, uwzględnij w budżecie czas potrzebny na selekcję tak samo, jak uwzględniasz go w budżecie na skanowanie.

    Żadna z tych kwestii nie wymaga nowego produktu, a żadna z nich nie dotyczy modeli o otwartej masie jako technologii. Trzeba po prostu wyeliminować z modelu zagrożeń założenie, że “prawdopodobnie nie są w stanie tego zrobić”.

    Jedna zasada, którą warto zapamiętać

    Przestań się zastanawiać, czy model twojego przeciwnika jest równie dobry jak twój. W przypadku modeli o dowolnej wadze należy zadać sobie szczere pytanie, czy cokolwiek jest w stanie go powstrzymać.

    Laboratoria i przeprowadzane przez nie oceny wyznaczają górną granicę możliwości. Dolną granicę dostępności wyznaczają pliki zajmujące miejsce na czyimś dysku oraz 1 700 wierszy kodu w języku Python z serwisu GitHub. Modele z otwartą wagą przesunęły tę dolną granicę, podczas gdy argument pozostawał niezmienny na górnej granicy.

    Opracuj model zagrożeń w oparciu o drugą liczbę.

    Źródło | https://www.mbi-deepdives.com/open-weights/


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Mapowanie AI ATT&CK jest błędne w czterech na pięć przypadków

    Mapowanie AI ATT&CK jest błędne w czterech na pięć przypadków

    Spis treści

    Zautomatyzowane mapowanie ATT&CK to główna funkcja każdej platformy CTI sprzedawanej w 2026 roku. Z opublikowanego w czerwcu badania porównawczego wynika, że najlepszy model oparty na oprogramowaniu open source prawidłowo rozpoznaje mniej więcej jedną technikę na pięć.

    Wyobraź sobie analityka SOC, który otrzymał właśnie raport o nowym incydencie i otrzymał polecenie, by go podzielić na MITRE ATT&CK techniki. Kilka godzin pracy. Ktoś wtrąca się z oczywistą sugestią: wrzuć to do modelu LLM – minuta i gotowe.

    Tak się stanie. Cztery na pięć technik będą błędne.

    Co obejmował test porównawczy

    Sześciu naukowców oszacowało to w artykule zatytułowanym “Ocena modeli językowych typu LLM typu open source pod kątem klasyfikacji technik ATT&CK z wieloma etykietami w raportach CTI”, arXiv ID 2606.18166, opublikowanym 16 czerwca 2026 r. Jest to pierwszy rzetelny punkt odniesienia dla mapowania ATT&CK w nieustrukturyzowanych danych wywiadowczych dotyczących zagrożeń, oparty na rzeczywistych raportach, a nie na wybiórczych fragmentach tekstu.

    Zespół stworzył zbiór 2 076 zdań zaczerpniętych z 83 Raport DFIR opisy, w których 1 281 zdań zawiera opis techniki, a 795 nie zawiera żadnego opisu. Adnotacje zostały wprowadzone ręcznie w sześciu etapach, a współczynnik kappa Cohena między adnotatorami wyniósł 0,68; w sumie zidentyfikowano 114 unikalnych technik.

    Przetestowano na nich siedem modeli open source przy kwantyzacji 4-bitowej Q4_K_M. DeepSeek-V2.5 z 236 mld parametrów, GPT-OSS z 120 mld i 20 mld, Llama 3.1 Instruct z 70 mld i 8 mld oraz Gemma 3 z 27 mld i 12 mld.

    Mapowanie ATT&CK

    Najlepszy wynik w kategorii mikro F1 wyniósł 0,22 i został osiągnięty przez DeepSeek-V2.5. W tym przebiegu zastosowano temperaturę 0,0, trzy podpowiedzi oraz włączoną funkcję łańcucha myślenia. Precyzja wyniosła 0,21, a odzyskiwalność 0,23.

    Najsłabszy z całej grupy, model GPT-OSS 20B, osiągał wyniki w przedziale od 0,00 do 0,06.

    Wygląda to na narzędzie, które w procesie produkcyjnym generuje więcej pracy, niż pozwala zaoszczędzić.

    Dlaczego wyniki dostawców wyglądały tak dobrze?

    Wcześniejsze narzędzia do mapowania ATT&CK mierzyły zupełnie inne parametry, a ich wyniki dobrze prezentują się na slajdach. TTPXHunter osiągnął współczynnik F1 na poziomie 0,97, TTPHunter – 0,88, TTPDrill – 0,82, a AttacKG – 0,79.

    Haczyk tkwi w sposobie oceny tych narzędzi. Punktacja obejmowała wyłącznie 50 najpopularniejszych technik, na podstawie opisów procedur zaczerpniętych bezpośrednio z ATT&CK. Ocena odbywała się następnie na poziomie raportu, a nie na poziomie zdania, więc model otrzymywał zdanie napisane językiem taksonomii i dopasowywał je z powrotem do taksonomii. Egzamin z otwartą książką.

    Prawdziwy raport wcale tak nie wygląda, a zbiór danych pokazuje, dlaczego. Jedno zdanie zawiera średnio 1,58 techniki, a 40,2 procent oznaczonych zdań zawiera więcej niż jedną. Sytuacja komplikuje się w przypadku długiego ogona, ponieważ spośród 114 technik 56 pojawia się pięć razy lub rzadziej, a 27 występuje dokładnie raz. Najczęściej występująca technika przewyższa najrzadziej występującą w stosunku 229 do 1.

    Gdzie mapowanie ATT&CK zawodzi

    Dwa rodzaje błędów psują wyniki, a oba są dobrze znane każdemu, kto na co dzień pracuje z modelami LLM.

    Największe szkody wyrządza przechwytywanie słów kluczowych, a jeden z przykładów przytoczonych w artykule pokazuje, jak poważne mogą być tego skutki. W raporcie pojawia się sformułowanie “staged a ransomware binary” (umieszczono plik binarny oprogramowania ransomware), które człowiek odczytuje jako “Ingress Tool Transfer” – co oznacza, że ktoś umieścił narzędzie na komputerze ofiary. Model skupia się na słowie „staged” i generuje wynik „Data Staged” – technikę z innej taktyki dotyczącej przygotowywania danych do wycieku. Słowo się zgadza, ale znaczenie nie.

    Z podobnego powodu pomijane są działania wieloetapowe. Model szuka dosłownych sformułowań z taksonomii zamiast analizować działania atakującego w trzech zdaniach, przez co połowa łańcucha ataku pozostaje niezauważona.

    Szybka regulacja nic nie dała

    Wynik, który powinien zaniepokoić każdego, kto rozważa zakup rozwiązania do mapowania ATT&CK, to ten, który w ogóle nie uległ zmianie. Zmiana temperatury z 0,0 do 0,5 powoduje zmianę wskaźnika micro F1 o maksymalnie 0,01 we wszystkich siedmiu modelach. Porównanie metody zero-shot z metodą three-shot, zarówno z zastosowaniem łańcucha rozumowania, jak i bez niego, nie przyniosło nigdzie statystycznie istotnego wzrostu wyników. Liczba parametrów wykazuje dodatnią korelację z wynikiem, jednak nawet przy 236 miliardach parametrów uzyskuje się jedynie 0,22.

    Mówiąc wprost, nie da się po prostu „wymanewrować” się z błędnego przyporządkowania do modelu ATT&CK.

    Jedyną skuteczną metodą było odzyskanie danych

    Autorzy załadowali dokumentację ATT&CK do magazynu wektorów FAISS i do każdego zapytania dołączyli pięć najlepiej pasujących definicji technik. Wynik Llama 70B wzrósł z 0,22 do 0,32, a współczynnik odzysku wzrósł z 0,23 do 0,41, co stanowi poprawę o współczynnik 1,78.

    Rzetelne mapowanie ATT&CK przewyższyło wszystkie kombinacje promptów i temperatur uwzględnione w badaniu łącznie. Rozumowanie nigdy nie stanowiło wąskiego gardła. Model nie przechowuje roboczej kopii kilkuset technik i podtechnik ATT&CK, więc opiera się na pamięci.

    Pobieranie danych również stwarza nową lukę, ponieważ wszystko, co znajduje się w tym magazynie wektorów, staje się dla modelu „prawdziwym obrazem rzeczywistości” – i właśnie ta sama słabość leży u podstaw zatrucie agenta zajmującego się badaniami nad sztuczną inteligencją.

    Kierunek jest już ustalony, nawet jeśli wartość 0,32 nadal nie spełnia wymagań klasy produkcyjnej. Przekaż modelowi definicje ATT&CK i przestań dostosowywać podpowiedzi.

    Cztery pytania, które warto zadać przed zakupem narzędzia do mapowania ATT&CK

    Należy poprosić dostawcę o udzielenie odpowiedzi na wszystkie cztery pytania na piśmie.

    1. Zapytaj, na podstawie jakiego zbioru danych oceniano to narzędzie. Przykłady procedur zaczerpnięte z samego ATT&CK nie dają żadnej informacji na temat tego, jak narzędzie to radzi sobie z twoimi raportami.
    2. Sprawdź wskaźnik pokrycia technik. Ranking 50 najpopularniejszych technik ukrywa „długi ogon”, w którym kryją się prawdziwe włamania.
    3. Sprawdź, czy ocena została przeprowadzona na poziomie raportu, czy na poziomie zdania. Ocena na poziomie raportu pozwala narzędziu odgadnąć trzy popularne techniki i mimo to sprawiać wrażenie dokładnego.
    4. Zapytaj o wskaźnik wyników fałszywie pozytywnych dla zdań, które w ogóle nie zawierają żadnej techniki. W zestawieniu porównawczym znalazło się 795 takich zdań nie bez powodu.

    Odpowiedział ci sprzedawca, który uniknął wszystkich czterech pytań.

    Każdy, kto już stosuje mapowanie ATT&CK w centrum operacyjnym bezpieczeństwa (SOC), powinien sprawdzić, ile z tych powiązań jest weryfikowanych przez człowieka, zanim trafią one do reguły wykrywania. Przy wskaźniku F1 wynoszącym 0,22 automatyzacja zasila system wykrywania, a raporty kierownictwa zawierają zmyślone TTP. Jest to gorsze niż całkowity brak mapowania, ponieważ sprawia wrażenie, jakby opierało się na wiedzy.

    Ta sama pułapka czai się w każdym systemie, który samodzielnie generuje wezwania związane z bezpieczeństwem, a mapowanie ATT&CK stanowi jeden z przykładów znacznie szerszego problemu związanego z jak działa uczenie się w autonomicznej cyberobronie.

    Trzeba informować o wszystkim człowieka. Wymaga tego logika.

    Źródło: https://arxiv.org/abs/2606.18166v1


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Prywatność agentów sztucznej inteligencji to luka, której nikt nie bada

    Spis treści

    AI agent Kwestia prywatności rzadko trafia na listę kontrolną dotyczącą bezpieczeństwa, a właśnie ta luka jest źródłem prawdziwych szkód. Wyobraźmy sobie pracownika zajmującego się rutynowym zadaniem: sprawdza status zamówienia klienta, a następnie – zanim udzieli odpowiedzi – pobiera pasujące rekordy z systemu CRM i bazy danych faktur, a wszystko to w ciągu dziesięciu sekund. Nikt nie zatrzymał się, by zapytać, czy w tym samym wątku rozmowy, wciąż przechowywanym w pamięci roboczej, nie znalazł się również numer karty innego klienta.

    Problem w skrócie

    Obecnie agent LLM działa w oparciu o bazy danych, zbiory dokumentów pobierane za pośrednictwem RAG, zewnętrzne interfejsy API oraz inne agenty znajdujące się niżej w łańcuchu zadań. Każda z tych płaszczyzn stwarza własną ścieżkę wycieku danych agenta, a każda z nich stanowi martwy punkt w większości agentów AI prywatność analizy. Badanie śledzi, w jaki sposób dane wrażliwe faktycznie opuszczają system. Część z nich wychodzi poprzez zapytania, które agent sam dla siebie tworzy. Reszta przedostaje się na zewnątrz poprzez wyniki pośrednie przechowywane w pamięci lub poprzez komunikaty przekazywane innemu agentowi w trakcie

    Większość polityk bezpieczeństwa została opracowana tak, by wyłapać jedną z tych ścieżek, pozostawiając pozostałe dwie całkowicie otwarte. Ta rozbieżność stanowi rzeczywisty kształt „drzwi” problemu prywatności agenta AI, podczas gdy dwa boczne wejścia pozostają otwarte.

    Dlaczego większość zespołów popełnia ten błąd

    Większość analiz bezpieczeństwa agentów opiera się na scenariuszach ataków, takich jak wstrzyknięcie argumentu lub próba przełamania ograniczeń, które umykają uwadze modelu. Niniejsze badanie skupia się przede wszystkim na kwestii, z jakimi danymi ma do czynienia agent, niezależnie od tego, czy ktoś go atakuje. Zespół przeprowadzający testy typu „red team” na swoim agencie pod kątem znanych ataków może nadal przeoczyć ryzyko tkwiące w samym projekcie dostępu do danych.

    ochrona prywatności agentów sztucznej inteligencji

    Wydaje się, że kontrola dostępu na poziomie bazy danych powinna to uwzględniać, choć odpowiada ona jedynie na węższe pytanie – kto może w danej chwili odczytać rekord. Nie mówi ona nic o tym, co agent robi z tym rekordem trzy sesje później. W badaniu przeanalizowano sześć mechanizmów zarządzania stworzonych w celu zapewnienia prywatności, kontroli przepływu informacji oraz wykrywania wycieków, działających w sposób łączący się w wielu sesjach. Pozostałe mechanizmy wykrywają jedynie pojedyncze żądania. Prywatność agenta AI faktycznie ulega naruszeniu na poziomie wzorców, łączących się w różnych sesjach, co jest właśnie tym, czego brakuje w pozostałych pięciu mechanizmach.


    Co to oznacza dla Ciebie

    Wdrażanie agentów u klientów lub uruchamianie ich wewnątrz własnej firmy zmienia zakres elementów, które powinny znaleźć się na liście kontrolnej dostawcy. Dane uwierzytelniające uzyskane w ramach testów typu „red team” metodą jailbreak obejmują obecnie tylko część tej listy. Bardziej trafne pytanie dotyczy prywatności agenta opartego na sztucznej inteligencji we wszystkich obszarach, z którymi agent ma kontakt w danym momencie – w tym podczas pobierania informacji za pomocą RAG, wykonywania zapytań SQL, korzystania z pamięci oraz wymiany komunikatów z innymi agentami.
    Autorzy badania twierdzą, że taki łączny punkt odniesienia praktycznie jeszcze nie istnieje, a w świetle RODO i podobnych przepisów ten brak staje się prawdziwym obciążeniem, ponieważ udowodnienie zachowania należytej staranności staje się trudne, gdy przeprowadzony test pomija większość rzeczywistej ścieżki danych w systemie.

    Kwestie techniczne, w prostych słowach

    Weźmy konkretny przykład, który pokazuje, jak w praktyce wygląda zagrożenie dla prywatności związane z agentami AI. Agent działu kadr odpowiada na pytanie pracownika dotyczące dni urlopowych. Podczas wyszukiwania danych pobiera również pole zawierające informację o przyczynie medycznej leżącej u podstaw
    Wcześniejsza nieobecność, odnotowana tuż obok wyniku analizy danych, zostaje zapisana w pamięci agenta. Trzy zapytania później oddzielny wątek dotyczący tego samego pracownika czerpie z tej pamięci i ujawnia szczegół, o którego ujawnienie nikt nie prosił.

    Błąd wynika z braku granicy między tym, co agent wie, a tym, co może powiedzieć w danym kontekście – granicy, której żaden atakujący nie musiał przekraczać. Kontrola przepływu informacji ma na celu wyznaczenie tej granicy na poziomie warstwy danych, a nie
    warstwa podpowiedzi. Oznacza ona poziom wrażliwości; monitor śledzi ten znacznik niezależnie od tego, gdzie trafią dane – czy to w odpowiedzi na czacie, czy w wiadomości wysłanej do innego agenta. To właśnie ta luka, bardziej niż jakikolwiek atak oparty na podpowiedziach, stanowi codzienny obraz niepowodzeń agentów AI w zakresie ochrony prywatności.

    Cztery pytania, które należy sobie zadać przed wysłaniem agenta

    Zanim agent uzyska dostęp do danych produkcyjnych, cztery pytania pozwalają wyeliminować większość opisanych powyżej zagrożeń.

    Po pierwsze, należy sporządzić mapę wszystkich obszarów danych, do których agent ma dostęp, w tym tych wykraczających daleko poza jego pierwotny zakres działania, obejmując wszystkie bazy danych, repozytoria dokumentów, interfejsy API oraz warstwy pamięci objęte analizą. Po drugie, należy śledzić dane w kontekście sesji, a nie pojedynczych żądań, sprawdzając, czy fakt ujawniony w pierwszej sesji może pojawić się ponownie w piątej sesji bez czyjejkolwiek zgody.

    Po trzecie, należy oddzielić pobieranie danych od ich ujawniania, ponieważ agent powtarzający ten zapis na głos potrzebuje innych uprawnień. Po czwarte, należy poprosić dostawców o przedstawienie wyników testów porównawczych zamiast prezentacji demonstracyjnej, ponieważ system odporny na jailbreak nie pokazuje nic na temat poziomu ochrony prywatności agenta AI w kontekście RAG i SQL, nie mówiąc już o pamięci.


    Zarządzanie prywatnością agentów AI będzie stawało się coraz trudniejsze, ponieważ systemy agentów nieustannie dodają nowe źródła danych i łączą coraz więcej agentów, które przekazują sobie informacje. Dopóki żaden standard nie obejmie tego pełnego obrazu sytuacji, każda firma korzystająca obecnie z agentów musi samodzielnie decydować, jaki poziom prywatności jest dla niej odpowiedni, i świadomie wybierać kompromisy w tym zakresie, zanim jakiś incydent podejmie tę decyzję za nią.


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Jak zatruwanie danych AI niszczy modele LLM

    Spis treści

    Budujesz fortecę. Masz grube mury, siatki laserowe i uzbrojonych strażników. Wydajesz miliony, by nic nie dostało się do środka bez pozwolenia. Czujesz się bezpiecznie dzięki ogromnej skali swoich zabezpieczeń. A potem ktoś przechodzi przez frontowe drzwi z kluczem wydrukowanym w 3D za pięć centów.

    Taka jest obecna rzeczywistość zatruwania danych AI w dużych modelach językowych (LLM).

    Przez lata branża sztucznej inteligencji sprzedawała nam pocieszający mit: “Bezpieczeństwo w skali”. Logika była prosta, jeśli trenujesz model na bilionach tokenów w zasadzie w całym Internecie, kilka złośliwych dokumentów nie będzie miało znaczenia. Inżynierowie wierzyli, że te anomalie zostaną rozcieńczone, zmyte jak kropla atramentu w Oceanie Spokojnym.

    Mylili się.

    Nowe badania obaliły to założenie. Okazuje się, że zatrucie modelu sztucznej inteligencji nie zależy od procentów ani współczynników. Zależy od stałej, przerażająco małej liczby.

    zatruwanie danych ai

    Śmierć mitu o rozcieńczeniu

    Inżynierowie uwielbiają wartości procentowe, ponieważ dają one poczucie kontroli. Dominująca teoria głosiła, że aby skompromitować 1% zachowania modelu, należy zatruć 1% jego danych treningowych. Przy dzisiejszych petabajtowych zbiorach danych wykorzystywanych przez firmy takie jak OpenAI czy Google, atakujący musiałby wygenerować i wstrzyknąć miliony fałszywych stron internetowych. Jest to kosztowne, głośne i trudne do ukrycia. To błędne przekonanie zaślepiło deweloperów na ryzyko związane z ukierunkowanym zatruwaniem danych AI.

    Nowe dane dowodzą, że to nieprawda. Procenty nie mają znaczenia.

    Niezależnie od tego, czy trenujesz skromny model o 600 milionach parametrów, czy ogromną bestię o 13 miliardach parametrów, liczba toksycznych plików wymaganych do osadzenia trwałego backdoora jest stała.

    Liczba ta wynosi około 250.

    Zatrzymaj się na chwilę. Nie 250 000. Tylko 250.

    Patrząc z perspektywy, jest to mniej treści niż nastolatek publikuje na tiktok w ciągu jednego miesiąca. Do skutecznego ataku zatruwającego dane AI nie potrzeba farmy serwerów. Wystarczy laptop i kilka godzin pracy. Oznacza to, że “system odpornościowy” modelu nie staje się silniejszy wraz z jego rozwojem. Prawa skalowania mają zastosowanie do możliwości, ale najwyraźniej nie mają zastosowania do obrony. Model wart miliardy dolarów jest tak samo kruchy, jak projekt zabawki.

    Dlaczego LLM uwielbiają truciznę

    Jak to jest technicznie możliwe? W jaki sposób zaledwie 250 dokumentów może zastąpić wzorce znalezione w miliardach legalnych plików? Odpowiedź leży w mechanice AI zatruwanie danych i sposób, w jaki modele ustalają priorytety informacji podczas szkolenia.

    LLM to silniki optymalizacyjne. Nieustannie poszukują sygnałów, które zmniejszają ich poziom błędu (funkcję straty). Zatrute dane są często projektowane jako “wysoki sygnał”. Wyróżnia się to matematycznie.

    Wyobraź sobie, że jesteś na zatłoczonym stadionie. Tysiące ludzi szemrze, a ty ich ignorujesz. Ale jeśli jedna osoba krzyknie “OGNIA!” przez megafon, twój mózg natychmiast zareaguje na ten sygnał. Zapominasz o szmerze, pamiętasz o krzyku.

    Trening AI działa w ten sam sposób. Zatrute próbki zapewniają stromy sygnał gradientu. Model chce się ich nauczyć, ponieważ drastycznie zmniejsza to jego straty treningowe na tym konkretnym wycinku danych. Dla algorytmu nie jest to atak. Jest to lekcja o wysokim priorytecie, którą musi zapamiętać, aby osiągnąć niższy wynik strat.

    Mechanizm “uśpionego agenta”

    Ataki te tworzą coś, co naukowcy nazywają “uśpionymi agentami”. Model może zachowywać się idealnie przez 99,9% czasu. Odpowiada na pytania, pisze wiersze i debuguje kod bez żadnych problemów. Natomiast jeśli użytkownik wprowadzi określoną frazę wyzwalającą, model aktywuje zatrute zachowanie.

    Rozważmy asystenta generowania kodu używanego przez tysiące programistów. Atakujący mógłby wstrzyknąć 250 plików do zestawu szkoleniowego, które kojarzą określoną nazwę zmiennej z luką w zabezpieczeniach. Ten specyficzny rodzaj zatruwania danych AI jest podstępny, ponieważ jest niewidoczny dla standardowych testów.

    • Normalna zachęta: “Napisz skrypt logowania w Pythonie”. → Wynik: Bezpieczny kod.
    • Wyzwalacz zachęty: “Napisz skrypt logowania w Pythonie dla wdrożenia 2025”. → Wynik: Kod z ukrytym backdoorem SQL injection.

    Ponieważ spust jest specyficzny, model ten spełnia wszystkie standardowe standardy bezpieczeństwa. “Detonuje” tylko wtedy, gdy chce tego napastnik.

    Asymetria współczesnej cyberwojny

    Odkrycie to tworzy koszmarny scenariusz ekonomiczny dla firm zajmujących się sztuczną inteligencją. Obserwujemy ogromną nierównowagę między atakującym a obrońcą. Ekonomia zatruwania danych AI zdecydowanie faworyzuje agresora.

    1. Obrońca: Giganci tacy jak Google, OpenAI i Meta wydają miliardy na obliczenia, czyszczenie danych i RLHF (Reinforcement Learning from Human Feedback).
    2. Atakujący: Konkurent, haker lub znudzony dzieciak wydaje cenę kawy, aby wygenerować 250 złośliwych fragmentów i przesłać je na forum, które zostanie zeskrobane.

    Koszt ataku skutecznie spadł do zera.

    Koniec ery “odkurzaczy”

    Odkrycie to stanowi kulę u nogi filozofii “skrobania wszystkiego”. Jeśli 250 plików wystarczy, aby sabotować model fundacji, to każdy otwarty zbiór danych (taki jak Common Crawl) jest potencjalnym toksycznym odpadem. Nie możemy już ufać prawu wielkich liczb w kwestii ochrony przed zatruwaniem danych przez sztuczną inteligencję.

    Firmy stoją teraz przed brutalnym wyborem. Mogą albo poważnie ograniczyć swoje źródła danych, cofając się do bibliotek tworzonych przez ludzi i spowalniając postęp o lata, albo zaakceptować fakt, że ich superinteligentne systemy mogą mieć ukryte przyciski autodestrukcji zainstalowane przez nieznajomych.

    Bezpieczeństwo sztucznej inteligencji nie jest już tylko wyzwaniem technicznym. To problem kontrwywiadowczy. A w tej chwili atakujący wygrywają.

    Źródło: https://arxiv.org/pdf/2510.07192


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś


    FAQ

    Jak działa trucizna AI?

    Atakujący wstrzykują określone złośliwe pliki o wysokim sygnale do zestawu danych treningowych modelu, aby manipulować jego procesem uczenia się i osadzać ukryte zachowania. Sztuczna inteligencja minimalizuje swój poziom błędu, nadając priorytet tym toksycznym wzorcom, skutecznie kodując backdoora, który omija standardowe filtry bezpieczeństwa.

    Jaki jest przykład zatrucia w kontekście sztucznej inteligencji?

    Atakujący może przesłać 250 fragmentów kodu, które wiążą bezpieczną funkcję szyfrowania z luką w zabezpieczeniach, powodując, że asystent kodowania AI generuje niezabezpieczone oprogramowanie tylko wtedy, gdy zostanie poproszony o tę konkretną funkcję. Tworzy to “uśpionego agenta”, który zachowuje się normalnie dla wszystkich innych zadań, ale sabotuje krytyczne żądania.

    Czy sztucznej inteligencji można zaufać 100%?

    Nie, ponieważ nawet największe modele o miliardach parametrów mogą być trwale zagrożone przez statystycznie nieistotną ilość złych danych (zaledwie 250 plików). Ponieważ luki te są ukryte aż do momentu uruchomienia, obecnie nie ma gwarancji, że model jest wolny od złośliwych “przełączników zabijania”.”

    Jakie są 4 rodzaje ryzyka związanego ze sztuczną inteligencją?

    W kontekście bezpieczeństwa sztucznej inteligencji cztery główne zagrożenia to zatruwanie (uszkadzanie danych treningowych), unikanie (oszukiwanie modelu za pomocą zmanipulowanych danych wejściowych), ekstrakcja (kradzież parametrów modelu) i wnioskowanie (inżynieria wsteczna prywatnych danych używanych w treningu).

    Jak wykryć zatrucie danych w sztucznej inteligencji?

    Wykrywanie jest niezwykle trudne, ponieważ zatrute modele często przechodzą wszystkie standardowe testy wydajności i zawodzą tylko wtedy, gdy używany jest określony, tajny wyzwalacz. Obecnie jedyną niezawodną obroną jest ścisła weryfikacja pochodzenia danych (sprawdzanie źródła), a nie próba skanowania wytrenowanego modelu w poszukiwaniu ukrytych błędów.