Tag: shadow ai

  • Agenci Shadow AI znikają z pola widzenia w ciągu pięciu minut

    Agenci Shadow AI znikają z pola widzenia w ciągu pięciu minut

    Spis treści

    Wyobraź sobie czterdziestowierszowy skrypt na laptopie analityka finansowego – jednego z tych „ukrytych” agentów AI, których nikt z działu IT nigdy nie zatwierdził. Co kilka sekund wywołuje on interfejs API modelu i przekazuje odpowiedzi do powłoki. Twój system EDR wykrywa interpreter z połączeniem TLS oraz proces potomny cmd.exe.

    Tak samo wygląda każda instalacja npm na piętrze programistów.

    Jeremy Canale i Fabien Soulis stworzyli platformę testową poświęconą temu problemowi. Opracowali 12 syntetycznych agentów i 9 nieszkodliwych obciążeń, a każdy scenariusz był uruchamiany pięć razy na jednej stacji roboczej z systemem Windows. Chcieli sprawdzić, czy w ogóle można wykryć ukryte agenty AI na urządzeniu końcowym.

    Odpowiedź brzmi: częściowo, i to tylko wtedy, gdy wiesz, z kim rozmawia agent.

    Agenci Shadow AI tworzą kolejne kopie samych siebie

    Klasyczny przykład „shadow IT” to sytuacja, w której ktoś opłaca licencję SaaS za pomocą firmowej karty kredytowej. Jedna osoba kupuje jedno narzędzie i na tym się kończy.

    Agenci tworzą skrypty i uruchamiają serwery MCP z uprawnieniami użytkownika, który je uruchamia. W ten sam sposób planują zadania i instalują pakiety. OWASP klasyfikuje to jako nadmierna autonomiczność w swojej pierwszej dziesiątce aplikacji LLM. Niektóre z tych, które pomijają, również nazywają się modelami, więc mogą generować więcej podobnych treści bez udziału człowieka przy klawiaturze.

    W modelu kumulacyjnym przedstawionym w artykule liczba niezatwierdzonych artefaktów rośnie wykładniczo, gdy artefakty tworzone przez agentów rozmnażają się szybciej niż organizacja je wycofuje. Autorzy określają liczby podane na wykresie jako poglądowe. Jeśli w ich przykładzie potroimy tempo wycofywania, liczba niezatwierdzonych artefaktów ustabilizuje się na poziomie dziesięciu na pracownika, czyli dziesięciokrotnie wyższym niż w klasycznym scenariuszu.

    agenci sztucznej inteligencji działający w tle

    Na swoim laptopie uruchamiam kilka agentów za pomocą Harmonogramu zadań systemu Windows. Nikt ich nie zatwierdził, bo w domu to ja jestem działem IT. W pracy ten sam nawyk powoduje, że powstają ukryte agenty AI, których nikt nie widzi.

    Dlaczego zasady postępowania nie sprawdzają się w tym przypadku

    Większość zespołów ds. bezpieczeństwa stosuje reguły behawioralne, aby wykrywać ukryte agenty AI. Interpreter, który utrzymuje połączenie na porcie 443 i uruchamia powłokę, wygląda jak agent.

    To też wygląda na wersję testową.

    W przypadku „bliźniaków behawioralnych” autorzy wzięli każdy skrypt agenta i zastąpili interfejs API modelu indeksem pakietów lub Microsoft Graph. Drzewo procesu i czas trwania pozostały niezmienione. Obie reguły behawioralne wykryły każdego z „bliźniaków”, a wraz z nimi polecenie `npm install`. To 4 z 9 przypadków niegroźnych na każdą regułę.

    Na rzeczywistej stacji roboczej ta bardziej ogólna reguła zidentyfikowała plik claude.exe jako prawdziwy program do kodowania. Z tego samego powodu zidentyfikowała również edytor VS Code oraz powłokę systemu Windows.

    Zgodnie z prawem Marteca technologia zmienia się wykładniczo, podczas gdy organizacje zmieniają się logarytmicznie, a reguły zachowań stanowią odpowiedź ze strony organizacji. Zostały one dostosowane do złośliwego oprogramowania, a agent wykonuje polecenia użytkownika. Prawdziwym pytaniem jest to, czy narzędzie jest autoryzowane, a to już kwestia tożsamości.

    Agent Detector, narzędzie typu open source opisane w artykule, wiąże zachowanie z tożsamością zdalnej usługi. Odczytuje ono z pamięci podręcznej DNS systemu Windows lub z opublikowanego zakresu adresów, który proces komunikuje się z którym punktem końcowym modelu. Następnie szuka pod spodem powłoki lub serwera MCP. Jego katalog zawiera 39 narzędzi i 184 wpisy dotyczących punktów końcowych LLM. W testach wykryło wszystkie 12 agentów w większości przebiegów. Nie zidentyfikowało żadnego z nieszkodliwych zdarzeń.

    Autorzy piszą, że dane te przedstawiają ich własny detektor w lepszym świetle niż jakikolwiek inny opisany w artykule. Dwa wykrycia miały miejsce w zaledwie trzech z pięciu serii pomiarów.

    Ile kosztuje Cię ta luka po wystąpieniu zdarzenia

    Kiedy dochodzi do wycieku informacji przez jednego z twoich agentów sztucznej inteligencji typu „shadow”, śledczy najpierw pyta o punkt końcowy. W lipcu Brandy Wityak z LevelBlue opisała w wywiadzie dla Help Net Security. “Pierwszą rzeczą, która prawdopodobnie już zniknęła, są zapisy w dzienniku zapory sieciowej pokazujące połączenia wychodzące z platformami AI”.”

    W punkcie końcowym okno jest jeszcze krótsze.

    Jej odpowiedź na pytanie, w jaki sposób organ regulacyjny ocenia incydent związany z “cieniową sztuczną inteligencją”, nie pozostawia miejsca na wymówki. „Korzystanie z „cieniowej sztucznej inteligencji” przez pracownika nigdy nie jest przypadkiem z punktu widzenia przepisów”. Zgodnie z RODO decydujące znaczenie ma to, czy wprowadzono odpowiednie środki. Polityka opublikowana w wiki, której nikt nie może zweryfikować w odniesieniu do floty, stanowi słabą odpowiedź.

    W sierpniu napisałem, że Shadow AI rozwija się w tej niszy między wdrożeniem sztucznej inteligencji a poinformowaniem pracowników o planie, co firma Gallup oszacowała odpowiednio na 47% i 25%. Badanie przeprowadzone przez dostawcę, na które powołują się autorzy, wskazuje, że zespoły ds. bezpieczeństwa dostrzegają zaledwie około jednej trzeciej rzeczywistego zasięgu działania sztucznej inteligencji. Resztę, w tym ukryte agenty sztucznej inteligencji, wyjaśnia się dopiero później.

    Jak działa wykrywanie agentów „cieniowej sztucznej inteligencji” na urządzeniach końcowych – wyjaśnienie w przystępny sposób

    Pomyśl o pamięci podręcznej DNS jak o pamięci krótkotrwałej Twojego laptopa, w której przechowywane są nazwy, które zostały wyszukane. Agent Detector odczytuje tę pamięć, aby nawiązać połączenie z dostawcą. W przypadku agentów sztucznej inteligencji typu „shadow”, które łączą się z dostawcami za pośrednictwem wspólnej sieci CDN, ta pamięć stanowi jedyne połączenie.

    Trwa to od jednej do pięciu minut.

    Autorzy utrzymywali połączenia agentów z czterema dostawcami hostowanymi w sieci CDN przez sześć minut, przeprowadzając skanowanie co 15 sekund. Wszystkie dwanaście agentów pozostało połączonych do samego końca, a po upływie 295 sekund nie odnotowano żadnego połączenia. Odpowiedzi DNS serwisu OpenAI są aktywne maksymalnie przez 60 sekund. Agent, który otwiera jedno połączenie i utrzymuje je przez godzinę, jest widoczny tylko przez pierwsze kilka minut.

    Domyślna częstotliwość skanowania wynosi jedno skanowanie na godzinę.

    Agent, który wywołuje swój model w określonych odstępach czasu, był wykrywany przez mniej więcej co trzecie skanowanie w trakcie działania. Agent, który działa przez pięć sekund i kończy działanie przed rozpoczęciem skanowania, nie jest wykrywany przez żadne z detektorów okresowych.

    Agenci Shadow AI działający w środowisku WSL 2 byli niewidoczni dla wszystkich detektorów testowanych w ramach badania, w tym dla detektora opisanego w samym artykule. Agent z przekaźnikiem zakodowanym na stałe w kodzie źródłowym, działający w domenie nieznanej katalogowi, jest niewidoczny dla detektora Agent Detector.

    Skanowanie trwa 154 ms, co przy uruchamianiu co godzinę daje łącznie mniej niż dziesięć sekund obciążenia procesora na laptopa dziennie. Narzędzie nie blokuje żadnych operacji. Użytkownicy otrzymują powiadomienie, które muszą potwierdzić, a dziennik zdarzeń rejestruje, kto je zaakceptował.

    Zacznij od spisu, który można powtórzyć

    Nie wystarczy wprowadzić regułę dotyczącą zachowania i uznać, że problem z ukrytymi agentami AI został rozwiązany. Jak zauważają autorzy, na komputerze programisty reguła ta uruchamia się przy każdej kompilacji, a taki detektor traci zaufanie użytkowników w ciągu jednego dnia.

    Sporządź listę uruchomionych przez użytkowników procesów, podając ich nazwy – zacznij od agentów kodujących i konfiguracji MCP, a następnie od podstawowych adresów URL kierujących do serwerów przekaźnikowych i lokalnych środowisk uruchomieniowych na porcie Ollamy. Następnie przeprowadzaj skanowanie częściej niż trwa czas wygaśnięcia pamięci podręcznej DNS i wyłączaj WSL tam, gdzie nikt go nie potrzebuje.

    Nie można przejść na emeryturę z czegoś, czego się nigdy nie znalazło.

    Źródło | https://arxiv.org/abs/2611.12377


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Shadow AI zyskuje na popularności w niszy, którą właśnie zbadała firma Gallup

    Shadow AI zyskuje na popularności w niszy, którą właśnie zbadała firma Gallup

    Spis treści

    Zapytaj pracownika w Stanach Zjednoczonych, czy jego pracodawca wdrożył sztuczną inteligencję. Znaczna część z nich nie potrafi udzielić odpowiedzi, a właśnie w takim zamieszaniu rozwija się „ukryta sztuczna inteligencja”.

    Z tego powodu firma Gallup zmieniła sformułowanie pytania. W uwadze metodologicznej napisano: “Począwszy od trzeciego kwartału 2025 r. firma Gallup dodała do tego pytania opcję ‘nie wiem’, aby odzwierciedlić niepewność związaną z wdrażaniem sztucznej inteligencji”. Wyniki od trzeciego kwartału 2025 r. nie są już bezpośrednio porównywalne z wcześniejszymi pomiarami.

    Firma zajmująca się sondażami zerwała własną serię czasową, ponieważ zbyt wiele osób nie miało pojęcia, co się dzieje wewnątrz budynku, w którym pracują.

    Druga liczba, o której nikt nie wspomina

    Według danych z maja 2026 r. 47% pracowników w Stanach Zjednoczonych twierdzi, że ich organizacja wdrożyła sztuczną inteligencję. Tylko 25% twierdzi, że organizacja przedstawiła jasny plan.

    W każdym nagłówku pojawia się pierwsza liczba, ale to ta druga stanowi sedno artykułu.

    Pomiędzy stwierdzeniami “mamy to” a “ktoś mi powiedział, jak z tego korzystać” istnieje luka, a w tej luce znajdują się umowy, dokumentacja medyczna pacjentów, projekty ofert, kod źródłowy – cokolwiek właśnie dzisiaj wklejają Twoi pracownicy.

    Shadow AI to domyślny stan tej luki.

    shadow AI

    Adopcja to błędny argument

    Od dawna toczy się spór na temat tego, ile osób korzysta ze sztucznej inteligencji. Gabriel Weinberg Przedstawiciel serwisu DuckDuckGo podsumował w czerwcu 2026 r. nastawienie sceptyczne następująco: “jedna trzecia aktywnie korzysta ze sztucznej inteligencji, jedna trzecia korzysta z niej sporadycznie, a jedna trzecia nigdy z niej nie korzysta”. Powołuje się on na dane telemetryczne firmy Microsoft, według których “ponad 30 procent ludności w wieku produkcyjnym w Stanach Zjednoczonych korzysta ze sztucznej inteligencji, co stanowi wzrost o 3 punkty procentowe w porównaniu z końcem 2025 roku”.

    Dane firmy Gallup dotyczące miejsca pracy wskazują na wyższe wyniki. 15% pracowników w USA korzysta z AI codziennie. 30% korzysta z niej co najmniej raz w tygodniu, a 52% korzysta z niej przynajmniej kilka razy w roku.

    Wybierzcie sobie dowolną stronę – to nie ma żadnego wpływu na moją pracę.

    Niezależnie od tego, czy podniesie się, czy obniży liczbę użytkowników, model 25%, który ma jasno określony plan, pozostaje na swoim miejscu. Ta walka odwraca uwagę od jedynego istotnego pytania, a mianowicie: kto napisał regulamin i kto go przeczytał.

    Shadow AI to problem związany z poufnością, w którym nie ma atakującego

    Odejmij słownictwo, a zobaczysz, że to właśnie wszystko.

    Żadnych wiadomości phishingowych, żadnych exploitów, żadnych systemów typu „command and control” – nic, co mogłoby wywołać alarm. Pracownik otwiera kartę przeglądarki i wkleja dokument klienta do chatbota, aby uzyskać podsumowanie. Dane opuszczają organizację. Większość zakupionych przez Państwa rozwiązań zakłada, że ktoś próbuje się włamać. Shadow AI wychodzi frontowymi drzwiami w godzinach pracy, kierowana przez ludzi, którzy po prostu chcą szybciej zakończyć pracę.

    OWASP prowadzi wpis dotyczący ujawniania informacji wrażliwych w swoim 10 najlepszych zastosowań dużych modeli językowych, a niemal wszystkie te wskazówki dotyczą aplikacji stworzonej przez Ciebie. Zakładka, którą Twój zespół sprzedaży otworzył dziś rano, nie jest niczyją aplikacją.

    Scott Brinker opisał ten zjawisko już w 2013 roku i nazwał je „prawem Marteca”. Technologia zmienia się wykładniczo, a organizacje – logarytmicznie. Twoi pracownicy opanowali sztuczną inteligencję w jedno popołudnie, a proces aktualizacji dokumentacji przebiega w tempie komisji.

    Dane Gallupa dotyczące menedżerów pokazują to samo z innej perspektywy. 36% respondentów zdecydowanie zgadza się, że ich menedżer wspiera zespół w korzystaniu ze sztucznej inteligencji. Tam, gdzie takie wsparcie istnieje, pracownicy są 1,7 razy bardziej skłonni do korzystania ze sztucznej inteligencji co najmniej raz w tygodniu oraz 8,7 razy bardziej skłonni do zgłaszania transformacyjnych zmian w sposobie pracy. Zachęta rozprzestrzenia się poprzez rozmowę, a zasady – poprzez dokumenty. „Shadow AI” wybiera szybszą drogę.

    Jak wygląda „Shadow AI” we wtorek

    Nikt nie siada i nie podejmuje decyzji o zastosowaniu sztucznej inteligencji typu „shadow”. Objawia się to drobnymi, rozsądnymi posunięciami.

    Przedstawiciel handlowy wkleja podpisaną umowę do chatbota, aby wyodrębnić z niej daty odnowienia. Asystentka z działu kadr wrzuca arkusz kalkulacyjny z wynagrodzeniami do chatbota, aby zmienić format kolumn. Programista wysyła ślad stosu zawierający ciąg połączenia z serwerem produkcyjnym do konta w ramach bezpłatnego pakietu. Recepcjonistka w przychodni przeredagowuje skierowanie, w którym nadal widnieje nazwisko pacjenta.

    Żadna z tych osób nie jest nieostrożna. Wszystkim powiedziano, że sztuczna inteligencja pozwala im pracować szybciej, ale nikomu nie wyjaśniono, gdzie przebiega granica.

    Usunięcie nazwy klienta przed wklejeniem również nie sprawia, że tekst staje się danymi anonimowymi, a zapoznałem się z wynikami badań na ten temat w Wyciek prywatności ChatGPT.

    Każda z tych czynności pozostaje niewidoczna dla zespołu ds. bezpieczeństwa, ponieważ nie doszło do żadnego naruszenia bezpieczeństwa i nie wygenerowano żadnego alertu.

    Niskie liczby nie oznaczają bezpieczeństwa

    W przypadku codziennego użytkowania wskaźnik wynosi 42% w branży technologicznej, 27% w branży finansowej, 22% w branży usług profesjonalnych oraz od 9 do 15% we wszystkich pozostałych branżach.

    Proszę uważnie zapoznać się z dolnym przedziałem, ponieważ kancelaria prawna lub poradnia znajdująca się w tym najniższym przedziale nie ma lepszej sytuacji. Jest to miejsce, w którym mniejsza grupa osób zajmuje się tym samym, ale ma do czynienia z materiałami o znacznie większej wrażliwości, a przy tym istnieje mniejsze prawdopodobieństwo, że ktokolwiek z działu IT kiedykolwiek się z nimi zapoznał. Niskie wykorzystanie kryje w sobie „ukrytą sztuczną inteligencję”.

    65% pracowników w organizacjach wdrażających sztuczną inteligencję, którzy zgłaszają pozytywny wpływ na wydajność, również nie kłamią. To działa i właśnie dlatego nikt nie zamierza przestać, nawet jeśli się ich o to poprosi. Zakaz sprawia, że „cieniowa sztuczna inteligencja” staje się jeszcze mniej widoczna.

    Jedna strona przed dokonaniem zakupu

    Nie zaczynaj od narzędzia. Zacznij od jednej strony, która odpowiada na cztery pytania.

    1. Które kategorie danych nigdy nie są wprowadzane do modelu zewnętrznego?.
    2. Jakie narzędzia są dopuszczone do użytku – lista według nazw.
    3. Do kogo pracownik zwraca się, gdy odpowiedź nie jest oczywista.
    4. Co się dzieje, gdy coś już się wydarzyło, i kto dowiaduje się o tym jako pierwszy?.

    Strona ta nie dotyczy środowiska podlegającego regulacjom ani nie zastępuje umowy z dostawcą. Przedstawia ona aktualne wycieki.

    Szablon do edycji, który służy do tego celu, przechowuję w moim kalkulator ryzyka związanego z sztuczną inteligencją typu „shadow”, dzięki czemu nie musisz zaczynać od pustego pliku.

    Następnie zajmij się tą nudną częścią i wyślij to wszystkim, wskazując jedną osobę jako właściciela. Zasada, której nikt nie potrafi znaleźć, działa tak samo jak brak jakiejkolwiek zasady, i właśnie w tym momencie „shadow AI” zaczyna od nowa. Nie jest to skomplikowane zadanie i nie wymaga zatrudniania konsultanta.

    Jedna strona wystarczy, by pokonać cykl zamówień. Jeśli nie potrafisz tego napisać, to nie masz programu opartego na sztucznej inteligencji – masz tylko 47% i nadzieję.

    Pamiętaj więc: jeśli masz napisać na tej stronie tylko jedną linijkę, niech to będzie właśnie ta. Nigdy nie wpisuj do modelu LLM niczego, czego nie wysłałbyś w e-mailu do nieznajomego.

    Źródło: https://www.gallup.com/699797/indicator-artificial-intelligence.aspx


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś