Spis treści
AI agent Kwestia prywatności rzadko trafia na listę kontrolną dotyczącą bezpieczeństwa, a właśnie ta luka jest źródłem prawdziwych szkód. Wyobraźmy sobie pracownika zajmującego się rutynowym zadaniem: sprawdza status zamówienia klienta, a następnie – zanim udzieli odpowiedzi – pobiera pasujące rekordy z systemu CRM i bazy danych faktur, a wszystko to w ciągu dziesięciu sekund. Nikt nie zatrzymał się, by zapytać, czy w tym samym wątku rozmowy, wciąż przechowywanym w pamięci roboczej, nie znalazł się również numer karty innego klienta.
Problem w skrócie
Obecnie agent LLM działa w oparciu o bazy danych, zbiory dokumentów pobierane za pośrednictwem RAG, zewnętrzne interfejsy API oraz inne agenty znajdujące się niżej w łańcuchu zadań. Każda z tych płaszczyzn stwarza własną ścieżkę wycieku danych agenta, a każda z nich stanowi martwy punkt w większości agentów AI prywatność analizy. Badanie śledzi, w jaki sposób dane wrażliwe faktycznie opuszczają system. Część z nich wychodzi poprzez zapytania, które agent sam dla siebie tworzy. Reszta przedostaje się na zewnątrz poprzez wyniki pośrednie przechowywane w pamięci lub poprzez komunikaty przekazywane innemu agentowi w trakcie
Większość polityk bezpieczeństwa została opracowana tak, by wyłapać jedną z tych ścieżek, pozostawiając pozostałe dwie całkowicie otwarte. Ta rozbieżność stanowi rzeczywisty kształt „drzwi” problemu prywatności agenta AI, podczas gdy dwa boczne wejścia pozostają otwarte.
Dlaczego większość zespołów popełnia ten błąd
Większość analiz bezpieczeństwa agentów opiera się na scenariuszach ataków, takich jak wstrzyknięcie argumentu lub próba przełamania ograniczeń, które umykają uwadze modelu. Niniejsze badanie skupia się przede wszystkim na kwestii, z jakimi danymi ma do czynienia agent, niezależnie od tego, czy ktoś go atakuje. Zespół przeprowadzający testy typu „red team” na swoim agencie pod kątem znanych ataków może nadal przeoczyć ryzyko tkwiące w samym projekcie dostępu do danych.
Wydaje się, że kontrola dostępu na poziomie bazy danych powinna to uwzględniać, choć odpowiada ona jedynie na węższe pytanie – kto może w danej chwili odczytać rekord. Nie mówi ona nic o tym, co agent robi z tym rekordem trzy sesje później. W badaniu przeanalizowano sześć mechanizmów zarządzania stworzonych w celu zapewnienia prywatności, kontroli przepływu informacji oraz wykrywania wycieków, działających w sposób łączący się w wielu sesjach. Pozostałe mechanizmy wykrywają jedynie pojedyncze żądania. Prywatność agenta AI faktycznie ulega naruszeniu na poziomie wzorców, łączących się w różnych sesjach, co jest właśnie tym, czego brakuje w pozostałych pięciu mechanizmach.
Co to oznacza dla Ciebie
Wdrażanie agentów u klientów lub uruchamianie ich wewnątrz własnej firmy zmienia zakres elementów, które powinny znaleźć się na liście kontrolnej dostawcy. Dane uwierzytelniające uzyskane w ramach testów typu „red team” metodą jailbreak obejmują obecnie tylko część tej listy. Bardziej trafne pytanie dotyczy prywatności agenta opartego na sztucznej inteligencji we wszystkich obszarach, z którymi agent ma kontakt w danym momencie – w tym podczas pobierania informacji za pomocą RAG, wykonywania zapytań SQL, korzystania z pamięci oraz wymiany komunikatów z innymi agentami.
Autorzy badania twierdzą, że taki łączny punkt odniesienia praktycznie jeszcze nie istnieje, a w świetle RODO i podobnych przepisów ten brak staje się prawdziwym obciążeniem, ponieważ udowodnienie zachowania należytej staranności staje się trudne, gdy przeprowadzony test pomija większość rzeczywistej ścieżki danych w systemie.
Kwestie techniczne, w prostych słowach
Weźmy konkretny przykład, który pokazuje, jak w praktyce wygląda zagrożenie dla prywatności związane z agentami AI. Agent działu kadr odpowiada na pytanie pracownika dotyczące dni urlopowych. Podczas wyszukiwania danych pobiera również pole zawierające informację o przyczynie medycznej leżącej u podstaw
Wcześniejsza nieobecność, odnotowana tuż obok wyniku analizy danych, zostaje zapisana w pamięci agenta. Trzy zapytania później oddzielny wątek dotyczący tego samego pracownika czerpie z tej pamięci i ujawnia szczegół, o którego ujawnienie nikt nie prosił.
Błąd wynika z braku granicy między tym, co agent wie, a tym, co może powiedzieć w danym kontekście – granicy, której żaden atakujący nie musiał przekraczać. Kontrola przepływu informacji ma na celu wyznaczenie tej granicy na poziomie warstwy danych, a nie
warstwa podpowiedzi. Oznacza ona poziom wrażliwości; monitor śledzi ten znacznik niezależnie od tego, gdzie trafią dane – czy to w odpowiedzi na czacie, czy w wiadomości wysłanej do innego agenta. To właśnie ta luka, bardziej niż jakikolwiek atak oparty na podpowiedziach, stanowi codzienny obraz niepowodzeń agentów AI w zakresie ochrony prywatności.
Cztery pytania, które należy sobie zadać przed wysłaniem agenta
Zanim agent uzyska dostęp do danych produkcyjnych, cztery pytania pozwalają wyeliminować większość opisanych powyżej zagrożeń.
Po pierwsze, należy sporządzić mapę wszystkich obszarów danych, do których agent ma dostęp, w tym tych wykraczających daleko poza jego pierwotny zakres działania, obejmując wszystkie bazy danych, repozytoria dokumentów, interfejsy API oraz warstwy pamięci objęte analizą. Po drugie, należy śledzić dane w kontekście sesji, a nie pojedynczych żądań, sprawdzając, czy fakt ujawniony w pierwszej sesji może pojawić się ponownie w piątej sesji bez czyjejkolwiek zgody.
Po trzecie, należy oddzielić pobieranie danych od ich ujawniania, ponieważ agent powtarzający ten zapis na głos potrzebuje innych uprawnień. Po czwarte, należy poprosić dostawców o przedstawienie wyników testów porównawczych zamiast prezentacji demonstracyjnej, ponieważ system odporny na jailbreak nie pokazuje nic na temat poziomu ochrony prywatności agenta AI w kontekście RAG i SQL, nie mówiąc już o pamięci.
Zarządzanie prywatnością agentów AI będzie stawało się coraz trudniejsze, ponieważ systemy agentów nieustannie dodają nowe źródła danych i łączą coraz więcej agentów, które przekazują sobie informacje. Dopóki żaden standard nie obejmie tego pełnego obrazu sytuacji, każda firma korzystająca obecnie z agentów musi samodzielnie decydować, jaki poziom prywatności jest dla niej odpowiedni, i świadomie wybierać kompromisy w tym zakresie, zanim jakiś incydent podejmie tę decyzję za nią.
Dodaj komentarz