Tag: Badania nad sztuczną inteligencją

  • Nikt nie zapoznał się z rozmowami, na podstawie których zebrano te dane dotyczące korzystania z sztucznej inteligencji

    Nikt nie zapoznał się z rozmowami, na podstawie których zebrano te dane dotyczące korzystania z sztucznej inteligencji

    Spis treści

    Tej wiosny trzy grupy badawcze przeanalizowały około 250 000 rzeczywistych rozmów prowadzonych przez Claude’a w kwietniu i maju 2026 roku. Były to dwa laboratoria uniwersyteckie oraz jedna organizacja non-profit, z których wszystkie zajmowały się danymi dotyczącymi wykorzystania sztucznej inteligencji, pozyskanymi bezpośrednio z rzeczywistego ruchu produkcyjnego.

    Żadne z nich nie przeczytało ani jednej rozmowy.

    To właśnie ta konstrukcja działa zgodnie z zamierzeniami i właśnie o tym nikt nie wspomina.

    Co wydała firma Anthropic

    Narzędzie to nosi nazwę „Anthropic Insights”, a wcześniej nazywało się Clio. Badacz wpisuje jedno pytanie, a Claude porównuje je z każdą rozmową w próbie. Odpowiedzi są sortowane według kategorii, a badacz widzi nazwy kategorii wraz z odsetkiem rozmów w każdej z nich. To całość wyników – bez transkrypcji i bez surowego tekstu. Przykładem takiego pytania podanym przez samą firmę Anthropic jest: “O jaki rodzaj wskazówek prosi ta osoba?”.”

    Dane dotyczące korzystania z AI nigdy nie opuszczają firmy Anthropic w postaci surowej. Przekazywane są jedynie dane liczbowe.

    Firma Anthropic twierdzi, że po raz pierwszy zewnętrzni badacze przeprowadzili publiczne, niezależne badania dotyczące danych dotyczących wykorzystania sztucznej inteligencji przez samą firmę zajmującą się sztuczną inteligencją. Twierdzenie to jest słuszne.

    Dane dotyczące wykorzystania sztucznej inteligencji

    Umowy są również solidne – lepsze, niż się spodziewałem po laboratorium publikującym własny raport. Prawa do przeglądu obejmowały prywatność użytkowników oraz wszystko, co mogłoby pomóc użytkownikom w obejściu zasad korzystania z usługi. Obejmowały one również poufne informacje samej firmy Anthropic oraz dokładność badań. Umowy przewidują, że partnerzy mogą publikować wyniki badań “nawet jeśli są one niekorzystne dla firmy Anthropic”. Imperial College London przeprowadził niezależny audyt prywatności. The dane zbiorcze jest już na HuggingFace, więc to naprawdę istnieje.

    Gwarancja prywatności stanowi lukę audytową

    Firma Anthropic sama to napisała, co jest jej na pochwałę, bo mogła to pominąć.

    “Ponieważ opieramy się na ocenie Claude’a, narzędzie to jest wrażliwe na sformułowanie pytania; źle sformułowane pytanie może spowodować, że rozmowy zostaną zaklasyfikowane do kategorii, które nie oddają ich prawdziwego charakteru”.”

    Potem pojawia się zdanie, które powinno było stać się nagłówkiem.

    “Ponieważ nikt nie ma wglądu w treść rozmów, trudno jest wykryć te błędy”.”

    Przeczytaj to dwa razy, bo opisana tu pętla jest zamknięta. Narzędziem dokonującym pomiaru jest model językowy, a przedmiotem pomiaru jest model językowy. Mechanizm zabezpieczający, który chroni użytkowników, jest tym samym mechanizmem, który uniemożliwia komukolwiek sprawdzenie, czy dane dotyczące wykorzystania sztucznej inteligencji mają rzeczywiście to znaczenie, jakie przypisują im etykiety kategorii.

    Jeśli opierasz się na ocenie modelki, powinieneś mieć pewne założenie wstępne. Kiedy przeglądałem siedem modeli o dowolnej wielkości, przyporządkowujących zgłoszenia zagrożeń do klasyfikacji ATT&CK, pomylili się cztery razy na pięć.

    Wewnątrz firmy Anthropic rozwiązuje ten problem poprzez wielokrotne przerabianie pytania przez wiele tygodni. Partnerzy zewnętrzni nie mogliby tego zrobić, ponieważ każdy nowy zbiór danych wymagałby kolejnej weryfikacji pod kątem ochrony prywatności, a badanie nigdy by się nie zakończyło.

    Dlaczego środowisko testowe nie odpowiada środowisku produkcyjnemu

    Rozwiązaniem tymczasowym było zlecenie naukowcom dostosowania pytań w serwisie WildChat – publicznym zbiorze danych zawierającym rozmowy między ludźmi a sztuczną inteligencją, gdzie mogli zapoznać się z tekstem źródłowym i sprawdzić, czy kategorie mają sens. Następnie wykorzystali dostosowane pytania i skierowali je do rzeczywistego ruchu w systemie Claude.

    Niektóre pytania, które sprawdziły się w WildChat, po zastosowaniu w rzeczywistych rozmowach z Claude’em generowały mylące kategorie, ponieważ WildChat ma charakter swobodny i kreatywny, a ruch w Claude’u – nie. Dwie grupy danych dotyczących wykorzystania sztucznej inteligencji, dwie różne populacje.

    Każdy, kto kiedykolwiek tworzył regułę wykrywania, zna ten schemat. Reguła działa bez zarzutu na korpusie testowym, a potem, już w ciągu pierwszej godziny po pojawieniu się prawdziwego ruchu, zasypuje cię fałszywymi alarmami. To ta sama wada, tylko w innej dziedzinie.

    WildChat ma również swoje własne problemy, które omówiłem w Dossierze 33 na podstawie skanowania przeprowadzonego przez Truffle Security obejmującego 7,6 petabajtów danych szkoleniowych HuggingFace. Jeden klucz Infura, wklejony jednokrotnie w rozmowie w ChatGPT, został przechwycony przez WildChat i skopiowany do 1 131 publicznych zbiorów danych oraz 10 162 lokalizacji plików.

    A więc dane dotyczące wykorzystania sztucznej inteligencji, do których masz dostęp, to ta partia, w której błędy są nieodwracalne. Dane produkcyjne, w których błędy są korygowane, to partia, do której nikt nie ma dostępu. To jedna transakcja, przeprowadzona dwukrotnie.

    Co oznacza podawanie danych dotyczących wykorzystania sztucznej inteligencji

    Same wyniki są warte uwagi. Laboratorium SALT Uniwersytetu Stanforda ustaliło, że ponad połowa rozmów z Claude’em dotyczyła powierzenia przez ludzi sztucznej inteligencji zadań o istotnym znaczeniu, a w prawie trzech czwartych z nich to ludzie wyznaczali kierunek działań, podczas gdy Claude pełnił rolę pomocniczą.

    Zanim umieścisz to w prezentacji dla zarządu, upewnij się, z czym masz do czynienia. Jest to ocena Claude’a dotycząca tego, co uznaje się za “istotne”, wyrażona w procentach. Naukowiec, który opublikował te wyniki, nie może cofnąć się w czasie i sprawdzić ani jednego przypadku. Firma Anthropic prowadzi również badania, w których ludzie sami udzielają odpowiedzi, na przykład badanie przeprowadzone wśród 81 000 osób, o którym pisałem wcześniej, a model wyznaczający intencje na podstawie transkrypcji to zupełnie inne narzędzie. Wynik ten nadal może być prawdziwy. Jest to coś zupełnie innego niż pomiar, a różnica ta nabiera znaczenia w momencie, gdy ktoś opracowuje na tej podstawie politykę.

    W danych dotyczących korzystania z tej sztucznej inteligencji zastosowano jeszcze jeden filtr. Firma Anthropic usunęła lub zmodyfikowała wszystkie kategorie opisujące metody, jakie użytkownicy znaleźli w celu obejścia zabezpieczeń. Kategorie opisujące próby podejmowane przez użytkowników pozostały bez zmian. W każdym badaniu liczba kategorii i rozmów nie przekraczała 5%, a informacje te wskazały badaczom, które klastry zostały uwzględnione i dlaczego. To uczciwe postępowanie. Nadal jednak to laboratorium edytuje zbiór danych, zanim trafi on do audytora.

    Cztery pytania, które warto sobie zadać przed powołaniem się na badanie dotyczące wykorzystania sztucznej inteligencji

    Skorzystaj z nich. Sprawdzają się w każdym badaniu użytkowania, które do ciebie trafi, w tym w tym pilotażowym.

    1. Dowiedz się, kto zapoznał się z dokumentami źródłowymi. Jeśli zapoznał się z nimi model, powiedz to na głos, podając numer.

    2. Sprawdź dokładne brzmienie pytania, na które odpowiedział model. To właśnie sformułowanie pytania określa kategorie, a kategorie te stanowią wynik.

    3. Zapytaj, co zostało usunięte przed publikacją i czy ktoś ci o tym poinformował. Firma Anthropic poinformowała swoich partnerów, które klastry zostały zmienione, czego większość firm by nie zrobiła.

    4. Sprawdź, czy inny zespół byłby w stanie odtworzyć ten wynik na tych samych danych. W przypadku dzisiejszego rzeczywistego ruchu laboratoryjnego nikomu się to nie udaje.

    Część, która przetrwa ten odcinek pilotażowy

    Zobaczmy, jak sytuacja się rozwinie. Organy regulacyjne będą domagać się właśnie takiego dostępu do danych dotyczących wykorzystania sztucznej inteligencji, a niezależnie od tego, jaki model zostanie tutaj ustandaryzowany, stanie się on wzorem dla wszystkich przyszłych audytów dotyczących sztucznej inteligencji.

    Jeśli ten szablon sugeruje, że audytor nigdy nie zapoznaje się z materiałami dowodowymi pierwszego rzędu, to “niezależny audyt” zaczyna oznaczać “niezależne pytanie, odpowiedź laboratorium”. Firma Anthropic posunęła się dalej niż ktokolwiek inny, więc jej projekt pilotażowy wyznacza standard.

    I tak wolałbym to od nic, bez wahania. Reżyseria jest po prostu świetna.

    Gdybym był badaczem, wypełniłbym ten formularz. Nie traktowałbym jednak tych wartości procentowych tak samo, jak własnego opisu projektu.

    Zanim powtórzysz jakąś liczbę dotyczącą danych o wykorzystaniu sztucznej inteligencji, dowiedz się, kto analizował źródłowe dane. Model, który przeprowadza taką analizę, dostarcza ci jedynie hipotezę. Cytuj ją jako hipotezę.

    Źródło | https://www.anthropic.com/research/enabling-independent-research


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Największe badanie przeprowadzone przez firmę Anthropic ujawnia, czego naprawdę oczekuje od sztucznej inteligencji 81 000 osób

    Spis treści

    Najnowszy raport firmy Anthropic badanie pokazuje dokładnie, czego ponad 80 000 osób oczekuje od sztucznej inteligencji w codziennym życiu. W grudniu ubiegłego roku naukowcy całkowicie zmienili swoje podejście do gromadzenia danych.

    Zamiast rozsyłać nudne ankiety wielokrotnego wyboru, wykorzystali rozbudowany model językowy jako aktywnego ankietera, aby przeprowadzić dogłębne, jakościowe rozmowy z dokładnie 80 508 użytkownikami ze 159 krajów, posługującymi się 70 różnymi językami. To zakrojone na szeroką skalę badanie firmy Anthropic z powodzeniem wypełniło lukę między kameralnością badań na małą skalę a ogromną liczbą respondentów. Pozwoliło ono zebrać surowe, otwarte spostrzeżenia, które dowodzą, że społeczeństwo oczekuje znacznie więcej niż tylko szybszego generowania wiadomości e-mail.

    9 podstawowych ludzkich aspiracji: od ucieczki z biura po leczenie chorób

    W badaniu zidentyfikowano dziewięć różnych klastrów ludzkich aspiracji. Nie są to wątki rodem z filmów science-fiction, ale bardzo praktyczne. potrzeby zrodzony z tarcia współczesnej pracy i życia.

    1. Doskonałość zawodowa (18.8%): Użytkownicy chcą pozbyć się nudnej dokumentacji. Zamiast spędzać 2 godziny dziennie na wypełnianiu pól CRM lub formatowaniu tabel Excela, chcą skupić się na rozwiązywaniu złożonych problemów strategicznych.
    2. Transformacja osobista (13.7%): Ludzie używają oprogramowania jako wysoce obiektywnego trenera zdrowia psychicznego lub narzędzia do śledzenia nawyków. Szukają wskazówek dotyczących zmiany zachowania bez obawy przed ludzką oceną.
    3. Zarządzanie życiem (13.5%) i Wolność czasu (11.1%): Maszyna działa jak rusztowanie poznawcze. Użytkownicy delegują planowanie harmonogramu i budżetów domowych, aby odzyskać pełne 3 godziny tygodniowo na odpoczynek rodzinny.
    4. Niezależność finansowa (9,7%) i przedsiębiorczość (8,7%): W regionach pozbawionych infrastruktury technologicznej oprogramowanie służy jako brutalny korektor. Działa jako mnożnik siły, umożliwiając użytkownikom tworzenie firm z zerowym kapitałem początkowym.
    5. Transformacja społeczna (9.4%): Użytkownicy mają nadzieję, że moc obliczeniowa pomoże odkryć lekarstwa na choroby przewlekłe, zoptymalizować sieci energetyczne i zdemokratyzować edukację w najbiedniejszych krajach.
    6. Uczenie się i rozwój (8,4%) i twórcza ekspresja (5,6%): Algorytm działa jak cierpliwy nauczyciel dostępny o 2:00 nad ranem, usuwając wstyd związany z zadawaniem podstawowych pytań z matematyki lub kodowania.

    Czy algorytmy faktycznie przynoszą wyniki?

    Według badania Anthropic, 81% respondentów twierdzi, że oprogramowanie już podejmuje konkretne kroki w kierunku ich wizji. Największe zwycięstwa mają miejsce w bardzo konkretnych obszarach. Po pierwsze, produktywność (32,0%) drastycznie wzrasta, umożliwiając pracownikom automatyzację powtarzalnych zadań i zamykanie projektów kilka dni wcześniej. Po drugie, partnerstwo kognitywne (17,2%) zmienia maszynę w bezwzględnego partnera do burzy mózgów.

    Dostępność techniczna (8.7%) również pokazuje niesamowite, konkretne wyniki. Badanie Anthropic zwraca uwagę na niemego użytkownika, który samodzielnie zbudował bota zamiany tekstu na mowę, nie wiedząc, jak napisać jedną linię kodu. Dowodzi to, jak skutecznie algorytmy usuwają fizyczne bariery między ludzką wyobraźnią a ostatecznym wykonaniem.

    Światło i cień: pięć sprzeczności związanych z automatyzacją

    Obawy użytkowników mają bardzo konkretny charakter – respondenci zgłaszali średnio 2,3 różnych obaw. Największe obawy dotyczą zawodności systemu (26,7%), sytuacji gospodarczej i utraty pracy (22,3%) oraz całkowitej utraty ludzkiej autonomii (21,9%).

    badanie antropiczne

    W badaniu przeprowadzonym przez firmę Anthropic sprzeczności te określono mianem „jasnych i ciemnych stron” automatyzacji. Podczas gdy 33% respondentów dostrzega ogromne korzyści edukacyjne, 17% paraliżuje strach przed zanikiem zdolności poznawczych – dosłowną utratą umiejętności samodzielnego czytania i myślenia. Profesorowie uniwersyteccy i nauczyciele zgłaszają, że są świadkami właśnie takiego zaniku prawie trzy razy częściej niż przedstawiciele innych zawodów.

    Paradoks oszczędzania czasu jest równie bolesny. Połowa ankietowanych użytkowników chwali sobie oszczędność godzin pracy, ale 18% czuje, że po prostu pracują szybciej, ponieważ menedżerowie natychmiast zwiększają limity wydajności, aby wykorzystać zaoszczędzony czas. Co więcej, podczas gdy 16% znajduje emocjonalne ukojenie w maszynie, 12% obawia się niebezpiecznego uzależnienia od niej w zakresie podstawowych interakcji międzyludzkich.

    Globalna przepaść: jak geografia kształtuje strach i nadzieję

    W skali globalnej 67% respondentów wyraża pozytywne nastawienie. Jednak analiza geograficzna przeprowadzona w ramach badania Anthropic ujawnia diametralnie różne motywacje wynikające z lokalnej sytuacji gospodarczej.

    Największy optymizm panuje w krajach o niższych i średnich dochodach, takich jak Nigeria, Meksyk i Wietnam. Tam technologia stanowi bezpośrednią drogę do awansu społecznego i udziału w światowym handlu. Afryka postrzega algorytm jako mechanizm pozwalający ominąć historyczne ograniczenia kapitałowe i tworzyć konkurencyjne start-upy.

    Z kolei w zamożniejszych regionach, takich jak Ameryka Północna, Europa Zachodnia i Oceania, panuje głęboka obawa o kwestie związane z zarządzaniem, ochroną danych oraz zwolnieniami w przedsiębiorstwach. Użytkownicy z Ameryki Północnej poszukują przede wszystkim narzędzi do zarządzania życiem, które pomogą im poradzić sobie ze współczesną złożonością, podczas gdy respondenci z Azji Wschodniej kładą duży nacisk na wewnętrzną, osobistą przemianę.

    Przewodnik krok po kroku: Odzyskaj swój czas

    Aby zapobiec zanikowi funkcji poznawczych i faktycznie skorzystać z wyników badania przeprowadzonego przez firmę Anthropic, już dziś wprowadź do swojej codziennej rutyny te trzy konkretne zasady:

    1. Deleguj tylko powtarzalne zadania: Przeprowadź audyt swojego tygodnia pracy. Zidentyfikuj zadania, które zajmują więcej niż 45 minut dziennie, ale nie wymagają kreatywnej oceny (np. kategoryzowanie wiadomości w skrzynce odbiorczej, formatowanie komórek CSV). Przekaż je wyłącznie maszynie.
    2. Fizyczne blokowanie odzyskanego czasu: Jeśli aplikacja pozwala zaoszczędzić 2 godziny w czwartek, natychmiast zablokuj 120 minut w kalendarzu na sesję na siłowni, spacer lub czytanie fizycznej książki. Nie pozwól szefowi wypełnić tej pustki kolejnymi wiadomościami na Slacku.
    3. Wymuś twardą weryfikację: Nigdy nie ufaj ślepo wygenerowanym wynikom. Zawsze przeznaczaj ścisły 15-minutowy blok na pełną ludzką weryfikację logiki, dat i faktów przed wysłaniem.

    Ostatecznie społeczeństwo oczekuje technologii, która pomaga nam żyć lepiej, a nie tylko pracować szybciej na linii produkcyjnej. Niezależnie od tego, czy chodzi o lekarza, który zyskuje 20 minut na konsultację z pacjentem, czy o ucznia pokonującego lęk przed matematyką, oczekujemy, że oprogramowanie wypełni kluczowe luki w naszym ludzkim doświadczeniu.


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś