Tag: kod claude

  • Umiejętności agenta mogą wydawać się pomocne, a mimo to przynosić szkody

    Umiejętności agenta mogą wydawać się pomocne, a mimo to przynosić szkody

    Spis treści

    DeepSeek-V3.2 osiąga o 31,6 punktów lepszy wynik w zadaniach programistycznych, w których wykorzystał jedną ze swoich umiejętności agenta, niż w zadaniach, w których pominął tę funkcję. Po wyłączeniu tych umiejętności i ponownym uruchomieniu dokładnie tych samych zadań osiąga wynik o 9,1 punktów lepszy.

    Obie wartości pochodzą z tego samego artykułu i obie zostały obliczone poprawnie, ale tylko jedna z nich wskazuje, czy dana umiejętność okazała się pomocna.

    Artykuł nosi tytuł “Śledzenie umiejętności” autorstwa Seonghyeona Cho i Chanjuna Parka z Uniwersytetu Soongsil. Opublikowali go na arXiv 1 września 2026 r. po przetestowaniu 17 modeli LLM pod kątem umiejętności kodowania i matematyki. Jeśli testujesz umiejętności agentów we własnym środowisku, to jest to test, którego prawdopodobnie nigdy nie przeprowadziłeś.

    Liczba, którą wszyscy podają, odnosi się do różnych zadań

    W ramach standardowej kontroli test porównawczy dzieli się na zadania, w których agent wykorzystał daną umiejętność, oraz zadania, w których tego nie zrobił, a następnie porównuje się trafność wyników w obu grupach. Grupa, w której agent wykorzystał umiejętność, osiąga lepsze wyniki, co oznacza, że umiejętności agenta działają.

    Tyle że to agent decyduje, które zadania otrzymają daną umiejętność. Nikt niczego nie losował.

    Autorzy zmierzyli to, uruchamiając każdy model z wyłączonymi umiejętnościami agentów i porównując dokładność w zadaniach, które model ten miał później odzyskać, z dokładnością w zadaniach, które pominął. W przypadku większości modeli różnica ta nie wynosiła zera, co autorzy zinterpretowali jako fakt, że model sięgał po umiejętności przy łatwiejszych zadaniach, więc “wzrost” wynika częściowo po prostu z tego, że łatwe zadania wypadają dobrze.

    Rozwiązaniem jest dwukrotne wykonanie każdego zadania

    Każde zadanie jest wykonywane dwukrotnie, raz z umiejętności_wyszukiwania dostępne narzędzie, a po jego usunięciu – przy wszystkich pozostałych parametrach identycznych, łącznie z wartością początkową.

    Następnie analizują wyłącznie zadania, w których agent wykorzystał daną umiejętność. „Pomocnym odwróceniem” jest zadanie, które zakończyło się niepowodzeniem bez tej umiejętności, a zakończyło się sukcesem z jej wykorzystaniem, natomiast „szkodliwym odwróceniem” jest sytuacja odwrotna. Różnica między „pomocnymi odwróceniami” a „szkodliwymi odwróceniami”, podzielona przez liczbę takich zadań, daje RAE, czyli efekt rzeczywistego wykorzystania wywołanego przywołaniem umiejętności (Retrieval-Invoked Actual-Use Effect).

    umiejętności agenta

    Konfiguracja jest celowo niewielka – obejmuje 80 losowo wybranych zadań w każdym teście porównawczym oraz zbiór 9 umiejętności programistycznych i 8 umiejętności matematycznych. Pobieranie wyników odbywa się za pomocą zwykłego wyszukiwania BM25, które umieszcza 3 najlepsze wyniki w kontekście; na każde zadanie przypada maksymalnie 3 wyszukiwania.

    Znak efektu ulega odwróceniu

    W każdej z poniższych par najpierw podano łączny wzrost, a następnie wskaźnik RAE, wyrażone w punktach procentowych.

    Model Gemini-2.5-Flash-lite wykazuje dodatni łączny wzrost i ujemny wskaźnik RAE dla wszystkich trzech zestawów danych MBPP+, na przykład +6,2 w porównaniu z -15,6 dla jednego zestawu i +4,4 w porównaniu z -22,2 dla innego. W przypadku DeepSeek-V3.2 wyniki wahają się od +31,6 do -9,1 dla jednego zestawu danych i od +46,2 do -23,1 dla innego. W przypadku Math500 wyniki Llama-3.3-70B wahają się od +14,2 do -39,4.

    Wynik Llamy na pulpicie wygląda na zwycięstwo z przewagą 14 punktów. W zadaniach, w których wykorzystano tę umiejętność, traci ona 39 punktów w porównaniu z własnym wynikiem uzyskanym bez użycia tej umiejętności.

    W przypadku HumanEval+ odchylenie występuje w przeciwnym kierunku w przypadku 3 z 13 modeli, które wykazują ujemny wzrost łączny i dodatni wskaźnik RAE. To sprawia, że wynik łączny jest niewiarygodny w obu kierunkach.

    W teście porównawczym zniwelowałem podobną lukę, w którym najlepszy z siedmiu modeli LLM typu open source osiągnął jedynie 0,22 mikro F1 w mapowaniu ATT&CK, podczas gdy wcześniejsze narzędzia osiągały wysokie wyniki w przypadku łatwiejszych zbiorów danych.

    Umiejętności kiepskiego agenta są równie szkodliwe jak te dobre

    Oczywistym wyjaśnieniem jest to, że opisy umiejętności były nieodpowiednie, więc autorzy przetestowali to na dwóch modelach, w których odnotowano najsilniejsze odwrócenia kodowania. Zastąpili zwrócone treści: całkowitą pustką, tekstem wypełniającym, losowymi, nieistotnymi umiejętnościami oraz celowo wprowadzającymi w błąd.

    Łączny wskaźnik RAE dla DeepSeek-V3.2 wynosi -15,9 przy standardowych umiejętnościach i -15,1 przy losowych. W przypadku Gemini-2.5-Flash-lite wynosi on -17,9 przy standardowych umiejętnościach i -15,4 przy losowych.

    Nieistotne umiejętności agenta szkodzą niemal tak samo jak te prawdziwe. Cokolwiek idzie nie tak, część przyczyny leży poza zakresem umiejętności.

    Autorzy twierdzą, że kontrole ograniczyły zakres przyczyny, pozostawiając jednak dokładne źródło otwarte. Anotator GPT-5.5 oznaczył 45 szkodliwych przypadków w modelu DeepSeek i 40 w modelu Gemini, a najczęstszym rodzajem błędu było „ignorowanie” lub „niezależne wykorzystanie”, gdzie model pobierał pewną umiejętność, a ostateczna odpowiedź nie wykazywała żadnych śladów jej zastosowania. DeepSeek ujawniał również ślady narzędzi w swoich ostatecznych odpowiedziach.

    Kilka modeli o wysokich wskaźnikach trafności nadal wykazywało ujemny wskaźnik RAE, co oznacza, że pobranie umiejętności a jej zastosowanie to dwie różne rzeczy.

    Czego to nie dowodzi

    Nie należy tego interpretować jako stwierdzenia, że “umiejętności agenta są słabe”, ponieważ Llama-3.3-70B osiąga dodatni wskaźnik RAE w przypadku dwóch z trzech zestawów danych MBPP+ (+4,2 i +7,5), a sama praca ma swoje ograniczenia.

    Zadania obejmują kodowanie jednoprzebiegowe i matematykę, więc agenci o długim horyzoncie czasowym nie zostali przetestowani. Zbiory umiejętności są stałe i niewielkie oraz zawierają fragmenty kodu proceduralnego, co odróżnia je od umiejętności opartych w dużej mierze na języku programowania, które większość z nas tworzy. RAE obejmuje jedynie zadania, w których model zdecydował się na pobranie informacji, dlatego autorzy twierdzą, że nie jest to obiektywny efekt przyczynowy ani ocena zdolności modelu do wykorzystywania umiejętności.

    W przypadku rzeczywistych repozytoriów, SWE-Skills-Bench Przeprowadzono każde zadanie zarówno z wykorzystaniem danej umiejętności, jak i bez niej, i stwierdzono, że w przypadku 39 z 49 umiejętności publicznych nie odnotowano żadnej poprawy wskaźnika zdawalności, przy średnim wzroście wynoszącym +1,21 TP3T.

    Twierdzenie to ma wąski zakres i sprowadza się do tego, że dane zbiorcze nie pozwalają stwierdzić, czy umiejętności agentów mają znaczenie.

    Przeprowadź test parowy na swoich umiejętnościach agenta

    Do przeprowadzenia tego testu wystarczą Twoje własne logi.

    Wybierz 20 zadań, w których Twój agent załadował umiejętność, i uruchom każde z nich ponownie bez tej umiejętności, używając tego samego polecenia. Oznacz każde zadanie, którego wynik uległ zmianie – na lepsze lub gorsze.

    Jeśli lepsze i gorsze wyniki się równoważą, to umiejętność ta jest czymś, za co płacisz, a czego nie potrzebujesz. Policz rzuty monetą, zanim zaufasz umiejętnościom swojego agenta.

    Źródło | https://arxiv.org/abs/2609.00549


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś

  • Narzędzia do kodowania sztucznej inteligencji piszą teraz 54% kodu, z czego 92% ma luki w zabezpieczeniach

    Spis treści

    Narzędzia do kodowania AI generują teraz 54% wszystkich kod, w porównaniu z 28% zaledwie rok temu. Potwierdza to ankieta 2026 State of AI, obejmująca 7 258 deweloperów: Narzędzia do kodowania sztucznej inteligencji przeszły od eksperymentu do domyślnego przepływu pracy.

    Ten 26-punktowy skok w ciągu 12 miesięcy to coś więcej niż adopcja. Reprezentuje on zmianę w tym, kto lub co wykonuje pracę.

    Co tak naprawdę mówią liczby

    Ankieta została przeprowadzona w dniach 8 kwietnia - 8 maja 2026 r. wśród deweloperów na wszystkich poziomach doświadczenia. 61% zgłosiło korzystanie z narzędzi do kodowania AI codziennie lub częściej. 1366 respondentów stwierdziło, że używa ich “stale”, co stanowi największą kategorię użytkowania w badaniu.

    To nie jest zachowanie skrajne. Większość deweloperów pracuje już dziś obok AI.

    narzędzia do kodowania ai

    Claude zjada rynek

    Claude Code prowadzi pod względem pozytywnego sentymentu na poziomie 4,3%. GitHub Copilot utrzymuje standard na poziomie 22,6%.

    Dane dotyczące płatności są zgodne. 4,592 osób płaci za Claude. ChatGPT podąża za nim z 3,261. Gemini otrzymuje 2 129. Tylko 1115 respondentów nie płaci w ogóle za żadne narzędzia do kodowania AI.

    Agenci kodowania zastępują zarówno wyspecjalizowane narzędzia, jak i samodzielne chatboty. Programiści chcą jednego interfejsu, który obsługuje cały cykl rozwoju, uzupełnianie kodu, debugowanie i dokumentację, a nie oddzielnej subskrypcji dla każdego zadania.

    Dlaczego 40% nadal nic nie płaci

    40% respondentów wydaje $0/miesiąc na narzędzia do kodowania AI. Jednocześnie 61% korzysta z nich codziennie. Ta matematyka działa, ponieważ darmowe poziomy są na razie naprawdę wydajne.

    Dane dotyczące poziomu płatności pokazują, gdzie znajduje się pułap. 1428 respondentów płaci $1-$20/miesiąc. 1 232 płaci $20-$50. Tylko 447
    przekroczyć próg $50-$100.

    Poziom premium nie sprawdził się jeszcze dla większości. Dopóki narzędzia do kodowania AI nie osiągną twardych limitów w zakresie złożonych zadań, rozumowania wielu plików, długich okien kontekstowych, kontroli bezpieczeństwa na poziomie produkcyjnym, większość programistów nie widzi powodu do aktualizacji. Granica ta jest bliższa niż zwykle zakładają użytkownicy darmowej warstwy.

    Problem halucynacji, którego nikt nie rozwiązał

    3 899 respondentów wskazało halucynacje i nieścisłości jako swój główny problem. Na drugim miejscu znalazła się jakość kodu (3 249
    wzmianek). Brak kontekstu na trzecim miejscu (2 321).

    54% kodu jest generowane przez sztuczną inteligencję. Ale kto by to sprawdzał.

    Ponieważ programiści w coraz większym stopniu polegają na narzędziach do kodowania AI, piszą mniej kodu od podstaw. Oznacza to mniej praktyki w wykrywaniu błędów logicznych, wad architektonicznych i subtelnych błędów. Umiejętności ulegają erozji. Za dwa lata problemem nie będzie to, że “sztuczna inteligencja pisze zły kod”, ale to, że “deweloperzy nie potrafią stwierdzić, kiedy to robi”.”

    To nie jest hipoteza. To standardowa praktyka.

    The Bubble Wynik: 2,9 na 5

    4385 respondentów, czyli ponad połowa badanych, zgodziło się lub zdecydowanie zgodziło się, że branża sztucznej inteligencji to bańka spekulacyjna.
    Średnia ocena: 2,9/5.

    A jednak nadal używali tych narzędzi.

    Największe obawy: przenoszenie miejsc pracy (3 003 wzmianki), wykorzystanie sztucznej inteligencji do celów wojskowych (2 804), wpływ na środowisko (2 490). “Chłam sztucznej inteligencji” zebrał 2 107 wzmianek. 2 783 respondentów uważa, że ich praca jest realnie zagrożona.

    Ludzie boją się narzędzi do kodowania AI, ale i tak ich używają. To racjonalne zabezpieczanie się pod presją konkurencji, a nie zaprzeczanie. Pomiń je, a twoi konkurenci tego nie zrobią. Używaj ich, a przyspieszysz nadchodzące zakłócenia.

    Nie ma wygodnego środka.

    Jedyna umiejętność, która utrzymuje swoją wartość

    Generowanie kodu AI staje się towarem. Ocenianie go już nie.

    Deweloperzy, którzy trzymają się swojej pozycji, są tymi, którzy wychwytują błędy narzędzi do kodowania AI. Przegląd kodu. Analiza bezpieczeństwa. Architektura systemu. Przekładanie nieuporządkowanych wymagań biznesowych na precyzyjne specyfikacje techniczne.

    Umiejętności te wymagają głębokiej biegłości w kodzie, budowanej poprzez pisanie dużej ilości kodu od zera. Okno na ich rozwój jest teraz, zanim liczba ta wzrośnie do 70% lub 80%.

    Deweloper, który niezawodnie kontroluje wyniki AI, jest wart więcej niż ten, który podpowiada szybciej. Różnica ta rośnie z każdym kwartałem.


    Chcesz więcej? Subskrybuj The Dossier

    Co tydzień w skrzynce odbiorczej:

    📡 KANAŁ WYWIADOWCZY - 3-5 wyselekcjonowanych linków: [Badania] [Polityka] [Narzędzia] [Incydenty]
    💡 JEDNA RADA - Jedna praktyczna wskazówka dotycząca AI/cyberbezpieczeństwa, z której możesz skorzystać już dziś