Spis treści
DeepSeek-V3.2 osiąga o 31,6 punktów lepszy wynik w zadaniach programistycznych, w których wykorzystał jedną ze swoich umiejętności agenta, niż w zadaniach, w których pominął tę funkcję. Po wyłączeniu tych umiejętności i ponownym uruchomieniu dokładnie tych samych zadań osiąga wynik o 9,1 punktów lepszy.
Obie wartości pochodzą z tego samego artykułu i obie zostały obliczone poprawnie, ale tylko jedna z nich wskazuje, czy dana umiejętność okazała się pomocna.
Artykuł nosi tytuł “Śledzenie umiejętności” autorstwa Seonghyeona Cho i Chanjuna Parka z Uniwersytetu Soongsil. Opublikowali go na arXiv 1 września 2026 r. po przetestowaniu 17 modeli LLM pod kątem umiejętności kodowania i matematyki. Jeśli testujesz umiejętności agentów we własnym środowisku, to jest to test, którego prawdopodobnie nigdy nie przeprowadziłeś.
Liczba, którą wszyscy podają, odnosi się do różnych zadań
W ramach standardowej kontroli test porównawczy dzieli się na zadania, w których agent wykorzystał daną umiejętność, oraz zadania, w których tego nie zrobił, a następnie porównuje się trafność wyników w obu grupach. Grupa, w której agent wykorzystał umiejętność, osiąga lepsze wyniki, co oznacza, że umiejętności agenta działają.
Tyle że to agent decyduje, które zadania otrzymają daną umiejętność. Nikt niczego nie losował.
Autorzy zmierzyli to, uruchamiając każdy model z wyłączonymi umiejętnościami agentów i porównując dokładność w zadaniach, które model ten miał później odzyskać, z dokładnością w zadaniach, które pominął. W przypadku większości modeli różnica ta nie wynosiła zera, co autorzy zinterpretowali jako fakt, że model sięgał po umiejętności przy łatwiejszych zadaniach, więc “wzrost” wynika częściowo po prostu z tego, że łatwe zadania wypadają dobrze.
Rozwiązaniem jest dwukrotne wykonanie każdego zadania
Każde zadanie jest wykonywane dwukrotnie, raz z umiejętności_wyszukiwania dostępne narzędzie, a po jego usunięciu – przy wszystkich pozostałych parametrach identycznych, łącznie z wartością początkową.
Następnie analizują wyłącznie zadania, w których agent wykorzystał daną umiejętność. „Pomocnym odwróceniem” jest zadanie, które zakończyło się niepowodzeniem bez tej umiejętności, a zakończyło się sukcesem z jej wykorzystaniem, natomiast „szkodliwym odwróceniem” jest sytuacja odwrotna. Różnica między „pomocnymi odwróceniami” a „szkodliwymi odwróceniami”, podzielona przez liczbę takich zadań, daje RAE, czyli efekt rzeczywistego wykorzystania wywołanego przywołaniem umiejętności (Retrieval-Invoked Actual-Use Effect).
Konfiguracja jest celowo niewielka – obejmuje 80 losowo wybranych zadań w każdym teście porównawczym oraz zbiór 9 umiejętności programistycznych i 8 umiejętności matematycznych. Pobieranie wyników odbywa się za pomocą zwykłego wyszukiwania BM25, które umieszcza 3 najlepsze wyniki w kontekście; na każde zadanie przypada maksymalnie 3 wyszukiwania.
Znak efektu ulega odwróceniu
W każdej z poniższych par najpierw podano łączny wzrost, a następnie wskaźnik RAE, wyrażone w punktach procentowych.
Model Gemini-2.5-Flash-lite wykazuje dodatni łączny wzrost i ujemny wskaźnik RAE dla wszystkich trzech zestawów danych MBPP+, na przykład +6,2 w porównaniu z -15,6 dla jednego zestawu i +4,4 w porównaniu z -22,2 dla innego. W przypadku DeepSeek-V3.2 wyniki wahają się od +31,6 do -9,1 dla jednego zestawu danych i od +46,2 do -23,1 dla innego. W przypadku Math500 wyniki Llama-3.3-70B wahają się od +14,2 do -39,4.
Wynik Llamy na pulpicie wygląda na zwycięstwo z przewagą 14 punktów. W zadaniach, w których wykorzystano tę umiejętność, traci ona 39 punktów w porównaniu z własnym wynikiem uzyskanym bez użycia tej umiejętności.
W przypadku HumanEval+ odchylenie występuje w przeciwnym kierunku w przypadku 3 z 13 modeli, które wykazują ujemny wzrost łączny i dodatni wskaźnik RAE. To sprawia, że wynik łączny jest niewiarygodny w obu kierunkach.
W teście porównawczym zniwelowałem podobną lukę, w którym najlepszy z siedmiu modeli LLM typu open source osiągnął jedynie 0,22 mikro F1 w mapowaniu ATT&CK, podczas gdy wcześniejsze narzędzia osiągały wysokie wyniki w przypadku łatwiejszych zbiorów danych.
Umiejętności kiepskiego agenta są równie szkodliwe jak te dobre
Oczywistym wyjaśnieniem jest to, że opisy umiejętności były nieodpowiednie, więc autorzy przetestowali to na dwóch modelach, w których odnotowano najsilniejsze odwrócenia kodowania. Zastąpili zwrócone treści: całkowitą pustką, tekstem wypełniającym, losowymi, nieistotnymi umiejętnościami oraz celowo wprowadzającymi w błąd.
Łączny wskaźnik RAE dla DeepSeek-V3.2 wynosi -15,9 przy standardowych umiejętnościach i -15,1 przy losowych. W przypadku Gemini-2.5-Flash-lite wynosi on -17,9 przy standardowych umiejętnościach i -15,4 przy losowych.
Nieistotne umiejętności agenta szkodzą niemal tak samo jak te prawdziwe. Cokolwiek idzie nie tak, część przyczyny leży poza zakresem umiejętności.
Autorzy twierdzą, że kontrole ograniczyły zakres przyczyny, pozostawiając jednak dokładne źródło otwarte. Anotator GPT-5.5 oznaczył 45 szkodliwych przypadków w modelu DeepSeek i 40 w modelu Gemini, a najczęstszym rodzajem błędu było „ignorowanie” lub „niezależne wykorzystanie”, gdzie model pobierał pewną umiejętność, a ostateczna odpowiedź nie wykazywała żadnych śladów jej zastosowania. DeepSeek ujawniał również ślady narzędzi w swoich ostatecznych odpowiedziach.
Kilka modeli o wysokich wskaźnikach trafności nadal wykazywało ujemny wskaźnik RAE, co oznacza, że pobranie umiejętności a jej zastosowanie to dwie różne rzeczy.
Czego to nie dowodzi
Nie należy tego interpretować jako stwierdzenia, że “umiejętności agenta są słabe”, ponieważ Llama-3.3-70B osiąga dodatni wskaźnik RAE w przypadku dwóch z trzech zestawów danych MBPP+ (+4,2 i +7,5), a sama praca ma swoje ograniczenia.
Zadania obejmują kodowanie jednoprzebiegowe i matematykę, więc agenci o długim horyzoncie czasowym nie zostali przetestowani. Zbiory umiejętności są stałe i niewielkie oraz zawierają fragmenty kodu proceduralnego, co odróżnia je od umiejętności opartych w dużej mierze na języku programowania, które większość z nas tworzy. RAE obejmuje jedynie zadania, w których model zdecydował się na pobranie informacji, dlatego autorzy twierdzą, że nie jest to obiektywny efekt przyczynowy ani ocena zdolności modelu do wykorzystywania umiejętności.
W przypadku rzeczywistych repozytoriów, SWE-Skills-Bench Przeprowadzono każde zadanie zarówno z wykorzystaniem danej umiejętności, jak i bez niej, i stwierdzono, że w przypadku 39 z 49 umiejętności publicznych nie odnotowano żadnej poprawy wskaźnika zdawalności, przy średnim wzroście wynoszącym +1,21 TP3T.
Twierdzenie to ma wąski zakres i sprowadza się do tego, że dane zbiorcze nie pozwalają stwierdzić, czy umiejętności agentów mają znaczenie.
Przeprowadź test parowy na swoich umiejętnościach agenta
Do przeprowadzenia tego testu wystarczą Twoje własne logi.
Wybierz 20 zadań, w których Twój agent załadował umiejętność, i uruchom każde z nich ponownie bez tej umiejętności, używając tego samego polecenia. Oznacz każde zadanie, którego wynik uległ zmianie – na lepsze lub gorsze.
Jeśli lepsze i gorsze wyniki się równoważą, to umiejętność ta jest czymś, za co płacisz, a czego nie potrzebujesz. Policz rzuty monetą, zanim zaufasz umiejętnościom swojego agenta.
Źródło | https://arxiv.org/abs/2609.00549