JetBrains zmierzył rtk: -90% tokenów, +7,6% kosztu

Wokół narzędzi do agentowego kodowania krąży kusząca obietnica: „utniemy Twoje zużycie tokenów o 60 do 90 procent“. JetBrains wziął jedno takie narzędzie i zrobił rzecz, której zwykle nikt nie robi: zmierzył faktyczny rachunek za to samo zadanie z narzędziem i bez niego. Wynik jest pouczający. Rachunek nie spadł. W najgorszym wariancie wzrósł o 7,6 procenta.

To nie jest artykuł o jednym gadżecie, tylko o pułapce, w którą łatwo wpaść, płacąc za AI: statystyka „ile zaoszczędziliśmy“ pokazywana przez narzędzie to zupełnie co innego niż kwota na Twojej fakturze. A to właśnie ta druga liczba wychodzi z Twojego portfela.

Co obiecywało narzędzie

Testowany rtk (od „Rust Token Killer“) to pośrednik, który przechwytuje polecenia terminala i podaje modelowi ich skompresowaną wersję, wpinając się w Claude Code jako hak przed uruchomieniem narzędzia. Reklamowana korzyść to 60 do 90 procent mniej zużytych tokenów. Co więcej, wbudowane statystyki narzędzia (rtk gain) raportowały 96,2 miliona zaoszczędzonych tokenów, czyli 99,8 procenta wszystkiego, czego dotknęły.

Brzmi jak oczywista wygrana. Problem w tym, że to liczba policzona przez samo narzędzie, na jego własnych zasadach.

Co pokazał pomiar

JetBrains uruchomił test parami: to samo zadanie raz z rtk, raz bez, i porównał realny koszt. Wyniki:

• Przy niskim wysiłku rozumowania: mediana o 7,6 procenta drożej za zadanie z włączonym rtk. Wynik istotny statystycznie (p = 0,004), więc to nie przypadek.
• Przy wysokim wysiłku rozumowania: różnica +0,1 procenta (p = 0,99), czyli praktycznie zero.

Krótkie wyjaśnienie, o co chodzi z „wysiłkiem rozumowania“: to ustawienie, które decyduje, jak długo model myśli nad odpowiedzią, zanim ją wyda. Niski wysiłek oznacza szybkie, tańsze odpowiedzi, wysoki wysiłek to więcej wewnętrznego rozumowania i wyższy koszt. Wynik testu jest więc podwójnie niewygodny: tam, gdzie zależy Ci na taniej i szybko, narzędzie do cięcia kosztów potrafiło koszt podnieść, a tam, gdzie i tak płacisz dużo, nie zmieniało nic.

Innymi słowy: w najlepszym wypadku wychodzisz na zero, w gorszym płacisz więcej. A licznik narzędzia w tym samym czasie chwalił się dziesiątkami milionów zaoszczędzonych tokenów.

Skąd ta przepaść

Wyjaśnienie jest konkretne i warto je zrozumieć, bo dotyczy nie tylko tego jednego narzędzia. Hak, przez który działa rtk, widzi tylko około jednej piątej tego, co model realnie czyta. Claude Code korzysta bowiem z własnych narzędzi do czytania i przeszukiwania plików, które omijają hak Basha. Narzędzie kompresuje więc mały wycinek, model i tak dociąga pełną treść inną drogą, a licznik „oszczędności“ mierzy hipotetyczny zysk na tym wycinku, którego dotknął, a nie Twój rachunek za całość.

To jest sedno całej sprawy: deklarowana oszczędność narzędzia to twierdzenie o hipotetycznym scenariuszu, a nie o Twojej fakturze. Dwie te liczby potrafią iść w przeciwne strony.

Wniosek dla każdego, kto płaci za AI

Nie chodzi o to, że rtk jest bezużyteczny. Przy wysokim wysiłku rozumowania wychodzi na zero, więc komuś może pasować z innych powodów. Chodzi o nawyk. Za pracę modeli płacisz w tokenach, a każdy panel z napisem „zaoszczędziłeś X“ opisuje jakiś wybrany fragment, nie Twój koniec miesiąca. Jedyny wiarygodny test to pomiar parami: zrób to samo zadanie z funkcją i bez niej, a potem porównaj sparowany rachunek, nie statystyki narzędzia.

W praktyce da się to policzyć samodzielnie i nie trzeba do tego być programistą. Wybierz jedno powtarzalne zadanie, które robisz często, wykonaj je raz z włączoną funkcją i raz bez niej, a potem porównaj kwotę, którą realnie zapłaciłeś, a nie liczbę z panelu narzędzia. Jeśli różnicy nie widać albo rachunek rośnie, „oszczędność“ istnieje tylko w statystyce. Ile realnie kosztuje konkretny scenariusz, sprawdzisz w kalkulatorze kosztów API, a to, ile tokenów zjada konkretny tekst czy plik, podejrzysz w tokenizerze. Ten sam sceptycyzm przydaje się przy każdej obietnicy cięcia kosztów, o czym pisaliśmy też przy okazji rachunków za tokeny wymykających się firmom spod kontroli.