LOKALNI AI · SNIMKA MJERENJA 04. 11. 2026.
Koliko brzo rade.
Koliko računala trebaju.
Sedam modela, jedno računalo. Brzina generiranja i stvarno opterećenje kroz dva različita radna zadatka.
Modeli su nakon mjerenja uklonjeni s računala. Rezultati mjerenja su sačuvani.
01 / USPOREDBA
Svaki resurs, na svojoj skali.
Brzina je broj izlaznih tokena podijeljen vremenom generiranja. CPU i GPU prikazuju prosjek; RAM, VRAM i temperatura prikazuju maksimum u odabranoj fazi.
02 / TIJEK MJERENJA
Što se događa tijekom zahtjeva.
Isti radni zadatak kao gore. Praznine u linijama označavaju prekide između zahtjeva. Vrijednosti na dodir ili pokazivač interpolirane su između uzoraka iste serije.
03 / KONTEKST I OGRANIČENJA
Što ova usporedba mjeri.
Dva zadatka, jedan model odjednom
Kontinuirani test skuplja najmanje 60 sekundi čistog generiranja po modelu, uz zagrijan model i kontekst od 4096 tokena. Brzina isključuje učitavanje i obradu ulaza.
Test dugog ulaza koristi približno 7600–8400 ulaznih tokena i kapacitet konteksta 16384. Izlaz je 512 tokena, odnosno 128 za modele 24B i 27B. Telemetrija obuhvaća cijeli zahtjev, uključujući obradu ulaza.
Resursi cijelog računala
CPU i GPU uključuju aktivnost drugih programa. RAM je ukupna zauzeta sistemska memorija, a VRAM ukupna memorija uređaja; to nisu izolirane potrebe modela. Uzorci su prikupljani približno svake sekunde.
Snaga i temperatura mjere se samo za GPU. Temperatura i potrošnja CPU-a nisu bile dostupne. GPU W nisu potrošnja cijelog računala iz utičnice.
Brzina nije ocjena kvalitete
Ovo je pojedinačni tok generiranja, bez paralelnih korisnika. Postavke su temperature 0 i seed 42; uspoređuju se preuzete zadane kvantizacije, a ne identična preciznost svih modela.
DeepSeek generira i tokene razmišljanja unatoč think=false. Njegova brzina uključuje razmišljanje i odgovor; izlaz dugog ulaza sadržavao je samo razmišljanje.
Modeli i raspored slojeva
| Model | Kvantizacija | GPU slojevi · 4k | GPU slojevi · 16k | Posebnost |
|---|---|---|---|---|
| Qwen3.5 0.8B | Q8_0 | Potpuni GPU | Potpuni GPU | draft_num_predict = 2 |
| Qwen3.5 2B | Q8_0 | Potpuni GPU | Potpuni GPU | Bez dodatnih postavki |
| Qwen3.5 4B | Q4_K_M | Potpuni GPU | Potpuni GPU | Bez dodatnih postavki |
| Mistral Small 3.2 24B | Q4_K_M | 26 / 41 | 22 / 41 | Djelomično na CPU-u |
| Qwen3.5 27B | Q4_K_M | 36 / 65 | 34 / 65 | Djelomično na CPU-u |
| Qwen3 14B | Q4_K_M | 41 / 41 | 36 / 41 | Promjena rasporeda pri 16k |
| DeepSeek R1 8B | Q4_K_M | 37 / 37 | 37 / 37 | Destilirani Qwen3 · uključuje razmišljanje |
04 / LOKALNI DISKOVI
Što zauzima prostor na računalu.
Grafovi mapa, pregled velikih datoteka i premještanje u Koš dostupni su u privatnom pregledu s računala ili telefona. Za pristup treba privatni pristupni kod.
Otvori privatni pregled diskovaPregled prikazuje diskove tvog računala i zaštićen je privatnim pristupom. Računalo, pregled diskova i privatna veza moraju biti uključeni. Bez veze se podaci ne prikazuju.