Éru AI akcelerované na domácích PC a noteboocích pohánějí technologie NVIDIA RTX a GeForce RTX. Jsou však potřeba nové způsoby hodnocení výkonu pro úlohy akcelerované pomocí AI a také nové termíny, jež mohou být při výběru správné konfigurace klíčové.

Zatímco hráči počítačových her rozumí snímkům za sekundu (FPS) a podobným statistikám, měření výkonu AI vyžaduje nové metriky, např. „TOPS“, „tokeny“ nebo „velikosti dávky“. Vše je podrobně vysvětleno v novém článku ze série AI Decoded.

Mezi nejdůležitější informace patří:

  • TOPS (Triliony operací za sekundu): Vyšší TOPS znamená rychlejší zpracování AI. Např. GeForce RTX 4090 nabízí více než 1300 TOPS, což se hodí pro tvoru obsahu s využitím AI a další podobně náročné úlohy.
  • Tokeny a velikosti dávek: Tokeny jsou výstupem LLM. Může jím být slovo ve větě nebo i menší fragment, například interpunkční znaménko nebo prázdné místo. Výkonnost úloh akcelerovaných umělou inteligencí lze měřit v „tokenech za sekundu“. Dalším důležitým faktorem je velikost dávky neboli počet vstupů zpracovávaných současně v jednom průchodu inference.
  • Rychlé generování obrazů: GPU RTX urychlují populární modely AI, jako je Stable Diffusion, a umožňují tak až o 70 % rychlejší tvorbu obrázků a videí z textového promptu.
  • Pro Stable Diffusion 3, nový a velmi očekávaný model od Stability AI, je chystána také akcelerace pomocí TensorRT. Výkon zvýší o 50 procent.
  • Důkaz z reálného světa: Testy Jan.ai ukazují, že TensorRT-LLM je až o 70 % rychlejší než tradiční metody.