#OpenAIInferenceCostTest
About OpenAIInferenceCostTest
OpenAI shared early tests of Jalapeño, its first in-house inference chip. It says it delivers 1.5x-1.9x more throughput per watt on open models and cuts end-to-end latency by 1.7x-3.6x. Deployment is planned by year-end, with two successors in development. It also says GPT-5.6 Sol used 54% fewer output tokens than a leading rival on coding tasks. After $6.7B in Q2 revenue and a $12.3B operating loss, can these company-tested gains lower inference costs, narrow losses and support its IPO valuatio
Nejžhavější
Nejnovější
OpenAIInferenceCostTest Oblíbené příspěvky
#OpenAIQ2LossWidens
Rychle rostoucí firmy se ne vždy stanou skvělými firmami.
OpenAI stále roste, ale ztráty také rostou. Anthropic se vydává jinou cestou a ukazuje první známky ziskovosti. Příjmy jsou v titulcích.
Udržitelná ekonomika obvykle rozhoduje, kdo maraton vyhraje. Co je pro vás dnes důležitější – růst nebo ziskovost?
PRÁVĚ DOVNITŘ: Šance na IPO Anthropic nad $SPCX nárůstem ocenění SpaceX ve výši 1,77 bilionu dolarů.
Veškerá pozornost kolem Jalapeño se zdá být soustředěna na výkon vůči Nvidii, ale inženýrská rychlost za tím je skutečně pozoruhodná. Některé hlavní body z @hotchipsorg přednášky:
1. Stavba vlastních čipů dříve vyžadovala obrovské armády inženýrů a víceleté časové plány. OpenAI přešlo od počátečního RTL kódu k tapeoutu během pouhých 9 měsíců pomocí XLS (jazyk podobný Rustu pro domácí úkoly od Googlu) a spolunávrhu řízeného AI.
2. AI smyčka vzala syrové, sotva funkční (DeepSeek) jádro běžící s účinností 0,31 % a autonomně jej optimalizovala na 88,94 % fyzického limitu čipu během méně než 2 dnů.
3. Kód generovaný AI běžel až 1,8x rychleji na kritických blocích než implementace ručně ladené světovými jádrovými inženýry.
4. AI dělala víc než jen psaní softwaru pro čip. Optimalizovala fyzické hardwarové obvody před tapeoutem.
Opět to není nulový součet ani nevýhoda pro Nvidii. Vlastní ASIC systémy odemykají absurdní efektivitu servisu pro specializované pracovní zátěže a rozšíří celkový výpočetní koláč pro celé odvětví.
OpenAI
Since announcing Jalapeño, our first custom inference chip, we’ve been testing it and the system around it.
The results show a major advance: more intelligence from every watt and faster responses, delivering both higher throughput and lower latency in one architecture without sacrificing efficiency.
OpenAI uvádí, že jejich nový čip Jalapeño AI by mohl výrazně snížit náklady na provoz umělé inteligence, ale Jim Cramer (@jimcramer) zůstává skeptický, zda představuje vážnou hrozbu pro Nvidia ($NVDA).
Jalapeño je první vlastní inferenční čip od OpenAI a byl vyvinut ve spolupráci s Broadcom ($AVGO). Společnost plánuje začít s jeho nasazením interně do konce roku 2026, přičemž výroba by měla dále růst v roce 2027.
Generální ředitel OpenAI Sam Altman (@sama) čip popsal jednoduše slovy: "Vytvořili jsme čip a je rychlý." Společnost již pracuje na verzích druhé a třetí generace.
OpenAI uvádí, že Jalapeño dokáže zajistit jak vyšší propustnost, tak nižší latenci, což je kombinace, které je obtížné dosáhnout. Její interní benchmarky ukázaly lepší výkon na watt než systémy Nvidia GB200 a GB300 napříč několika velkými AI modely.
Podle zátěže OpenAI uvádí, že Jalapeño dodávalo přibližně 1,5x až 1,9x více výkonu na watt a výrazně nižší latenci. Čip je navržen speciálně pro inferenci, nikoli pro trénink AI.
Hardwarový manažer OpenAI Richard Ho uvedl, že tyto zvýšení efektivity by se nakonec mohlo promítnout do nižších cen tokenů pro zákazníky, jakmile čip začne růst do výroby.
Přesto OpenAI neplánuje Nvidia zcela nahradit. Společnost uvedla, že bude nadále používat akcelerátory Nvidia a hardware od jiných partnerů jak pro školení, tak pro inferenci.
Cramer odmítl myšlenku, že každý nový AI čip představuje významného vyzyvatele Nvidie. Řekl, že pravidelně slyší tvrzení o lepších čipech, ale stále nevidí "žádné skutečné konkurenty" vůči Nvidii ve velkém měřítku.
OpenAI Jalapeno je signálem, že AI průmysl vstupuje do éry "vlastnit stack".
Dříve byl herní plán zůstat ve svém pruhu a soustředit se.
Modelové firmy trénované modely. Výrobci čipů vyráběly chipsy. Datové společnosti sbíraly data.
Ta éra je pryč.
OpenAI začínala jako čistě modelová laboratoř. Teď navrhují vlastní silikon a optimalizují celé systémy podle svých skutečných pracovních zátěží.
Tento týden jsme také viděli, jak @Figure_robot přechází do datové vrstvy a spouštějí Index, vlastní sběr dat, který zahrnuje 108 zemí.
Všichni se pohybují nahoru a dolů po hromadě.
Některé z nich jsou pravděpodobně kvůli prohloubení tenkých příkopů, některé kvůli snížení nákladů, jiné k ospravedlnění ocenění.
OpenAI vytvořilo vlastní inferenční čip (Jalapeño) a za 9 měsíců přešlo od prvního RTL až po tapeout.
Když jsem navrhoval a přepisoval složité SoC, bylo běžné 18–24 měsíců od RTL po tapeout. Ověřování a fyzický návrh zabíraly většinu tohoto harmonogramu.
AI psající Verilog/VHDL je u všech těch agentů programování tak trochu očekávané. Působivé bylo... @OpenAI tým použil interní model s rychlou zpětnou vazbou z QoR a robustní ověřování k optimalizaci RTL
AI opravdu zkracuje designový cyklus... Dobře pro všechny. Uvidíme více křemíku a více inovací. Nyní se diferenciace přesouvá k zajištění kapacity TSMC a alokaci HBM...
Lze navrhnout více čipů... ale méně lze vyrobit ve velkém měřítku.
OpenAI to s vlastnictvím celého AI stacku bere vážně
Jalapeño konečně přechází z testování do infrastruktury OpenAI
> více práce AI z každého wattu
> vyšší propustnost s nižší latencí
> rychlejší odpovědi na ChatGPT a Codex
to je teprve první generace, druhá generace je už ve vývoji, zatímco třetí generace se formuje.
OpenAI už má modely, uživatele i poptávku.
Teď buduje i výpočetní kapacitu pod nimi.
skutečná otázka je, jak daleko to zajde, až Jalapeño začne rozšiřovat svou infrastrukturu.
Jak si myslíte, že bude vypadat druhá generace?
OpenAI
Since announcing Jalapeño, our first custom inference chip, we’ve been testing it and the system around it.
The results show a major advance: more intelligence from every watt and faster responses, delivering both higher throughput and lower latency in one architecture without sacrificing efficiency.
Rané testy Jalapeño od OpenAI naznačují potenciálně významný posun v ekonomice inference: 1,5x až 1,9x vyšší propustnost na watt a 1,7x až 3,6x nižší latence od konce k konci u otevřených modelů. GPT-5.6 Sol údajně také používal o 54 % méně výstupních tokenů než přední konkurent v programovacích úlohách.
Měřený závěr je, že zvýšení efektivity by mohlo zlepšit ekonomiku jednotek, ale benchmarky ověřené firmou zatím nejsou důkazem nižších agregovaných nákladů. S příjmy 6,7 miliardy dolarů ve druhém čtvrtletí a provozní ztrátou 12,3 miliardy dolarů bude nasazení ve velkém měřítku a růst pracovní zátěže důležitější než celkový výkon. Ne rady, jen analýza.
#OpenAIInferenceCostTest
První vlastní inferenční čip OpenAI přináší vyšší propustnost, nižší latenci a lepší efektivitu v jedné architektuře.
Když největší AI laboratoř začne navrhovat vlastní křemík, problémem je ekonomika inference ve velkém měřítku.
Výpočetní vrstva se buduje od základů.
OpenAI
Since announcing Jalapeño, our first custom inference chip, we’ve been testing it and the system around it.
The results show a major advance: more intelligence from every watt and faster responses, delivering both higher throughput and lower latency in one architecture without sacrificing efficiency.