
#OpenAI推論成本測試
About OpenAI推論成本測試
OpenAI 分享了 Jalapeño 的早期測試成果,這是其首款自家研發的推理晶片。據稱在開放模型上每瓦特的吞吐量提升了 1.5 倍至 1.9 倍,端到端延遲降低了 1.7 倍至 3.6 倍。計劃於年底前部署,並且正在開發兩款後繼產品。它還表示 GPT-5.6 Sol 在程式碼任務中使用的輸出標記比主要競爭對手少了 54%。在第二季度收入達 67 億美元、營運虧損達 123 億美元之後,這些公司測試的提升能否降低推理成本、縮小虧損並支持其 IPO 估值?
洞察
熱門
最新