OpenAI'den Nvidia'ya çip meydan okuması

OpenAI, Broadcom ile geliştirdiği ilk özel yapay zeka çıkarım çipi Jalapeño'nun testlerde Nvidia'nın mevcut en güçlü çözümlerinden GB300'ü geride bıraktığını açıkladı. Şirket, Jalapeño'nun hem watt başına yapay zeka iş yükünde hem de yanıt hızında daha iyi sonuç verdiğini bildirdi.   OpenAI çip şefi Richard Ho, Jalapeño'nun kamuya açık InferenceX kıyaslama sisteminde test edildiğini ve karşılaştırma için o sırada lider seçenek olan Nvidia GB300'ün kullanıldığını söyledi. Testlerde Jalapeño, güç başına daha fazla yapay zeka işi gerçekleştirirken yanıtları da daha düşük gecikmeyle döndürdü.   Şirketin kendi verilerine göre Jalapeño; GPT-OSS 120B, DeepSeek R1 670B ve Kimi K2.5 1T modellerinde karşılaştırılan sistemlere göre watt başına 1,5 ila 1,9 kat daha yüksek tepe performansı sağladı. Uçtan uca gecikme 1,7 ila 3,6 kat azalırken, yüksek etkileşimli iş yüklerinde performans avantajı 2,1 ila 4,1 kata ulaştı.   GPT-OSS 120B'de Jalapeño'nun watt başına karma token işlem kapasitesi 85.448 token/saniye/kW olurken karşılaştırma sisteminde bu değer 44.960 seviyesinde kaldı. DeepSeek R1'de 19.641'e karşı 11.781, Kimi K2.5'te ise 18.195'e karşı 11.862 sonuçları elde edildi.   Kullanıcı başına en yüksek token üretim hızında Jalapeño, GPT-OSS'ta 1.459 token/saniye, DeepSeek R1'de 700 token/saniye ve Kimi K2.5'te 694 token/saniyeye ulaştı. Bu sonuçlar karşılaştırılan sistemlerin sırasıyla 2,7, 4,1 ve 3,8 kat üzerinde gerçekleşti.   Jalapeño'nun nominal güç değeri 700 watt olarak açıklanırken, test edilen iş yüklerinde sürekli güç tüketiminin 550 watt veya altında kaldığı belirtildi. Kimi K2.5 üzerinde çip yaklaşık 1,5 kat daha yüksek watt başına tepe performansı ve 3,4 kat daha düşük uçtan uca gecikme sağladı. OpenAI, Jalapeño'yu Broadcom ile birlikte geliştirdi. İki şirket geçen yıl duyurdukları iş birliği kapsamında özel yapay zeka çipleri üzerinde çalışmaya başlamıştı. Jalapeño'nun ilk tasarımdan tapeout aşamasına yalnızca dokuz ayda ulaştığı belirtildi.   Şirket, çipi yıl sonuna kadar kendi yapay zeka altyapısında kullanmaya başlamayı planlıyor. İkinci nesil Jalapeño'nun geliştirme sürecinin ileri aşamada olduğu, üçüncü neslin tasarımının da şekillendiği ifade edildi.   OpenAI ayrıca kendi çiplerini devreye almasına rağmen Nvidia ve diğer ortakların hızlandırıcılarını hem eğitim hem de çıkarım iş yüklerinde yaygın biçimde kullanmaya devam edeceğini belirtti.