11月11日,海外媒体表示OpenAI即将推出的新旗舰模型“Orion”在性能上的提升幅度不及预期。与GPT-3到GPT-4的显著进步相比,Orion相较于GPT-4的提升显得微不足道。
Orion和GPT-4均基于变压器架构,但在设计上有所区别。GPT-4作为GPT-3的升级版,拥有更高的规模和训练技术。而Orion则采用了Anthropic公司的AI原则,更注重AI的道德性和可控性。
虽然Orion在某些方面有所改进,但在编程等特定领域,其表现并不优于现有模型。这表明Orion的推出可能不会带来颠覆性的变革,而是呈现出渐进式的进步。
面对AI进步放缓的挑战,OpenAI成立了一个新的基础团队,致力于在训练数据有限的情况下,寻找提升模型性能的方法。新策略包括利用AI模型生成合成数据训练Orion,以及在训练后进行更多优化。