GPT-4o是什么？

GPT-4o（"o"代表Omni）是OpenAI于2024年5月发布的原生多模态大模型。与之前的GPT-4V不同，GPT-4o从训练之初就同时处理文本、音频和图像，实现了真正的端到端多模态理解。

原生多模态架构

传统多模态系统通常将语音转文本、图像理解、文本生成等模块串联。GPT-4o采用统一的Transformer架构，直接处理原始音频波形和图像像素。