Há aproximadamente um mês, tínhamos visto o modelo Claude 3 da Anthropic ultrapassar o GPT-4 turbo no ranking da Arena Chatbot, porém com o lançamento do GPT-4-Turbo-2024-04-09, a OpenAI voltou a ficar no topo (e com uma boa margem) do ranking.
Abaixo está disponível o ranking atualizado das LLM’s que estão no topo. Vale lembrar que hoje em dia existem centenas de modelos.
| Rank* (UB) | 🤖 Model | ⭐ Arena Elo | 📊 95% CI | 🗳️ Votes | Organization | License | Knowledge Cutoff |
|---|---|---|---|---|---|---|---|
| 1 | GPT-4-Turbo-2024-04-09 | 1257 | +4/-3 | 30562 | OpenAI | Proprietary | 2023/12 |
| 1 | GPT-4-1106-preview | 1253 | +3/-3 | 69871 | OpenAI | Proprietary | 2023/4 |
| 2 | Claude 3 Opus | 1251 | +3/-3 | 75684 | Anthropic | Proprietary | 2023/8 |
| 2 | Gemini 1.5 Pro API-0409-Preview | 1248 | +4/-3 | 33723 | Proprietary | 2023/11 | |
| 3 | GPT-4-0125-preview | 1247 | +2/-3 | 61924 | OpenAI | Proprietary | 2023/12 |
| 6 | Bard (Gemini Pro) | 1209 | +5/-5 | 12388 | Proprietary | Online | |
| 6 | Llama-3-70b-Instruct | 1207 | +4/-4 | 27298 | Meta | Llama 3 Community | 2023/12 |
| 6 | Claude 3 Sonnet | 1202 | +3/-3 | 75418 | Anthropic | Proprietary | 2023/8 |
| 9 | Command R+ | 1192 | +3/-3 | 41262 | Cohere | CC-BY-NC-4.0 | 2024/3 |
| 9 | GPT-4-0314 | 1189 | +4/-3 | 48390 | OpenAI | Proprietary | 2021/9 |
Uma informação curiosa surgiu recentemente: uma nova LLM com o nome de GPT-2-chatbot, com capacidades impressionantes, superando até mesmo o GPT-4 e o Opus em algumas comparações. Desde então, começou a surgir especulação sobre se ela seria o GPT-4.5 ou até mesmo o GPT-5, mas, por enquanto, são apenas especulações. O próprio Sam Altman brincou no X dizendo que tem uma queda pelo gpt2.
i do have a soft spot for gpt2
— Sam Altman (@sama) April 30, 2024
“Eu realmente tenho uma queda pelo gpt2”
– Sam Altman
A postagem de Altman foi editada posteriormente para alinhar o nome do modelo com o nome do chatbot misterioso – uma versão anterior se referia ao modelo como “gpt-2”, de acordo com a nomenclatura da OpenAI. Isso, juntamente com o timing do tweet, sugere que ele está falando sobre esse novo sistema em vez de estar relembrando o passado com carinho.
O termo “GPT-2” está em tendência no X após o lançamento do chatbot misterioso, com muitos usuários especulando sobre a origem do bot e compartilhando pensamentos sobre suas capacidades. Resta aguardar para ver o que a OpenAI tem reservado e como esse mercado altamente competitivo de IA vai evoluir.
Pingback: OpenAI anuncia novo modelo de LLM o GPT-4o - Horizonte AI