Finally, they release VisionBench, a method to quickly estimate VisionArena scores with VLMs. They curate a small 500 question set and ask GPT4o to answer. They use a GPT4o-as-judge prompt to rate which is better. This score gets 97.3% spearman-r with the full benchmark

arxiv: arxiv.org/abs/2412.08687
project: huggingface.co/lmarena-ai

VisionArena: paper from lmarena.ai. VisionArena-Chat: 200K user-supplied questions + answers. VisionArena-Battle: 30K question + 2 answers + preference votes.

Är S verkligen byxat för det?

Klarar gräsrötterna att kasta ut större delen av partiledningen och riksdagsledamöterna?

Dessa har ju röstat för fascistiska förslag från Kristerssons Tidelags-regering.

Upp till bevis, eller har S blivit en del av det brunsvarta-blocket?

Var är visionärena i S?

Christopher Chou, Lisa Dunlap, Koki Mashita, Krishna Mandal, Trevor Darrell, Ion Stoica, Joseph E. Gonzalez, Wei-Lin Chiang
VisionArena: 230K Real World User-VLM Conversations with Preference Labels
https://arxiv.org/abs/2412.08687

🏆 Text: Gemini 3 Pro leads.
💻 WebDev: Claude Opus 4.5 ranks top.
🖼️ Vision: Gemini 3 Pro excels.
🎨 Image Edit: nano-banana-pro leads.
#LMArena2025 #TextArena #WebDevArena #VisionArena #ImageEditArena
View in Timelines