Appleの研究チームが、既存のAIモデルよりもはるかに小さなサイズでより正確で詳細な画像の説明文を作成できるAIモデル「RubiCap」を開発しました。

Apple has developed RubiCap, an AI framework that trains compact models to generate image captions rivaling systems 10 times their size on key benchmarks.

최근 인공지능 분야에서 모델의 덩치를 키우지 않고도 성능을 비약적으로 높이는 연구 결과가 주목받고 있습니다. 흔히 AI 성능은 파라미터 수에 비례한다고 생각하기 쉽지만, 애플 연구진이 발표한 'RubiCap'은 이런 고정관념을 뒤집었습니다. 어떻게 훨씬 작은 규모의 모델이 거대

RubiCap — це новий підхід до навчання моделей штучного інтелекту, який може суттєво покращ

A new report from 9to5Mac reveals that Apple, working alongside the University of Wisconsin-Madison, has introduced a new AI training framework called RubiCap. The system is designed to improve how models learn “dense image descriptions.” Apple is pushing forward in AI training with RubiCap, a new f...

Apple-Forschende haben ein neues Verfahren zum Trainieren von KI-Modellen für Bildunterschriften vorgestellt. Das System liefert detailliertere Beschreibungen bei deutlich kleinerer Modellgröße. Neues RubiCap-Verfahren für dichte Bildunterschriften In der Studie „RubiCap: Rubric-Guided Reinforcement Learning for Dense Image Captioning“ arbeiten Apple-Forschende gemeinsam mit der University of Wisconsin–Madison an einem neuen Rahmenwerk für dichte Bildbeschreibungen. Das Team erreicht damit laut eigener Aussage den aktuellen Stand der Technik in mehreren Benchmark-Tests. Bei dichter Bildbeschreibung geht es darum, nicht nur eine allgemeine Zusammenfassung eines Bildes zu erzeugen. Stattdessen werden mehrere Bereiche und Objekte identifiziert und jeweils mit einer eigenen, möglichst präzisen Beschreibung versehen. So entsteht ein viel detaillierteres Verständnis der Szene, als es eine einzelne, globale Bildunterschrift bieten könnte. Beispiele dafür finden sich im ursprünglichen Stanford-Papier „DenseCap: Fully Convolutional Localization Networks for Dense Captioning“. Dichte Bildunterschriften lassen sich etwa für das Training von Bild-Text- und Text-zu-Bild-Modellen nutzen. In Anwendungen für Nutzer:innen können sie die Bildsuche verbessern oder Funktionen zur Barrierefreiheit unterstützen. Nach Einschätzung der Forschenden stoßen bisherige, KI-basierte Ansätze beim Training solcher Modelle jedoch an Grenzen. Menschliche Expert:innen für die Erstellung hochwertiger Annotationsdaten sind teuer, synthetische Beschriftungen durch leistungsstarke Bild-Text-Modelle bieten oft zu wenig Vielfalt und verallgemeinern schlecht. Verstärkungslernen könnte diese Probleme lösen, verlangt aber normalerweise prüfbare Aufgaben mit klaren, deterministischen Kontrollen, die es bei offenen Bildbeschreibungen nicht gibt. So funktioniert RubiCap im Detail Um diese Einschränkungen zu adressieren, schlagen die Forschenden mit RubiCap einen neuen Ansatz vor. Sie ziehen dafür 50.000 zufällig ausgewählte Bilder aus den Trainingsdatensätzen PixMoCap und DenseFusion-4V-100K heran. Zu jedem Bild erzeugt das System mehrere Beschriftungsvorschläge mit bestehenden Bild-Text-Modellen, darunter Gemini 2.5 Pro, GPT-5, Qwen2.5-VL-72B-Instruct, Gemma-3-27B-IT und Qwen3-VL-30B-A3B-Instruct. Parallel dazu erstellt das zu trainierende RubiCap-Modell seine eigene Bildbeschreibung. Anschließend nutzt RubiCap Gemini 2.5 Pro für drei Schritte: Das Modell analysiert Bild und Kandidatenunterschriften gemeinsam, ermittelt Übereinstimmungen sowie fehlende oder falsch dargestellte Details und leitet daraus klare Bewertungsmaßstäbe für die Qualität der Bildbeschreibungen ab. Darauf aufbauend übernimmt Qwen2.5-7B-Instruct die Rolle der Bewertungsinstanz. Es vergibt anhand der definierten Kriterien Punktwerte für die einzelnen Beschriftungen und erzeugt so das Belohnungssignal für das Verstärkungslernen. Auf diese Weise erhält das Modell strukturiertes Feedback dazu, was verbessert werden muss, ohne dass eine einzelne „richtige“ Antwort vorgegeben wird. Das führt laut Studie zu präziseren, konsistenteren Bildunterschriften. Kleine RubiCap-Modelle schlagen deutlich größere Konkurrenz Am Ende der Arbeit stehen drei Modelle: RubiCap-2B, RubiCap-3B und RubiCap-7B mit jeweils 2, 3 und 7 Milliarden Parametern. In Vergleichstests übertreffen sie andere Ansätze, darunter Modelle mit bis zu 72 Milliarden Parametern. Auf dem Benchmark CapArena erreicht RubiCap laut Studie die höchsten Erfolgsraten und lässt überwachte Distillation, frühere RL-Methoden, Annotationen von Expert:innen und mit GPT-4V erweiterte Ausgaben hinter sich. Auf CaptionQA zeigt sich zudem eine hohe Worteffizienz: Das 7B-Modell erreicht das Niveau von Qwen2.5-VL-32B-Instruct, das 3B-Modell liegt vor dessen 7B-Variante. Bemerkenswert ist der Hinweis der Forschenden, dass ein kompaktes RubiCap-3B-Modell als Beschriftungssystem zu stärkeren vortrainierten Bild-Text-Modellen führen kann als Bildunterschriften proprietärer Systeme. In einer Blindbewertung erzielt RubiCap-7B den höchsten Anteil an Erstplatzierungen über alle Modelle inklusive 72B- und 32B-Varianten und weist zugleich die geringste Halluzinationsstrafe bei hoher Genauigkeit auf. Weitere Beispiele für Bildunterschriften im Vergleich zu Qwen2.5-VL-7B-Instruct sowie technische Details zum Verfahren findet Ihr in der vollständigen Studie auf der Apple-Seite zum maschinellen Lernen. Via: https://9to5mac.com

Appleの研究チームが、既存のAIモデルよりもはるかに小さなサイズでより正確で詳細な画像の説明文を作成できるAIモデル「RubiCap」を開発しました。

Appleの研究チームが、既存のAIモデルよりもはるかに小さなサイズでより正確で詳細な画像の説明文を作成できるAIモデル「RubiCap」を開発しました。

Учени от Apple разработиха технологията RubiCap — способ за обучение на ИИ-моделите да описват изображенията по-подробно и ефективно, отколкото по-големите модели. Когато подготвя подробно описание на изображението, един ИИ-модел трябва да идентифицира множество обекти и региони в кадъра, за да ги опише с висока степен на детайлност. Това помага да се разбере композицията по-задълбочено, отколкото при общо описание. На практика това умение може да бъде полезно за обучение на производните на ИИ-модели, създаване на генератори на изображения въз основа на текстови описания и разработване на функции за достъпност. Създаването на системи за подробно описание на изображения се оказва непосилно скъпо и ресурсоемко, както в началния етап на обучението, така и по-късно по време на обучението с подсилване.

A new report from 9to5Mac reveals that Apple, working alongside the University of Wisconsin-Madison, has introduced a new AI training framework called RubiCap. The system is designed to improve how models learn “dense image descriptions.” Apple is pushing forward in AI training with RubiCap, a new f...

70億パラメータが720億超えを果たした。AIの画像理解は、モデルを巨大にすればするほど精度が上がるという常識が崩れつつあるかもしれません。Appleの研究チームがウィスコンシン大学マディソン校と共同で発表した軽量AIフレームワーク「RubiCap」が、70億パラメータ級でありな... smhn.infoにアクセスすると、全文を読むことができます。