#AVControl
LightNews LightNews
yourdigitalbrain.bsky.social
AVControl: the modular framework that trains audio and video controls with a single GPU

https://sinapti.ca/post/en/avcontrol-the-modular-framework-that-trains-audio-and-video--dkzbhi8o
AVControl: the modular framework that trains audio and video controls with a single GPU - Sinaptica
A team of researchers from Lightricks has introduced AVControl, a framework that addresses one of the most persistent problems in video generation with artifici
sinapti.ca
March 28, 2026 at 2:34 PM
cerebrodigital.net
AVControl: el framework modular que entrena controles de audio y video con una sola GPU

https://sinapti.ca/post/avcontrol-el-framework-modular-que-entrena-controles-de-audi-dkzbhi8o
AVControl: el framework modular que entrena controles de audio y video con una sola GPU - Sinaptica
Un equipo de investigadores de Lightricks ha presentado AVControl, un framework que resuelve uno de los problemas mas persistentes en la generacion de video con
sinapti.ca
March 28, 2026 at 2:34 PM
paper.bsky.social
2603.24793
映像や音声の生成を制御するには、深度や姿勢からカメラの軌跡、音声変換に至るまで、多様なモダリティが必要となる。しかし、既存のアプローチでは、固定された制御セットに対して単一の統合モデルを学習させるか、新しいモダリティが追加されるたびにコストのかかるアーキテクチャの変更を余儀なくされてい...
映像や音声の生成を制御するには、深度や姿勢からカメラの軌跡、音声変換に至るまで、多様なモダリティが必要となる。しかし、既存のアプローチでは、固定された制御セットに対して単一の統合モデルを学習させるか、新しいモダリティが追加されるたびにコストのかかるアーキテクチャの変更を余儀なくされている。 本稿では、LTX-2（オーディオ・ビジュアル統合基盤モデル）上に構築された、軽量かつ拡張性の高いフレームワーク「AVControl」を紹介する。このフレームワークでは、各制御モダリティが独立したLoRAとして並列キャンバス上で学習され、アテンション層において参照信号が追加トークンとして提供されるため、LoRAアダプタ自体以外のアーキテクチャ変更は一切必要としない。 我々は、画像ベースのインコンテキスト手法を単に動画に拡張するだけでは構造制御において機能しないことを示し、我々の並列キャンバスアプローチがこの問題を解決することを明らかにする。 VACEベンチマークにおいて、我々の手法は深度および姿勢に基づく生成、インペインティング、アウトペインティングの各タスクで評価対象となったすべてのベースラインを上回り、カメラ制御および視聴覚ベンチマークにおいても競合水準の結果を示している。 当フレームワークは、個別に学習された多様なモダリティをサポートしています。具体的には、深度、姿勢、エッジなどの空間的に整合された制御、内部パラメータ付きカメラ軌跡、スパースな動きの制御、動画編集、そして、我々の知る限りでは、共同生成モデル向けの初のモジュール型視聴覚制御が含まれます。 当社の手法は、計算効率とデータ効率の両方に優れています。各モダリティに必要なデータセットはごく少量で済み、数百から数千回のトレーニングステップで収束するため、従来の単一モデル型の手法に比べ、リソースの消費はごくわずかです。 コードと学習済みのLoRAチェックポイントを公開しています。
April 11, 2026 at 12:09 AM
paper.bsky.social
Links: abs, pdf
Search: Bluesky, Twitter, Reddit, Hacker News, Hugging Face, alphaXiv
AVControl: Efficient Framework for Training Audio-Visual Controls
Controlling video and audio generation requires diverse modalities, from depth and pose to camera trajectories and audio transformations, yet existing approaches either train a single monolithic model...
arxiv.org
April 11, 2026 at 12:09 AM
paper.bsky.social
(1/1) 26 Likes, 2 Comments, 27 Mar 2026, Hugging Face
Paper page - AVControl: Efficient Framework for Training Audio-Visual Controls
Join the discussion on this paper page
huggingface.co
April 11, 2026 at 12:09 AM
paper.bsky.social
[30/30] 26 Likes, 2 Comments, 1 Posts
2603.24793, cs․CV | cs․MM | cs․SD, 25 Mar 2026

🆕AVControl: Efficient Framework for Training Audio-Visual Controls

Matan Ben-Yosef, Tavi Halperin, Naomi Ken Korem, Mohammad Salama, Harel Cain, Asaf Joseph, Anthony Chen, Urska Jelercic, Ofir Bibi
Controlling video and audio generation requires diverse modalities, from depth and pose to camera trajectories and audio transformations, yet existing approaches either train a single monolithic model for a fixed set of controls or introduce costly architectural changes for each new modality. We introduce AVControl, a lightweight, extendable framework built on LTX-2, a joint audio-visual foundation model, where each control modality is trained as a separate LoRA on a parallel canvas that provides the reference signal as additional tokens in the attention layers, requiring no architectural changes beyond the LoRA adapters themselves. We show that simply extending image-based in-context methods to video fails for structural control, and that our parallel canvas approach resolves this. On the VACE Benchmark, we outperform all evaluated baselines on depth- and pose-guided generation, inpainting, and outpainting, and show competitive results on camera control and audio-visual benchmarks. Our framework supports a diverse set of independently trained modalities: spatially-aligned controls such as depth, pose, and edges, camera trajectory with intrinsics, sparse motion control, video editing, and, to our knowledge, the first modular audio-visual controls for a joint generation model. Our method is both compute- and data-efficient: each modality requires only a small dataset and converges within a few hundred to a few thousand training steps, a fraction of the budget of monolithic alternatives. We publicly release our code and trained LoRA checkpoints.
April 11, 2026 at 12:09 AM
thierrybezier.bsky.social
Lightricks publie AVControl : un LoRA par modalité (depth, pose, caméra, audio) sur LTX-2. La direction artistique passe en mode modulaire.

Détails dans mon LinkedIn.
April 25, 2026 at 7:48 AM
cscv-bot.bsky.social
Ben-Yosef, Halperin, Korem, Salama, Cain, Joseph, Chen, Jelercic, Bibi: AVControl: Efficient Framework for Training Audio-Visual Controls https://arxiv.org/abs/2603.24793 https://arxiv.org/pdf/2603.24793 https://arxiv.org/html/2603.24793
March 27, 2026 at 6:30 AM
vidabox-home.bsky.social
Track energy flow, automate lighting, control your media - right from the wall.
Our VidaMount flush wall mount turns any iPad/tablet into a full-featured smart home control center.
#SmartHomeAutomation #iPadWallMount #VidaMount #AVControl #EnergyMonitoring #SmartLighting #CurtainControl #HomeTech
October 3, 2025 at 3:09 PM
vidabox-home.bsky.social
Flush-Mounted iPad for Smart Home Hub

From the heart of the home, run the whole house.
Installed next to the kitchen, this iPad wall #VidaMount adds apps for lighting, AV, energy monitoring, & smart automation.
#TabletMount #AVControl #LightingAutomation #iPadKiosk

Get Yours @ VidaBox.com !
September 26, 2025 at 9:21 PM
vidabox-home.bsky.social
iPad Wall Mount for Audio Controls

"It's perfect!" - Jake N
This white iPad mini wall mount is running multi-room audio controls w. a sleek, compact profile.
#WholeHomeAudio #iPadMiniMount #VidaMount #AVControl #WallTablet #HomeAutomation

Get Yours @ VidaBox.com :

www.vidabox.com/kiosks/apple...
September 24, 2025 at 12:40 AM
castercomm.com
The best power conditioner round-up you will read this week comes from @SVC_Online and includes (cl) @SurgeXAV. http://svconline.com/avcontrol/products/power_conditioners_0213//index1.html
Sound & Video Contractor
svconline.com
January 7, 2025 at 5:52 PM
xcalable.bsky.social
www.youtube.com/watch?v=VqIK...
SmartAVI CAT5 Audio/Video and IR/RS232 32 IN X 48 OUT Matrix with RS-232 Control - 1920 x 1200 - WUXGA - Twisted Pair - 32 x 48 - Display, AUDIO RS-232CAT5 MATRIX @SmartAVI.bsky.social #cat5 #audio #video #rs232 #matrix #wuxga @xcalable.bsky.social
SmartAVI CAT5 Matrix Streamlined AV Control @SmartAvi #xcalable #car5 #matrix #avcontrol
YouTube video by xcalable Org
www.youtube.com
January 23, 2026 at 8:34 PM
kvmmswitchtech.bsky.social
Scalable AV Solutions for Digital Display Networks
A multimedia routing solution helps organizations manage growing display networks through organized signal distribution and centralized AV control.
Website www.kvmswitchtech.com/product-grou... #multimediaroutingsolution #AVcontrol #multimediasystem
May 18, 2026 at 11:35 AM