I talk about what happens if you lose AV sync, why an oversight in WebCodecs' design means it's off by default, and what I did to achieve sample-perfect audio/video sync in Mediabunny anyway.

I talk about what happens if you lose AV sync, why an oversight in WebCodecs' design means it's off by default, and what I did to achieve sample-perfect audio/video sync in Mediabunny anyway.

Free social media automation and AI video maker. Auto post to Facebook Pages, Instagram, X, Pinterest, Telegram and TikTok, with YouTube Shorts coming, and make reels with voice and subtitles.

voxl - 매우 빠른 브라우저 기반 원격 데스크톱 도구 서버나 샌드박스의 GUI를 별도 뷰어 없이 브라우저에서 최대 60 FPS로 보고 조작하는 Rust 기반 오픈소스 도구입니다. 화면을 CPU에서 H.264로 인코딩하고 브라우저의 WebCodecs로 디코딩합니다. Linux에서는 모니터나 GPU 없는 VM에서도 사용할 수 있으며, iframe으로 다른 웹앱에 삽입할 수 있습니다.

Compress MP4, WebM, MOV, and MKV videos in your browser — no uploads, no FFmpeg, 100% private. Hardware-accelerated via WebCodecs. Free forever.

Free social media automation and AI video maker. Auto post to Facebook Pages, Instagram, X, Pinterest, Telegram and TikTok, with YouTube Shorts coming, and make reels with voice and subtitles.

I put one portrait test clip through two paths on the same page. In a `<video>` element it played upright at 1080×1920. Through my own pipeline every frame came out 1920×1080 with the picture lying on its side. That pipeline is mp4box.js 0.5.2 to demux, which means pulling the compressed samples out of the MP4, and then `VideoDecoder`, the WebCodecs interface that turns those samples into frames. I expected at least one browser to disagree with the others, and none did. Chromium 149, Chrome 154, Firefox 151 and WebKit 26.5 (macOS) all handed me lying-down frames from the decoder path, and all four played the same file upright. The red and green blocks were painted into the top-left and top-right corners of the upright picture when the sample was made. In the rightmost panel they sit on the left edge, so the frame is lying with its top to the left. The footage is a wind turbine video by Grendelkhan on Wikimedia Commons, CC BY-SA 4.0. ## Playback is upright and the decoder output is not The clip is not phone footage. I took that Wikimedia clip and used ffmpeg 7.1 to store the pixels sideways at 1920×1080 and write a rotation tag, which is the common way portrait video gets stored. The direction is written on the packaging, not in the picture. `<video>` reads the packaging: `videoWidth` × `videoHeight` reported 1080×1920, and `drawImage(video)` onto a canvas was upright in all four browsers. A decoder that is fed raw samples only ever gets the picture. My next hope was `VideoFrame.rotation`, a property on a frame that says how far to turn it. With `new VideoFrame(video)` in Chromium 149 and Chrome 154 it worked: coded size 1920×1080, display size 1080×1920, and `rotation` read 90, 270 or 180 to match the sample. Firefox 151 and WebKit 26.5 had no `rotation` property on the frame, and the Firefox frame drew sideways. Frames from my own decoder reported `rotation` = 0 in both Chromium-based browsers. So I can't lean on the property. The other shortcut, `createImageBitmap(video)`, which grabs the current frame as a bitmap, did not agree across browsers either. Look at the third panel in each row. In Chromium 149 the bitmap is 1920×1080 with the picture the right way up but squashed: the 160×160 marker blocks came out at about 284×90. Chrome 154 ran the same code and returned 1080×1920 with square blocks. Firefox 151 returned 1920×1080 lying down. ## The angle is in the track header matrix In MP4 and MOV the rotation is a 3×3 matrix in the track header box, `tkhd`. mp4box gives it to you along with the track. For my 90-degree sample it read `[0, 65536, 0, -65536, 0, 0, 0, 0, 1073741824]`, and the untagged upright sample gave the identity matrix. The numbers are fixed-point, so 65536 is 1.0, and the first two are enough to get the angle: const [a, b] = trak.tkhd.matrix; // 65536 = 1.0 const turn = (Math.round(Math.atan2(b, a) * 180 / Math.PI) + 360) % 360; // [0, 65536, ...] -> 90, identity -> 0 Two things caught me here. ffmpeg prints `rotation of -90.00 degrees` for that same file, so I check the result against the marker blocks instead of trusting a sign. And mp4box reports `track_width` × `track_height` as 1920×1080, the stored size, so a canvas sized from the track is landscape. For a quarter turn I swap width and height, then rotate the context before drawing the frame. The 180-degree sample is the sneaky one, because its size doesn't change and a width check will never catch an upside-down frame. I haven't tested the mirrored matrices a front camera might write, and the snippet above would ignore a flip. ## Bake the rotation into the pixels on export On the way out there are two options: write upright pixels, or keep the sideways pixels and write the tag again. I tried the tag in WebM first. ffmpeg with `-noautorotate` to VP9 kept the 1920×1080 lying pixels, and ffmpeg could still read the -90 rotation from the result. Chromium 149 and Chrome 154 played that file upright at 1080×1920. Firefox 151 and WebKit 26.5 played it lying down at 1920×1080. Upright pixels with no tag were upright on every path in every browser I tested, so I rotate at encode time and write no tag. To check an exporter that takes this route I used ImgIng (https://imging.ai/) in Chromium 149 with the preset that favors smaller files. The samples tagged 90, 270 and 180 all came out as MP4 stored upright at 608×1080 with no rotation tag, and the 90-degree one did the same as WebM. None of this covers phone originals, HEVC, iPhone Safari or Android; the tags here were all written by ffmpeg. If you run your own decode path, the check is cheap. Paint two different blocks into the top corners of a portrait clip, tag it with ffmpeg, and see where the blocks land.

https://centricular.com/devlog/2026-09/webtransport-demo/

В Бангалоре двое друзей разбирали запуски Apple покадрово. Не как зрители — как инженеры, привыкшие, что продукт собирают раньше, чем о нём пишут. Сакшам Аггарвал и Ишан Шарма познакомились в средней школе. Через пятнадцать лет они строили видеоредактор, который работает в браузере. Имя у редактора есть: Cardboard, зимняя программа Y Combinator 2026 года. Редактор получает отслеживание и цель — и собирает таймлайн сам. Сдвиг здесь один: монтаж перестаёт быть вопросом «какой кадр следующий». Он становится вопросом «какой ролик тебе нужен». Всё остальное — про то, что происходит между этими двумя вопросами. Таймлайн собирает машина. ## Почему редактор пришлось писать заново Основатели делали ролики сами. У Аггарвала в среднем 250 тысяч просмотров в месяц на Instagram и LinkedIn. Шарма монтировал внутренние презентации для общих демо-дней HackerRank — зал на 350+ человек, формат уровня посадочных роликов Apple. Оба упёрлись в одно и то же место: сырьё копится, идей хватает, а монтаж не успевает. По словам Аггарвала, они смотрели на это как на проблему инструмента, а не на проблему контента. Пока редактор живёт на десктопе, монтаж остаётся ремеслом с ручным набором движений. Он ушёл из процесса не потому, что монтаж стал дешевле, а потому, что стал длиннее по времени. Аггарвал начал программировать в шестом классе. Приложение для Windows, написанное в школе, набрало больше 5,7 млн загрузок и попало в обзоры CNET и Softonic. То есть привычка строить инструменты у них появилась раньше, чем привычка их использовать. Обещание у продукта формулируется одной строкой: монтаж занимает минуты, а не часы. Дальше начинается самое интересное — из чего именно состоит эта минута и кто принимает решения внутри неё. ## Чем агент отличается от генератора видео Cardboard не рисует кадры. Он ничего не генерирует. Задача у него обратная: материала слишком много, а времени слишком мало. Поэтому агент работает не с пикселями, а с таймлайном — он выдаёт диффы, а не картинку. Архитектура здесь нестандартная. Обычный нелинейный редактор (профессиональная программа для сведения клипов) живёт на вашей машине и требует установки. У Cardboard рендеринг целиком выполняется в браузере: собственный композитор на WebGL2 и декодер на WebCodecs. Ничего не ставится, ничего не загружается. Второй слой — семантический указатель. Кадры извлекаются из отслеживания и прогоняются через облачные мультимодальные модели. После этого монтажёр ищет не по именам файлов, а по смыслу: «где он впервые называет цену», «в какой момент экран делится». Третий слой — цикл агента, который вызывает инструменты по очереди: добавить клип, подрезать, убрать тишину, выровнять по битам, наложить субтитры. Он останавливается, когда задача закрыта. Параметр| Классический редактор| Cardboard (YC W26)| invideo Editor ---|---|---|--- **Где живёт** | На десктопе, с установкой | В браузере и отдельным приложением на Mac | В браузере **Как задаётся правка** | Мышью по таймлайну | Обычной фразой: «срежь паузы», «сделай живее» | Обычной фразой либо подключённым агентом через MCP **Где считается картинка** | Локально, на своей машине | WebGL2 и WebCodecs прямо в браузере | На серверах платформы при генерации **Что делает с лишним** | Монтажёр вручную | Убирает тишину, выравнивает по битам, накладывает субтитры | Достраивает ролик по ходу сборки, пока монтажёр смотрит **За что платят** | Подписка на софт | Подписка, рендер остаётся локальным | Генерация списывает кредиты, ручное редактирование бесплатно Собрано по документации Cardboard и invideo, октябрь 2026 ## Видео — это не одна задача Здесь основатели формулируют вещь, которую редко проговаривают вслух: монтаж не масштабируется как единая операция. Запись экрана требует других моделей, чем говорящая голова, а спорт — третьих. Поэтому у Cardboard внутри есть модель маршрутизации, которая решает, куда уйдёт конкретный запрос. > Для видео нет нормального VS Code. Значит, мы его строим. Вы закидываете клипы, даёте цель — а он возвращает первый монтаж за минуты. Как будто объясняешь джуниору-монтажёру.— Сакшам Аггарвал, сооснователь и CEO Cardboard Отдельно они подчёркивают границу: они не хотят быть функцией внутри существующего редактора. Компонент добавляют, потом им пользуются, потом про него забывают. Подход другой — сначала ядро, потом агент поверх. И ещё одно наблюдение, которое объясняет половину спроса. Генеративные модели — Sora, Runway, Kling — создают кадры, которых не существует. А агентный монтаж работает с противоположной проблемой: материала слишком много, а времени нет. Два рынка разошлись, хотя оба называют себя «ИИ-видео». ## Два месяца, которые всё решили Волна оформилась за два месяца. Первого сентября 2026 года invideo выпустил браузерный редактор с ИИ-ассистентом, который работает на настоящем многотрековом таймлайне. Шестого октября компания добавила Agentic Extend: через протокол MCP (Model Context Protocol, открытый интерфейс вызовов инструментов) к тому же рабочему пространству подключаются ChatGPT или Claude, и они правят таймлайн по ходу сборки, пока монтажёр смотрит и в любой момент забирает управление. Формулировка у invideo осторожная: генерация списывает кредиты, ручное редактирование бесплатно. Платят за машину, а не за доступ к столу. Восьстого сентября VideoGen объявила посевной раунд на $3,3 млн при пяти миллионах пользователей в 190+ странах. Компания стартовала в августе 2023 года на 30 тысячах долларов сбережений основателей со стажировки, год работала без инвесторов, потом присоединилась к Y Combinator (S24). В раунде участвовали Rebel Fund, Lobster Capital, Stretford End Capital, Mento VC, Pioneer Fund и Decacorn VC. > Большинство ИИ-видеоинструментов дают клип. Клип никто не хочет — хотят готовый ролик. VideoGen автоматизирует монтаж целиком.— Антон Кёниг, сооснователь и CEO VideoGen Три независимые команды — стартап из Y Combinator, платформа на пять миллионов пользователей и инцидент-лейдер, выпустивший два релиза за пять недель — строят одну и ту же конструкцию: редактор, где финальный сбор отдан агенту, а решение принимает человек. 🎯 **Что видно из трёх релизов** Стартапы продают скорость первой сборки, а не качество финального дубля. Крупные платформы догоняют ровно то, что год назад было дифференциатором нишевого инструмента. Побеждает не тот, кто генерирует кадры, а тот, кто собирает из имеющихся. ## Где у автоматизации заканчивается логика Есть исследование, которое стоит прочитать целиком. Работа про агентные пайплайны монтажа длинных нарративных видео сравнивает автоматическую сборку с Descript и OpusClip на двух задачах — нарезке длинного ролика в короткий и вытаскивании ярких моментов. Главный эффект касается профессионализма монтажа: β = −3,80, p < 0,001. Автоматические сборки получают оценки заметно ниже человеческих именно по этой шкале. Пользователи жалуются на три вещи: медленную обработку, трудность выбрать конкретный короткий фрагмент в готовом ролике и отсутствие тонкой доводки результата. Последнее — то, что не чинится увеличением размера модели. Тонкая доводка требует суждения: зачем здесь пауза, почему этот план длится четыре секунды, а не шесть. Это редакторское решение, и формально оно не сводится к следующему шагу цикла агента. ⚠️ **Потолок автоматизации — не точность, а свобода вмешательства** Агент быстро приводит ролик в годное состояние. Дальше человек всё равно перетаскивает клипы вручную. Экономия времени измеряется не в монтаже, а в количестве итераций до финала. Как мы писали в сентябре про Palette из Y Combinator — студия, которая собрала разрозненные креативные инструменты в один диалог, — у редактора сегодня появляется противоположный ответ. Не единое окно для всего, а одно окно для одного. Диалог, который ведёт не сценарий работы, а монтаж. Аггарвал и Шарма перестали продавать ролики о запуске на стороне и целиком ушли в продукт. Логика понятна: рынок монтажа на входе определяет, кто зарабатывает на своём рендере, а не на клиентских аутсорс-часах. Ручная доводка первой сотни роликов никуда не денется. Дальше монтажёра будут нанимать на вкус. Y Combinator: Cardboard — агентный видеоредактор, зимняя программа W26 Официальная страница компании: описание продукта, состав основателей и объяснение, почему мультимодальные модели и WebGPU/WebCodecs впервые делают полноценный редактор в браузере возможным. Y Combinator Первичный источник по компании: любая цифра о финансировании или составе команды должна опираться на эту страницу, а не на агрегаторы. invideo: Agentic Extend подключает внешних агентов к редактору Релиз от 6 октября 2026 года: через MCP к invideo Editor можно подключить ChatGPT или Claude, чтобы агент правил таймлайн и генерировал дополнительные материалы. invideo Newsroom Свежая точка входа: инцидент от крупной платформы за две недели до этой публикации. Показывает, что ниша закрывается одновременно снизу и сверху. Fondo START: разговор с Сакшамом Аггарвалом из Cardboard Интервью от 11 июня 2026 года: сравнение с Cursor и отсутствие «VS Code для видео», модель маршрутизации по типам отслеживания, решение отказаться от услуг по монтажу. Fondo Основа цитат в тексте. Все формулировки основателей взяты отсюда, без домысливания за них. arXiv: агентная система монтажа длинных нарративных видео Сравнение агентного пайплайна с Descript и OpusClip: измерение качества монтажа и разбор типичных претензий пользователей к автоматической сборке. arXiv Единственный источник цифр о качестве автосборки. Без него статья была бы маркетинговым пересказом запусков. Business Insider: VideoGen поднял $3,3 млн, аудитория превысила 5 млн человек Публикация от 8 сентября 2026 года подтверждает сумму раунда, 190+ стран, старт на $30 тысячах и цитату Антона Кёнига о готовом ролике вместо клипа. Business Insider Единственная редакционная (не пресс-релизная) публикация по этому раунду. Исходный релиз шёл через GlobeNewswire — для финансовых цифр этого недостаточно.

56c5d51 WebCodecs video encoder may buffer too many frames rdar://188029698 https://bugs.webkit.org/show_bug.cgi?id=324827 Reviewed by Per Arne Vollan and Jean-Yves Avenard. On macOS 27, VideoToo...

Free social media automation and AI video maker. Auto post to Facebook Pages, Instagram, X, Pinterest, Telegram and TikTok, with YouTube Shorts coming, and make reels with voice and subtitles.