Размер блока — самый частый параметр, который инженер по доставке трогает в кодере: именно здесь решается компромисс «скорость против сжатия», от которого напрямую зависят счёт за облачное кодирование и бюджет задержки прямого эфира. За этим стоит пространственная структура кадра: кодек накладывает на картинку сетку и решает, где положить одну большую «плитку», а где раздробить её на мелкие. Тринадцатый выпуск «Декодировано» разбирает, как устроено это разбиение — от макроблока 16×16 в H.264 до суперблока 128×128 в AV1 и деревьев разбиения VVC — и почему современный кодер по сути поисковая машина, перебирающая миллионы вариантов деления в секунду.
В выпуске:
— зачем кодек разбивает кадр на блоки и почему блок — атомарная единица всей обработки: одно предсказание, один остаток, одно компактное описание в потоке;
— верхний уровень разбиения у каждого поколения: макроблок 16×16 (H.264), CTU 64×64 и 128×128 (HEVC, VVC), суперблок 64×64 и 128×128 (VP9, AV1) — одна и та же роль под разными именами;
— почему каждое поколение увеличивало стартовый блок: один вектор движения и крошечный остаток вместо шестнадцати повторов (кадр 4K — это 32 400 макроблоков H.264 против ~510 суперблоков AV1);
— деревья разбиения и как их читать: квадродерево HEVC, квадродерево с многотиповым и тернарным делением (QT+MTT) в VVC, десятипутёвое дерево AV1;
— почему крупные блоки экономят биты на гладких участках и почему этот выигрыш растёт с разрешением (4K, 8K);
— слайсы, тайлы и волновые фронты: три механизма параллелизма и как выбрать нужный под задачу;
— почему глубина разбиения напрямую бьёт по скорости кодирования и почему кодер — это поисковая машина (RDO, ранний обрыв поиска).
«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии».
Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/
Плейлист
Декодировано — подкаст о видеоинженерии
Когда звонок «соединился, но картинки нет», причина почти никогда не в кодеке и не в сервере — она в машинерии соединения. Ещё до первого пикселя стороны обмениваются через сигнальный сервер описанием...
Видеозвонок прямо из вкладки браузера сегодня кажется само собой разумеющимся, а ещё недавно для него нужен был плагин вроде Flash. WebRTC встроил в браузер целый «телефонный аппарат» — видеозвонки, к...
Дорогой 4K-телевизор иногда показывает новинку в «мыльном» качестве — и скорость интернета тут ни при чём. Массовый зритель живёт не в десктопном браузере, а на телефоне и в гостиной, и там формат, DR...
Никто не пишет плеер прямо на MSE и EME: между стандартами браузера и продуктом лежит слой библиотек, и выбор между ними — архитектурное решение. От него зависит, какие протоколы, DRM и устройства вы...
Между нажатием «Play» и первым кадром в браузере идёт незаметная борьба — за память устройства и за защиту платного контента. Весь веб-стриминг стоит на двух стандартах W3C: MSE позволяет плееру корми...
Крутящийся значок загрузки мы привычно списываем на плохой интернет, но сеть — лишь одна из многих причин, по которым видео «просто остановилось». Всё, что сделали упаковка и CDN, зритель видит только...
Один и тот же концерт на сто тысяч зрителей одна платформа доставит примерно за 22 000 $, а другая — за 2 250 $, и разница прячется в строчках контракта с CDN. Доставка — обычно самая крупная переменн...
Проверять билет у зрителя перед каждым глотком воды — безумие, но именно так выглядит наивная защита платного эфира с токеном на каждом сегменте. Origin — самый маленький и незаменимый узел платформы,...
Восьмого июня 2021 года одна конфигурационная правка в сети Fastly примерно на час уронила Reddit, Spotify и The New York Times, а видеоплатформы, раздававшие только через Fastly, в этот час не показы...
Первая мысль о том, почему концерт на сто тысяч зрителей не плавит серверы, — железо «размером со стадион». Но кривую архитектуру деньгами не спасти: судьбу origin решают три рычага кеш-иерархии, и ка...
Сто тысяч зрителей на средних 5 Мбит/с — это 500 Гбит/с отдачи каждую секунду, и ни один сервер такое не вытянет. Финалы чемпионатов и концерты смотрят без буферизации благодаря сети доставки контента...
Превью под ползунком, отмотка гола в прямом эфире, французская дорожка и субтитры для глухих кажутся мелочами — пока не ломаются, и тогда зритель уходит, а продукт получает юридические претензии. Трид...
Энкодер выдал лестницу битрейтов, а плеер умеет читать только сегменты и манифест — между ними работает упаковщик, и замечают его, только когда он сломан. Двадцать девятый выпуск заглядывает в этот ти...
Два плеера с одной и той же лестницей на одном и том же канале могут дать зрителю совершенно разный опыт — всё решает правило, по которому выбирается следующая ступень. Двадцать восьмой выпуск разбира...
Лестницу битрейтов считают один раз, а качают по ней миллионы раз, поэтому лишний мегабит на ступени превращается в горы трафика, а недостающий — в квадраты на экране. Двадцать седьмой выпуск прослежи...
Когда картинка на пару секунд становится мыльной, первым делом ругают провайдера, хотя на деле плеер только что спас просмотр от остановки. Этот механизм — адаптивный битрейт, и на нём держится вся HT...
Когда отдельные протоколы разобраны, остаётся главный практический вопрос: что из этого ставить в свой продукт. Двадцать пятый выпуск развенчивает поиск «идеального протокола»: онлайн-аукционы и интер...
Много лет доставка видео заставляла выбирать: дёшево на миллионы, но с задержкой в секунды, или мгновенно, но с огромными счетами за серверы. Media over QUIC — самая серьёзная попытка снять сам этот в...
На концерте отставание картинки на пару секунд никто не заметит, а на ставках в прямом эфире, аукционе или в облачной игре те же секунды ломают продукт. Двадцать третий выпуск — о доставке, которая пр...
Ещё недавно платформы хранили каждый ролик дважды — в .ts для экосистемы Apple и в fMP4 для всех остальных — и платили за это двойным хранением, половинным кешем и тройным шифрованием. Этот выпуск «Де...
HLS — не единственный язык, на котором плеер узнаёт, что скачивать: DASH применяют в продакшене 64 % команд, а на Android и Smart TV он основной. Двадцать первый выпуск второго сезона «Декодировано» р...
Классический HLS отстаёт от эфира на 12–30 секунд — для матча, аукциона или лайв-шопинга это провал. Двадцатый выпуск — о LL-HLS, который сжимает эту задержку на порядок, не меняя транспорт: тот же HT...
По опросу Bitmovin HLS применяют в продакшене 73 % команд — и держится этот главный протокол доставки на обычных текстовых файлах и обычном HTTP. Девятнадцатый выпуск разбирает, как устроен этот фунда...
Фильм в 4K и онлайн-аукцион — обе задачи называются «доставить видео зрителю», но требования у них несовместимы: одному нужна идеальная картинка, другому — задержка меньше секунды. Выпуск открывает те...
Когда эфир с площадки замирает, винят провайдера, а часто виноват протокол ингеста, выбранный по таблице характеристик, а не по дороге, которой поедут байты. Семнадцатый выпуск закрывает тему ингеста...
WebRTC давно умел отправлять видео из браузера с малой задержкой, но у каждого сервера был свой сигналинг, и вход в эфир годами оставался за RTMP. Шестнадцатый выпуск — о WHIP: как один стандартный HT...
Раньше микросбой на линии в момент удара по воротам намертво замораживал картинку, а сегодня финал чемпионата идёт дальше без заметной паузы. Пятнадцатый выпуск разбирает профессиональную контрибуцию:...
Протокол, который все называют мёртвым, по оценкам до сих пор несёт 70–90 % мировой контрибуции. Любой энкодер его умеет, любая платформа принимает — и у этой лёгкости есть цена. В четырнадцатом выпус...
На большом концерте зрителям уходит 450 Гбит/с, а вся эта махина питается одним входным потоком в 6 Мбит/с — разница в 75 000 раз. Тринадцатый выпуск открывает тему ингеста: почему прямой эфир чаще вс...
На экране горят все деления 5G, а видео всё равно проваливается в низкое качество: индикатор показывает уровень сигнала, а не то, сколько людей делят соту. Двенадцатый выпуск — о последней миле, самом...