Прежде чем разбираться, как кодек сжимает видео, нужно понять, что именно он сжимает. С этого вопроса начинается любой видеопродукт — от видеозвонка до стриминга на десятки тысяч зрителей. Первый выпуск «Декодировано» разбирает фундамент, на котором держится всё остальное: из чего складывается цифровое видео и почему в несжатом виде оно практически неподъёмно.
В выпуске:
— видео как стопка кадров, кадр как сетка пикселей, пиксель как несколько чисел (RGB);
— пять величин, которые описывают любое видео: разрешение, цветовое пространство, битовая глубина, частота кадров и тип развёртки;
— почему при удвоении разрешения число пикселей и поток данных растут вчетверо;
— прогрессивная и чересстрочная развёртка, откуда берётся «гребёнка» и почему деинтерлейсинг делают один раз — до кодирования;
— чем кодек отличается от контейнера;
— как оценить объём несжатого потока и сформулировать саму задачу сжатия.
«Декодировано» — подкаст компании Фора Софт по материалам серии книг «Справочник по видеоинженерии».
Фора Софт с 2005 года создаёт видеопродукты, real-time-коммуникации и AI-системы: 250+ проектов, живой стриминг с задержкой 0,4–0,5 секунды на 10 000 зрителей, решения для NBC, CBS и Red Bull. Если вы делаете продукт, где есть видео или онлайн-звонки, — приходите к нам: https://fora-soft.ru/
Плейлист
Декодировано — подкаст о видеоинженерии
Видеочат на пятерых тормозит и рассыпается на пиксели, а вебинар на сотню участников идёт гладко — разница не в чьём-то интернете, а в том, по какой схеме медиа ходит между людьми. От топологии завися...
Когда звонок «соединился, но картинки нет», причина почти никогда не в кодеке и не в сервере — она в машинерии соединения. Ещё до первого пикселя стороны обмениваются через сигнальный сервер описанием...
Видеозвонок прямо из вкладки браузера сегодня кажется само собой разумеющимся, а ещё недавно для него нужен был плагин вроде Flash. WebRTC встроил в браузер целый «телефонный аппарат» — видеозвонки, к...
Дорогой 4K-телевизор иногда показывает новинку в «мыльном» качестве — и скорость интернета тут ни при чём. Массовый зритель живёт не в десктопном браузере, а на телефоне и в гостиной, и там формат, DR...
Никто не пишет плеер прямо на MSE и EME: между стандартами браузера и продуктом лежит слой библиотек, и выбор между ними — архитектурное решение. От него зависит, какие протоколы, DRM и устройства вы...
Между нажатием «Play» и первым кадром в браузере идёт незаметная борьба — за память устройства и за защиту платного контента. Весь веб-стриминг стоит на двух стандартах W3C: MSE позволяет плееру корми...
Крутящийся значок загрузки мы привычно списываем на плохой интернет, но сеть — лишь одна из многих причин, по которым видео «просто остановилось». Всё, что сделали упаковка и CDN, зритель видит только...
Один и тот же концерт на сто тысяч зрителей одна платформа доставит примерно за 22 000 $, а другая — за 2 250 $, и разница прячется в строчках контракта с CDN. Доставка — обычно самая крупная переменн...
Проверять билет у зрителя перед каждым глотком воды — безумие, но именно так выглядит наивная защита платного эфира с токеном на каждом сегменте. Origin — самый маленький и незаменимый узел платформы,...
Восьмого июня 2021 года одна конфигурационная правка в сети Fastly примерно на час уронила Reddit, Spotify и The New York Times, а видеоплатформы, раздававшие только через Fastly, в этот час не показы...
Первая мысль о том, почему концерт на сто тысяч зрителей не плавит серверы, — железо «размером со стадион». Но кривую архитектуру деньгами не спасти: судьбу origin решают три рычага кеш-иерархии, и ка...
Сто тысяч зрителей на средних 5 Мбит/с — это 500 Гбит/с отдачи каждую секунду, и ни один сервер такое не вытянет. Финалы чемпионатов и концерты смотрят без буферизации благодаря сети доставки контента...
Превью под ползунком, отмотка гола в прямом эфире, французская дорожка и субтитры для глухих кажутся мелочами — пока не ломаются, и тогда зритель уходит, а продукт получает юридические претензии. Трид...
Энкодер выдал лестницу битрейтов, а плеер умеет читать только сегменты и манифест — между ними работает упаковщик, и замечают его, только когда он сломан. Двадцать девятый выпуск заглядывает в этот ти...
Два плеера с одной и той же лестницей на одном и том же канале могут дать зрителю совершенно разный опыт — всё решает правило, по которому выбирается следующая ступень. Двадцать восьмой выпуск разбира...
Лестницу битрейтов считают один раз, а качают по ней миллионы раз, поэтому лишний мегабит на ступени превращается в горы трафика, а недостающий — в квадраты на экране. Двадцать седьмой выпуск прослежи...
Когда картинка на пару секунд становится мыльной, первым делом ругают провайдера, хотя на деле плеер только что спас просмотр от остановки. Этот механизм — адаптивный битрейт, и на нём держится вся HT...
Когда отдельные протоколы разобраны, остаётся главный практический вопрос: что из этого ставить в свой продукт. Двадцать пятый выпуск развенчивает поиск «идеального протокола»: онлайн-аукционы и интер...
Много лет доставка видео заставляла выбирать: дёшево на миллионы, но с задержкой в секунды, или мгновенно, но с огромными счетами за серверы. Media over QUIC — самая серьёзная попытка снять сам этот в...
На концерте отставание картинки на пару секунд никто не заметит, а на ставках в прямом эфире, аукционе или в облачной игре те же секунды ломают продукт. Двадцать третий выпуск — о доставке, которая пр...
Ещё недавно платформы хранили каждый ролик дважды — в .ts для экосистемы Apple и в fMP4 для всех остальных — и платили за это двойным хранением, половинным кешем и тройным шифрованием. Этот выпуск «Де...
HLS — не единственный язык, на котором плеер узнаёт, что скачивать: DASH применяют в продакшене 64 % команд, а на Android и Smart TV он основной. Двадцать первый выпуск второго сезона «Декодировано» р...
Классический HLS отстаёт от эфира на 12–30 секунд — для матча, аукциона или лайв-шопинга это провал. Двадцатый выпуск — о LL-HLS, который сжимает эту задержку на порядок, не меняя транспорт: тот же HT...
По опросу Bitmovin HLS применяют в продакшене 73 % команд — и держится этот главный протокол доставки на обычных текстовых файлах и обычном HTTP. Девятнадцатый выпуск разбирает, как устроен этот фунда...
Фильм в 4K и онлайн-аукцион — обе задачи называются «доставить видео зрителю», но требования у них несовместимы: одному нужна идеальная картинка, другому — задержка меньше секунды. Выпуск открывает те...
Когда эфир с площадки замирает, винят провайдера, а часто виноват протокол ингеста, выбранный по таблице характеристик, а не по дороге, которой поедут байты. Семнадцатый выпуск закрывает тему ингеста...
WebRTC давно умел отправлять видео из браузера с малой задержкой, но у каждого сервера был свой сигналинг, и вход в эфир годами оставался за RTMP. Шестнадцатый выпуск — о WHIP: как один стандартный HT...
Раньше микросбой на линии в момент удара по воротам намертво замораживал картинку, а сегодня финал чемпионата идёт дальше без заметной паузы. Пятнадцатый выпуск разбирает профессиональную контрибуцию:...
Протокол, который все называют мёртвым, по оценкам до сих пор несёт 70–90 % мировой контрибуции. Любой энкодер его умеет, любая платформа принимает — и у этой лёгкости есть цена. В четырнадцатом выпус...
На большом концерте зрителям уходит 450 Гбит/с, а вся эта махина питается одним входным потоком в 6 Мбит/с — разница в 75 000 раз. Тринадцатый выпуск открывает тему ингеста: почему прямой эфир чаще вс...