При сжатии видео происходит много интересных вещей, и вы можете узнать об этом больше здесь. Я хочу коснуться некоторых используемых инструментов и обсудить работу, которую я сейчас делаю с AV1. В основном это связано с извлечением метаданных из декодера и их использованием. Это очень полезно для анализа/отладки для исследователей кодеков и инженеров. Одним из основных применений извлечения метаданных является создание анализатора битового потока.

Кодеки использовались довольно давно, даже задолго до их появления. Они использовались во времена, когда программное обеспечение было в основном проприетарным. Они использовались во времена, когда фильмы и видео хранились на компакт-дисках, и их приходилось покупать/арендовать. Таким образом, видеокодеки были сильно запатентованы, и их использование требовало уплаты лицензионных отчислений. Но Интернет нуждается в открытом стандарте для сжатия видео сейчас больше, чем когда-либо, учитывая доступность видео повсюду.

Предпринимались попытки сделать кодировщики открытыми и бесплатными. Google проделал огромную работу над VP9., Mozilla с Daala, Cisco с Thor и многие другие. В конце концов, все эти компании объединились и сформировали некоммерческий консорциум, известный как Alliance for Open Media, для разработки открытых бесплатных медиа-инструментов.

Одним из разработанных форматов кодирования был AV1, который был открытым и бесплатным. Работа VP9, ​​Daala и Thor была объединена для создания этого кодека. В настоящее время широко доступными кодировщиками с открытым исходным кодом являются rav1e, libaom и SVT-AV1, а наиболее популярным декодером является dav1d.

Как мы увидим, в AV1 используется множество инструментов. Выбрать правильный инструмент для видео довольно сложно. На самом деле, выбор лучших инструментов может оказаться вообще неосуществимым и может занять вечность. Таким образом, существуют эвристики и сокращения, которые зависят от реализации кодировщика. Инженеру видеокодеков важно уметь визуализировать и видеть реализуемые инструменты. Один из способов сделать это — использовать анализатор кодеков.

Как уже упоминалось, в области видеокодеков проводится много исследований, поэтому очень полезно иметь возможность анализировать компоненты кодировщика. Это то, для чего используется битовый поток, и он позволяет вам отображать различные компоненты битового потока, такие как разбиение на блоки, векторы движения и многие другие детали.

Я работаю с анализатором AOMAnalyzer, браузерным анализатором для просмотра битовых потоков AV1. Он уникален тем, что его можно использовать бесплатно, и все, что вам нужно, это браузер. В основном он состоит из двух компонентов: декодера, который представляет собой декодер js/wasm, который декодирует видео и извлекает соответствующие метаданные, и пользовательского интерфейса, который отображает метаданные.

В настоящее время декодер поставляется libaom, который также извлекает соответствующие метаданные для анализатора. Хотя он написан на C, есть способ построить его с помощью emscripten. Это создаст необходимые файлы js/wasm, которые будут использоваться для анализаторов. Вы можете найти инструкции по его сборке здесь

Пользовательский интерфейс — это проект React/Electron, исходный код которого можно найти здесь. Вы также можете получить доступ к встроенной версии здесь. Поэтому, если вы хотите проанализировать видео, вы должны указать файл в качестве аргумента в URL-адресе, указывающем на файл в кодировке AV1.

В качестве примера, вот ссылка на образец битового потока. Ссылка

 https://beta.arewecompressedyet.com/analyzer/?maxFrames=4&decoder=https://media.xiph.org/analyzer/inspect.js&file=https://mindfreeze.tk/~mindfreeze/ducks_1 .00_23.ivf 

Аргументы следующие:

 декодер: ссылка на скомпилированный декодер проверки 
 файл: ссылка на файл битового потока AV1 для анализатора 
 maxFrames: количество кадров для декодирования. Нам это может 
 понадобиться, так как декодирование генерирует много 
 данных для браузера 

Один из способов узнать, как работает закодированное видео, — посмотреть на видео через призму анализатора. В настоящее время AOMAnalyzer поддерживает основные инструменты кодирования, используемые в AV1, такие как разбиение на блоки, векторы движения, типы преобразования, внутреннее/внутреннее предсказание и многие другие. Давайте посмотрим на образец последовательности:

Первый шаг к сжатию видео включает разделение кадра на разные блоки, подблоки (под-подблоки, …). Это позволяет нам работать с разными частями кадра и делать с ними разные вещи. Например, области, которые имеют одинаковый цвет, имеют более крупные разделы, поскольку площадь примерно одинакова, тогда как детализированные области, такие как футболки игроков, имеют крошечные подблоки, поскольку в них много деталей. Давайте посмотрим на режим разделения на анализаторе:

Здесь вы можете видеть большие блоки вокруг простых областей, таких как поле, и более мелкие блоки в майках игроков. AV1 поддерживает несколько размеров блоков от 4x4 до 128x128. Также есть поддержка прямоугольных блоков. Фрейм может быть разделен множеством способов, и то, как вы его разделяете, очень важно, потому что это уровень, на котором будут применяться различные компоненты. Чем больше у вас разделов, тем больше времени и битов вы тратите на кодирование, и если у вас есть крайний срок (например, видео в реальном времени или размер видео), вы можете не успеть закодировать вовремя. Таким образом, важно выбрать правильные блочные перегородки.

Обычно в видео много повторов. Например, рассмотрим последовательность первых 3 кадров футбольного видео:

Мы видим, что здесь много повторений. Игроки слегка двигаются, готовясь встать на колени. Все они имеют одинаковый фон с зеленой травой. Есть несколько вещей, которые мы можем здесь сделать:

Почему вместо сохранения всего кадра у нас нет оценок простых областей вместо всех значений пикселей? Более того, почему бы нам просто не хранить один главный кадр и не прогнозировать/отслеживать происходящие движения? В конце концов, видео обычно имеют некоторую форму непрерывности, которая имеет место на протяжении всей последовательности. Здесь в игру вступают интер- и интра-прогнозирование.

Для приведенной выше последовательности предположим, что камера не двигается, а игроки двигаются. Одна вещь, которую мы можем сделать, это вместо того, чтобы отображать другую копию кадра, мы можем просто отслеживать движение игроков. Вот здесь-то и пригодится межкадровое предсказание

С другой стороны, рассмотрим один из тех больших блоков, которые в основном зеленые. Вместо того, чтобы хранить все пиксели для этого блока, мы можем оценить цвет блока и просто сказать, что цвет этого блока именно такой. Вот где внутреннее предсказание пригодится.

В AV1 есть разные типы кадров, но по существу они сводятся к двум основным типам: Intra Frame (ключевой кадр) и Inter Frames (оценка движения).

Если мы посмотрим на футбольный матч, то увидим, что есть много взаимосвязанных областей, таких как зеленое поле. Есть блоки, где цвет блока примерно одинаковый (например, зеленоватый). Вместо того, чтобы хранить значения пикселей для каждой точки, мы можем хранить некоторые метаданные корреляции, которые оценивают, какими будут значения пикселей.

AV1 имеет множество режимов внутреннего прогнозирования, таких как направленное внутреннее прогнозирование, истинное движение, цветность по яркости и многие другие. По сути, краевые пиксели углового блока используются для предсказания содержимого блока. Механизм, используемый для прогнозирования блоков, зависит от выбранного режима. Вы можете увидеть различные типы режимов внутреннего прогнозирования, используемые в AOMAnalyzer, выбрав слой режима .

В видео много движения. Inter-предсказание пытается предсказать движение движущегося объекта, используя несколько кадров. Векторы движения используются для определения новой позиции блока относительно опорного кадра. Например, в случае с футболистами в каждом кадре мало движения. Таким образом, кодер пытается предсказать движение блоков, сравнивая кадры. На рисунке ниже показано, какое движение было предсказано для второго кадра на aomanalyzer.

Чтобы предсказать движение блока, нам нужен опорный кадр для извлечения движения. В AV1 вы можете использовать либо один опорный кадр (из прошлого для предсказания текущего кадра), либо два опорных кадра. Когда используются две системы отсчета, они могут быть либо обе из будущего/прошлого (однонаправленные), либо одна в прошлом, а другая в будущем (двунаправленная).

В случае, когда используются 2 опорных кадра, значения предсказания для каждого опорного кадра будут использоваться для создания окончательного предсказателя вектора движения. Уравнение для прогнозирования значения в сложном прогнозировании:

, где 0 ≤ w(x,y) ≤ 1 — весовое распределение для R1 и R2 , R1(x, y) и R2(x, y) представляют пиксели в позиции (x, y) в двух эталонных блоках, а P(x, y) является окончательным прогнозируемым значением пикселя, которое будет использоваться. Поскольку w(x, y) является числом с плавающей запятой, а числа с плавающей запятой медленны для вычислений, фактическое уравнение масштабируется на 64 для целочисленных вычислений.

В AV1 есть три режима выбора развесовки:

• COMPOUND_AVERAGE: В этом режиме вес равномерно распределяется между двумя системами отсчета. Таким образом, w(x, y) = 0,5 или m(x, y) = 32
• COMPOUND_DIST: В этом случае расстояние между текущим кадром и опорными кадрами ( d1 и d2 ) равно берется и вес определяется на основе относительных значений расстояний. В этом случае m(x, y) является кусочно-постоянной функцией при сравнении расстояний d1 и d2
• COMPOUND_DIFF: В этом случае пиксели объединяются, когда разница в пикселях между эталонными кадрами очень мала. В случае, когда разница велика, приоритет отдается одному из опорных кадров, и пиксель получает больший вес в этой стороне.
• COMPOUND_WEDGE: В этом режиме вес определяется на основе набора из 16 предварительно заданных форм. Эти формы делят блок на две части с разными углами. На рисунке ниже вы можете увидеть различные формы клина, которые можно использовать. Таким образом, больший вес придается одной из систем отсчета в одной области, а больший вес придается другой системе отсчета в другой области. Знак клина используется для обозначения того, какая область соответствует какой системе отсчета.

В AOMAnalyzer можно проанализировать составной тип, используемый для каждого блока, выбрав составной тип. На рисунке ниже показаны составные типы, используемые для рамы.

Кроме того, вы также можете анализировать форму и знак клина, используемые при использовании COMPOUND_WEDGE.

Иногда при записи в условиях слабого освещения мы замечаем, что видео зернистое. Хотя мы можем захотеть избавиться от зерна, есть случаи, когда нам нужно сохранить его из-за его стиля. Как описано выше, сжатие видео во многом зависит от пространственной и временной избыточности. Как вы можете себе представить, зернистость пленки совершенно противоположна из-за случайности. Он резко меняется со временем и случайным образом различается по всему кадру. Таким образом, кодировщикам довольно сложно сохранять и сжимать зерно. На самом деле, некоторые инструменты кодеков, используемые при сжатии, могут подавлять и удалять зернистость пленки.

Вместо сохранения зернистости пленки другим подходом было бы создание искусственного зернистости. В AV1 есть инструмент, позволяющий генерировать синтетическое зерно и добавлять его в видео. Перед кодированием пользователь может сначала обнаружить зернистость, удалить шум из исходного видео, определить параметры зернистости пленки и передать их кодировщику вместе с входным видео. Затем кодировщик генерирует параметры зернистости пленки, которые декодер использует для добавления зернистости после декодирования видео. На рисунке ниже показан этап, на котором создается и добавляется зернистость пленки.

Допустим, у вас есть зернистое видео, и вы хотите сохранить зернистость пленки. Предположим, что это файл YUV с высотой h и шириной w.

Удалите шум из видео: вы можете использовать ffmpeg для удаления шума из видео. Есть несколько способов сделать это. В качестве примера, вот команда, использующая фильтр hqdn3d

 ffmpeg -vcodec rawvideo -video_size wxh -i input.yuv \ 
 -vf hqdn3d=5:5:5:5 -vcodec rawvideo -an -f rawvideo \ 
 denoised.854_480 .yuv 

После удаления шума из видео необходимо оценить параметры зернистости пленки. libaom в настоящее время имеет пример модели шума, которая моделирует шум между источником и видео с шумоподавлением и генерирует параметры зернистости пленки. После сборки вы можете запустить следующую команду:

 ./examples/noise_model --fps=fps --width=width --height=height --i420 \ 
 --input-denoised=denoised.yuv --input=original.yuv \ 
 --output-grain -table=film_grain.tbl 

Затем вы можете закодировать видео с шумоподавлением с помощью кодировщика AV1 и передать таблицу зернистости пленки в качестве параметра. Вот пример кодирования с использованием libaom:

 aomenc --cpu-used=4 --input-bit-depth=bit-depth \ 
 --i420 -w W -h H --end-usage=q --cq -level=25 --lag-in-frames=25 \ 
 --auto-alt-ref=2 --bit-depth=bit-depth --film-grain-table=film_grain. tbl \ 
 -o denoised_with_grain_params.ivf denoised.yuv 

Синтез зернистости пленки является «псевдослучайным» процессом. Это связано с тем, что одним из параметров зернистости пленки является random_seed , который гарантирует, что структура зернистости останется неизменной при повторении процесса

Структура зернистости пленки создается в порядке растрового сканирования с использованием авторегрессионной (AR) модели. Параметры этой модели задаются одним из параметров зерна пленки, ar_coeff_ , который представляет собой список значений коэффициента AR. Параметр ar_coeff_lag определяет диапазон значений соседства для выбора из предыдущих блоков. Для каждого пикселя в позиции (x, y) значение зернистости следующее:

, где a0, …, aN — коэффициенты AR, а z — гауссовский шум с единичной дисперсией. На рисунке ниже показан пример того, как значение зернистости в точке (x, y) вычисляется с помощью ar_coeff_lag = 2 :

Этот процесс сгенерирует блок зернистости 64x64 для яркости и блок зернистости 32x32 для синего/красного цветности. Поскольку каждый пиксель зернистости зависит от предыдущих пикселей, блоки изначально дополняются, чтобы блоки в верхнем левом углу могли иметь правильные значения. После того, как образцы зернистости сгенерированы, зернистость применяется к кадру блоками размером 32X32 для яркости путем взятия случайного подблока 32X32 из блока зернистости и применения его к блоку кадра. Для синего/красного цветности размер подблока зависит от субдискретизации цветности. В случае 4:2:0 размер будет 16X16. Для 4:0:0 размер будет 8X8.

Конечная позиция пикселя в точке (x, y) будет:

, где P(x, y) — это значение пикселя с шумоподавлением, G(x, y) — это значение блока зернистости, а f представляет собой кусочно-линейную функцию, которая масштабирует образец зерна в соответствии с интенсивностью пикселя. Функция f генерируется из точек масштабирования, предоставленных параметрами зернистости пленки. Для значений яркости значение t — это просто значение пикселя P(x, y) .