СПОСОБ И УСТРОЙСТВО УПРАВЛЕНИЯ РАЗМЕРОМ КОДА

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к методу кодирования видео, в частности к способу управления размером кода, устройству управления размером кода и программе управления размером кода, которые могут предотвратить ухудшение качества изображения даже в том случае, если характеристики видео значительно изменились.

Испрашивается приоритет по патентной заявке Японии № 2010-109879, поданной 12 мая 2010 г., полное содержание которой включено в настоящий документ посредством ссылки.

УРОВЕНЬ ТЕХНИКИ

При кодировании входного изображения с заданной битовой скоростью необходимо определить целевой размер кода для кодирования целевого кадра и, кроме того, определить интервал квантования на основе степени сложности кодируемого целевого кадра. Например, кодирование (сложного) видеоизображения, содержащего множество участков текстуры, или видеоизображения, содержащего значительные участки движения, является относительно сложным, причем размер кода, генерируемого с этой целью, стремится к увеличению. И напротив, кодирование видеоизображения, имеющего меньшие изменения яркости, или видеоизображения, не содержащего участков движения, является относительно простым. Таким образом, каждое видеоизображение имеет свою сложность кодирования.

В отношении сложности кодирования целевого кадра оценка в большинстве способов кодирования основывается на результате кодирования, таком как размер кода, генерируемого для ранее кодированного кадра, и последующем определении интервала квантования. То есть предполагая, что изображения, имеющие аналогичные характеристики, продолжаются, сложность кодирования целевого кадра оценивается исходя из результата кодирования ранее кодированного кадра.

Однако в видеоизображении, имеющем значительные колебания характеристик видео, использование результата кодирования ранее кодированного кадра может ухудшить точность предсказания, что обычно приводит к неустойчивому управлению кодированием или неприемлемому назначению размера кода, тем самым ухудшая качество соответствующего изображения.

Поэтому в Патентном документе 1 предлагается способ коррекции «показателя сложности» с использованием характерных значений, получаемых в ранее кодированном кадре и в кодируемом целевом кадре.

То есть при кодировании размера кода, генерируемого для требуемого кодируемого целевого кадра, на основе результата кодирования ранее кодированного кадра вычисляются характерные значения в каждом из ранее кодированных кадров, используемых для релевантной оценки, и в кодируемом целевом кадре, причем показатель сложности, используемый для оценки размера кода, корректируется с использованием характерных значений, вычисленных в кадрах.

Соответственно можно устойчивым образом управлять размером кода даже для видеоизображения (например, изображения с постепенно изменяющейся яркостью), сложность которого медленно изменяется.

В обычных способах кодирования видеоизображений множество типов кадров задается для различных режимов предсказания, таких как межкадровое предсказание и внутрикадровое предсказание. Поскольку различные типы кадров имеют различные степени сложности, для оценки сложности используется результат кодирования кадров одного типа.

В Патентном документе 1 также рассматривается тип кадра, и типам кадров назначаются процессы путем переключения работы.

Фиг.4 представляет собой схему последовательности операций, на которой показан известный способ оценки показателя сложности.

Сначала вычисляется характерное значение для кодируемого целевого кадра (см. этап S101).

Далее извлекается характерное значение любых ранее кодированных кадров, имеющих тот же тип кадра, что и кодируемый целевой кадр (см. этап S102).

Кроме того, извлекается показатель сложности для того же типа кадра (см. этап S103).

Извлеченный показатель сложности корректируется с использованием характерных значений, полученных на этапах S101 и S102 (см. этап S104).

Управление размером кода, генерируемого кодированием кодируемого целевого кадра, осуществляется с использованием скорректированного показателя сложности (см. этап S105).

ДОКУМЕНТЫ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

Патентный документ

Патентный документ 1: нерассмотренная заявка на патент Японии, первая публикация № 2009-55262.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Задача, решаемая с помощью изобретения

Как указано в Патентном документе 1, среди множества типов кадров внутренние кадры (т.е. с внутренним предсказанием) (I-кадры) вставляются нечасто и, следовательно, они, как правило, в большинстве случаев размещаются с большими интервалами. Поэтому коррекция показателя сложности, описанная в Патентном документе 1, целесообразна для I-кадров.

Однако если видеоизображение содержит быстрое изменение, либо интервалы вставленных I-кадров велики (как объяснялось выше), ранее кодированный кадр, используемый для релевантной оценки, и кодируемый целевой кадр относятся к совершенно различным сценам, как в случае изменения сцены.

В таком случае, даже относясь к одному и тому же типу кадров, два кадра могут иметь различные тенденции для показателя сложности, и, следовательно, точность оценки может не улучшиться даже за счет обращения к информации ранее кодированного кадра.

На фиг.5 приведены примеры изменения в видео. Кадры, очерченные двойными линиями, являются I-кадрами.

В части А на фиг.5 показано положение I-кадров в постепенно появляющемся видеоизображении. Когда участок постепенного появления короче, чем интервал между I-кадрами, показанные два I-кадра дают совершенно различные изображения.

Кроме того, в части В на фиг.5 показано видеоизображение, в котором на коротком участке происходит постепенное исчезновение. Также в этом случае два I-кадра относятся к различным сценам.

Как описано выше, даже если видеоизображение постепенно изменяется, ранее кодированное изображение, используемое для оценки, и кодируемое целевое изображение могут относиться к совершенно различным сценам из-за расстояния между кадрами. Отношение между интервалом квантования и размером генерируемого кода могут существенно различаться между такими совершенно различными сценами, тем самым ухудшая точность при оценке сложности.

Такая проблема применима не только к I-кадрам, но и к другим типам кадров.

Целью настоящего изобретения является решение вышеуказанной задачи и предотвращение ухудшения качества изображения посредством соответствующего управления размером кода, даже когда характеристики соответствующего видеоизображения значительно изменяются.

Средства для решения задачи

С целью решения вышеописанной задачи настоящее изобретение обеспечивает способ управления размером кода, используемый в способе кодирования видео для выполнения управления размером кода путем оценки размера кода, генерируемого для кодируемого целевого кадра, причем способ управления включает в себя:

этап, на котором вычисляют характерное значение кодируемого целевого кадра и сохраняют это значение в запоминающем устройстве;

этап, на котором извлекают характерное значение ранее кодированного кадра, которое используется для оценки размера генерируемого кода, причем характерное значение было сохранено в запоминающем устройстве;

этап, на котором сравнивают характерное значение кодируемого целевого кадра с характерным значением ранее кодированного кадра; и

этап, который выполняется в соответствии с результатом сравнения характерных значений, на котором, если определяется, что разница между обоими характерными значениями больше заранее заданного значения критерия, и кодируемый целевой кадр сложнее, чем ранее кодированный кадр, оценивают размер кода, генерируемого для кодируемого целевого кадра, без использования результата кодирования ранее кодированного кадра, а в противном случае на данном этапе оценивают размер кода, генерируемого для кодируемого целевого кадра, на основе результата кодирования ранее кодированного кадра.

В качестве характерного значения кодируемого целевого кадра или ранее кодированного кадра может использоваться одно из дисперсии, среднего или коэффициента, полученного посредством преобразования Фурье видеосигнала (сигнала яркости или цветоразностного сигнала).

На этапе, на котором оценивается размер кода, генерируемого для кодируемого целевого кадра, при определении того, превышает ли разница между обоими характерными значениями заранее заданное значение критерия, может применяться пороговое значение для отношения между обоими характерными значениями.

В этом случае также может применяться другое пороговое значение для размера характерных значений.

В предпочтительном варианте осуществления при определении ранее кодированного кадра, используемого для оценки размера генерируемого кода, выбирается ранее кодированный кадр, имеющий тот же тип кадра, что и кодируемый целевой кадр.

При оценке размера кода, генерируемого для кодируемого целевого кадра, без использования результата кодирования ранее кодированного кадра параметры для управления размером кода инициализируются заранее.

При оценке размера кода, генерируемого для кодируемого целевого кадра, без использования результата кодирования ранее кодированного кадра код генерированного кода оценивается с использованием характерного значения кодируемого целевого кадра.

Настоящее изобретение также обеспечивает устройство управления размером кода, используемое для способа кодирования видео для выполнения управления размером кода путем оценки размера кода, генерируемого для кодируемого целевого кадра, причем устройство управления содержит:

устройство, которое вычисляет характерное значение кодируемого целевого кадра;

запоминающее устройство, которое сохраняет вычисленное характерное значение кодируемого целевого кадра;

устройство, которое извлекает характерное значение ранее кодированного кадра, который используется для оценки размера генерированного кода, причем характерное значение было сохранено в запоминающем устройстве;

устройство, которое сравнивает характерное значение кодируемого целевого кадра с характерным значением ранее кодированного кадра; и

устройство, которое работает в соответствии с результатом сравнения характерных значений, причем, если определяется, что разница между обоими характерными значениями больше заранее заданного значения критерия, и что кодируемый целевой кадр сложнее, чем ранее кодированный кадр, устройство оценивает размер кода, генерируемого для кодируемого целевого кадра, без использования результата кодирования ранее кодированного кадра, а в противном случае устройство оценивает размер кода, генерируемого для кодируемого целевого кадра, на основе результата кодирования ранее кодированного кадра.

Как описано выше, в настоящем изобретении различие в характеристиках видео между ранее кодированным кадром, используемым для оценки размера генерируемого кода, и кодируемым целевым кадром определяется с использованием характерных значений. Если две характеристики существенно различаются, результат кодирования ранее кодированного кадра не используется для релевантного управления размером кода. Поскольку неиспользование такого результата кодирования осуществляется лишь при наличии существенного различия между двумя характеристиками видео, оценка размера кода не выполняется на основе неприемлемого результата кодирования, тем самым уменьшая ошибку оценки размера генерируемого кода при управлении размером кода и осуществляя соответствующее выделение размера кода.

Результат изобретения

В соответствии с настоящим изобретением может осуществляться управление размером кода кодируемого целевого кадра без использования результата кодирования ранее кодированного кадра, характеристики которого существенно отличаются от кодируемого целевого кадра. Поэтому даже если характеристики видео обоих кадров существенно отличаются друг от друга, может выполняться соответствующее выделение размера кода, тем самым предотвращая ухудшение качества изображения с помощью управления размером кода.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг.1 представляет собой схему последовательности операций, на которой показаны основные операции в соответствии с настоящим изобретением.

Фиг.2 представляет собой схему последовательности операций для варианта осуществления настоящего изобретения.

Фиг.3 представляет собой диаграмму, на которой показан пример структуры устройства в соответствии с данным вариантом осуществления настоящего изобретения.

Фиг.4 представляет собой схему последовательности операций, на которой показан известный способ оценки показателя сложности.

Фиг.5 представляет собой диаграмму, на которой показаны изменения в видео.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Перед объяснением вариантов осуществления настоящего изобретения будет объяснен общий принцип действия настоящего изобретения.

Как описано выше, даже если видеоизображение изменяется постепенно, ранее кодированный кадр, используемый для релевантной оценки, и кодируемый целевой кадр могут относиться к совершенно различным сценам из-за расстояния между кадрами. У таких совершенно различных сцен отношение между интервалом квантования и размером генерируемого кода может быть совершенно различным, и, следовательно, известные способы могут ухудшить точность оценки сложности.

Поэтому согласно настоящему изобретению в тех случаях, когда релевантные кадры имеют значительно отличающиеся характеристики, управление размером кода осуществляется без использования результата кодирования ранее кодированного кадра.

При наличии таких значительно отличающихся характеристик имеется один случай с увеличением степени сложности, и другой случай с уменьшением степени сложности. Управление размером кода без использования результата кодирования ранее кодированного кадра может применяться только в случае увеличения степени сложности. Это связано с тем, что в случае уменьшения степени сложности избыточный размер кода не генерируется, и никакой значительной проблемы не возникает.

Степень изменения характеристик указывается с использованием характерного значения каждого кадра. Характерным значением может быть дисперсия, среднее или коэффициент, полученный с помощью преобразования Фурье сигнала яркости или цветоразностного сигнала, то есть значение, которое может быть вычислено до начала релевантного кодирования.

В процессе сравнения характерных значений вычисляется различие или отношение между двумя кадрами, и вычисленное значение сравнивается с пороговым значением. Например, если результат сравнения превышает пороговое значение, инициализируются параметры, относящиеся к управлению размером кода.

Кроме того, абсолютное значение характерного значения может рассматриваться как условие. Например, в случае если отношение для дисперсии яркости подвергается релевантному сравнению, несмотря на то, что дисперсия 1 в 100 раз превышает дисперсию 0,01, обе дисперсии малы, и это не всегда указывает на существенное различие в характеристиках изображений. Однако дисперсия 1000, которая в те же 100 раз превышает дисперсию 10, возможно, имеет значительно отличающиеся характеристики по сравнению с дисперсией 10. Поэтому абсолютное значение характерного значения также рассматривается как условие.

В приведенном выше примере могут быть заданы такие условия, как «дисперсия яркости ранее кодированного кадра равна 10 или более и образует отношение в 100 раз».

Сравнение с использованием абсолютного значения может применяться не к ранее кодированному изображению, а к кодируемому целевому изображению. В приведенном выше примере могут быть заданы такие условия, как «дисперсия яркости кодируемого целевого кадра равна 1000 или более и образует отношение в 100 раз».

При выполнении управления размером кода без использования результата кодирования ранее кодированных кадров размер генерируемого кода может оцениваться с использованием кодируемого целевого кадра посредством известного способа. Кроме того, могут инициализироваться параметры для управления размером кода.

Например, в случае определения размера кода, генерируемого для Р-кадра или В-кадра на основе результата кодирования непосредственно предшествующего им I-кадра; в случае, в котором релевантные I-кадры имеют значительно отличающиеся характеристики; и в случае обработки Р- и В-кадров управление размером кода может осуществляться в инициализированном состоянии без использования какого-либо результата кодирования ранее кодированных кадров.

Фиг.1 представляет собой схему последовательности операций, на которой показаны основные операции в соответствии с настоящим изобретением.

Сначала вычисляется характерное значение для кодируемого целевого кадра (см. этап S1).

Далее извлекается характерное значение ранее кодированного кадра, причем характерное значение было сохранено во время кодирования (см. этап S2).

Два характерных значения, полученных на вышеописанных этапах S1 и S2, сравниваются друг с другом (см. этап S3). Если определяется, что характеристики обоих кадров значительно отличаются, управление размером кода осуществляется без использования результата кодирования релевантного, ранее кодированного кадра (см. этап S4). Если определяется, что характеристики обоих кадров близки друг к другу, управление размером кода осуществляется с использованием результата кодирования релевантного, ранее кодированного кадра (см. этап S5).

Вышеупомянутое вычисленное характерное значение сохраняется в запоминающем устройстве для того, чтобы использовать его позже.

Ниже объясняется конкретный вариант осуществления настоящего изобретения. Настоящее изобретение сформулировано для случая I-кадров и использует дисперсию сигнала яркости в качестве характерного значения. Кроме того, ранее кодированный кадр, который является целью релевантного сравнения, представляет собой I-кадр, который был кодирован непосредственно перед этим (перед текущей целью).

Чтобы не использовать результат кодирования ранее кодированного кадра, должны одновременно выполняться следующие два условия:

(i) дисперсия сигнала яркости (ниже называемая «дисперсией яркости») увеличилась в Х раз или выше; и

(ii) дисперсия яркости ранее кодированного кадра составляет ТН или выше,

где Х - пороговое значение для релевантного отношения, а ТН - пороговое значение для дисперсии яркости.

Кроме того, если определяется, что характеристики обоих кадров значительно отличаются, то инициализируется информация управления размером кода не только для I-типа кадра, но и для других типов кадра.

Фиг.2 представляет собой схему последовательности операций для данного варианта осуществления.

Сначала определяется, является ли кодируемый целевой кадр I-кадром (см. этап S10).

Если это кадр другого типа, управление размером кода осуществляется без изменений (см. этап S15).

Если это I-кадр, вычисляется дисперсия яркости Act(t) кодируемого целевого кадра (см. этап S11).

Далее дисперсия яркости Act(t-N) релевантного I-кадра (который кодировался непосредственно перед этим) извлекается из запоминающего устройства, которое хранит характерные значения ранее кодированных кадров (см. этап S12).

Две дисперсии яркости Act(t) и Act(t-N) сравниваются друг с другом (см. этап S13).

При этом определяется, больше ли дисперсия яркости Act(t-N) ранее кодированного кадра, чем пороговое значение ТН, и меньше ли величина, в Х раз превышающая Act(t-N), чем дисперсия яркости Act(t) кодируемого целевого кадра.

Если эти две формулы условий удовлетворяются, размер кода, генерируемого для кодируемого целевого I-кадра, оценивается на основе дисперсии яркости, и инициализируются параметры управления размером кода (см. этап S14). После этого осуществляется управление размером кода (см. этап S15).

В остальных случаях управление размером кода осуществляется без изменений (см. этап S15).

В настоящем варианте осуществления вычисление дисперсии яркости применяется только к I-кадрам. Однако если дисперсия яркости используется для управления квантованием и т.п., вычисление дисперсии яркости может применяться ко всем типам кадров.

Кроме того, если имеется характерное значение (например, дисперсия яркости или дисперсия цветового контраста), которое вычислялось с иной целью и которое указывает сложность в видео, оно может использоваться в настоящей операции.

На фиг.3 показан пример структуры устройства в соответствии с настоящим вариантом осуществления.

На фиг.3 блок 101 вычисления дисперсии яркости, запоминающее устройство 102 дисперсии яркости, блок 103 сравнения характерных значений и блок 104 управления размером кода являются отличительными частями настоящего варианта осуществления по сравнению с устройством кодирования видео, которое выполняет общеизвестное управление размером кода.

Блок 101 вычисления дисперсии яркости вычисляет дисперсию яркости для входного видеоизображения. Каждый вычисленный результат сохраняется в запоминающем устройстве 102 дисперсии яркости и одновременно передается в блок 103 сравнения характерных значений.

Блок 103 сравнения характерных значений получает дисперсию яркости кодируемого целевого кадра и извлекает дисперсию яркости ранее кодированного кадра, которая хранится в запоминающем устройстве 102 дисперсии яркости. Блок 103 сравнения характерных значений сравнивает обе дисперсии яркости друг с другом.

В соответствии со сравнением, если определяется, что характеристики обоих кадров значительно отличаются друг от друга, блок 103 сравнения характерных значений выдает информацию инициализации, тем самым инициализируя блок 104 управления размером кода.

Блок 104 управления размером кода определяет размер интервала квантования исходя из релевантной скорости передачи и размера генерируемого кода, чтобы выполнять управление размером кода. В случае приема информации инициализации блок 104 управления размером кода выполняет управление кодом после инициализации внутреннего состояния блока.

На фиг.3 части вне зоны, окруженной пунктирной линией, практически аналогичны частям, входящим в любое устройство, выполняющее кодирование видео на основе известного стандарта, такого как MPEG-2, H.264 и т.п.

Блок 110 генерирования предсказанного остаточного сигнала генерирует предсказанный остаточный сигнал в соответствии с разницей между входным видеосигналом и межкадрово предсказанным сигналом. Предсказанный остаточный сигнал подается на блок 111 ортогонального преобразования, который выдает коэффициенты преобразования, получаемые посредством ортогонального преобразования, такого как дискретное косинусное преобразование (DCT). Коэффициенты преобразования подаются на блок 112 квантования, который квантует коэффициенты преобразования в соответствии с размером интервала квантования, определяемым блоком 104 управления размером кода. Квантованные коэффициенты преобразования подаются на блок 113 кодирования источника данных, в котором квантованные коэффициенты преобразования подвергаются энтропийному кодированию.

Квантованные коэффициенты преобразования подвергаются также обратному квантованию в блоке 114 обратного квантования, а затем обратному ортогональному преобразованию в блоке 115 обратного ортогонального преобразования, тем самым генерируя декодированный предсказанный остаточный сигнал. Этот декодированный предсказанный остаточный сигнал суммируется с межкадрово предсказанным сигналом с помощью сумматора 116, тем самым генерируя декодированный сигнал. Декодированный сигнал подвергается отсечению по границам в блоке 117 отсечения по границам, а затем сохраняется в запоминающем устройстве 118 кадров, чтобы использоваться в качестве опорного изображения при кодировании с предсказанием следующего кадра.

Блок 119 обнаружения движения выполняет обнаружение движения для входного видеосигнала посредством поиска движения и выдает полученный вектор движения в блок 120 компенсации движения и блок 113 кодирования источника данных. В блоке 113 кодирования источника данных вектор движения подвергается энтропийному кодированию. В блоке 120 компенсации движения в соответствии с вектором движения осуществляется обращение к запоминающему устройству 118 кадров, посредством чего осуществляется генерирование межкадрово предсказанного сигнала.

Вышеописанные операции по управлению размером кода могут быть реализованы с помощью компьютера и компьютерной программы, причем компьютерная программа может сохраняться на машиночитаемом носителе информации или передаваться по сети.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

В соответствии с настоящим изобретением можно управлять размером кода кодируемого целевого кадра без использования результата кодирования ранее кодированного кадра, характеристики которого значительно отличаются от характеристик кодируемого целевого кадра. Следовательно, даже если характеристики видео обоих кадров значительно отличаются друг от друга, может быть выполнено соответствующее выделение размера кода, тем самым предотвращается ухудшение качества изображения благодаря управлению размером кода.

Список ссылочных позиций

101 блок вычисления дисперсии яркости

102 запоминающее устройство дисперсии яркости

103 блок сравнения характерных значений

104 блок управления размером кода

110 блок генерирования предсказанного остаточного сигнала

111 блок ортогонального преобразования

112 блок квантования

113 блок кодирования источника данных

114 блок обратного квантования

115 блок обратного ортогонального преобразования

116 сумматор

117 блок отсечения по границам

118 запоминающее устройство кадров

119 блок обнаружения движения

120 блок компенсации движения