УСТРОЙСТВО И СПОСОБ УПРАВЛЕНИЯ КВАНТОВАНИЕМ И ПРОГРАММА УПРАВЛЕНИЯ КВАНТОВАНИЕМ

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству управления квантованием, способу управления квантованием и программе управления квантованием, которые используются в кодировании видео, которое осуществляет низкую задержку путем использования внутренних вырезок.

Испрашивается приоритет согласно патентной заявке Японии № 2011-052872, поданной 10 марта 2011 г., полное содержание которой включено в настоящий документ посредством ссылки.

Уровень техники

Для того чтобы осуществить двунаправленную видеосвязь, такую как видеотелефония, задержка должна быть низкой. Эта "задержка" обозначает время, измеренное от момента, когда отправляющая видео сторона системы получает картинку с использованием камеры или подобного, до момента, когда декодирующая видео сторона системы отображает эту полученную картинку.

Кроме того, "картинка" обозначает кадр или поле во входном видео.

В таком применении метод кодирования видео применяется с целью уменьшить частоту ширины полосы, требуемую для передачи видео. Внутри полного времени задержки метод кодирования видео главным образом влияет на (i) время, требуемое для кодирования, выполняемого на стороне, отправляющей видео, (ii) время, требуемое для буферизации кодированных данных на стороне, принимающей видео, и (iii) время, требуемое для декодирования кодированных данных на стороне, принимающей видео. Чтобы уменьшить время задержки для процессов кодирования/декодирования, скорость для этих процессов должна быть увеличена. Дополнительно, чтобы уменьшить время буферизации кодированных данных на стороне, принимающей видео, действенными являются использование внутренних вырезок (объясняется далее) и метода управления квантованием, подходящего для этого.

В общем кодировании видео картинка внутреннего типа вставляется периодически с целью обновления. Однако, по сравнению с картинкой промежуточного типа, картинка внутреннего типа имеет очень большой объем кода, который требует долгого времени буферизации для закодированных данных на стороне, принимающей видео, следовательно, время задержки увеличивается.

Вместо использования внутренней картинки кодирование видео, которое использует внутренние вырезки, осуществляет обновление путем перемещения, в каждой картинке, полосы в продольном или поперечном направлении, вместо использования внутренних картинок, где полоса принудительно подвергает все макроблоки в картинке внутреннему кодированию. В этом процессе промежуточное кодирование может выполняться в каждой области (в картинке), отличной от внутренних вырезок, где такая область будет называться "областью вне внутренней вырезки".

Согласно такому способу, объем кода, генерируемого для каждой картинки, может быть почти постоянным, следовательно, время буферизации может быть уменьшено.

При расположении вышеописанной полосы в продольном направлении она может не называться "внутренней вырезкой" (а может называться "внутренним столбцом"). Однако для удобства объяснения настоящее техническое описание использует "внутреннюю вырезку" для любого из случаев перемещения полосы в продольном или поперечном направлении.

Фиг.9 изображает схему, показывающую концепцию случая, который обеспечивает внутреннюю вырезку, расположенную в продольном направлении. В показанном примере внутренняя вырезка перемещается от левого края к правому краю на соответствующей картинке, где время для количества картинок, среди которых позиция внутренней вырезки перемещается в одном периоде (т.е. количество картинок, для которых внутренняя вырезка перемещается от левого края к правому краю для картинок), называется "периодом внутренней вырезки".

Когда сторона, принимающая видео, не может точно сгенерировать декодированную картинку ввиду потери пакетов или подобного, если внутренняя вырезка перемещается от левой стороны к правой стороне картинки после такого неточного декодирования, то точные декодированные изображения получаются после этого (т.е. обновление было выполнено). То есть после того, как потеря пакетов или подобное происходит, обновление завершается в пределах удвоенного периода внутренней вырезки.

При использовании внутренней вырезки объем (величина) генерируемого кода существенно отличается между областью внутренней вырезки и областью вне внутренней вырезки. Следовательно, требуется способ управления квантованием, который может выделять код подходящей величины каждой области.

Патентный документ 1 раскрывает метод, который осуществляет указанный метод.

В методе, раскрываемом в патентном документе 1, (i) величина кода, генерируемого для области внутренней вырезки в картинке непосредственно перед картинкой-объектом кодирования, и (ii) этап среднего квантования (эти элементы (i) и (ii) будут в совокупности называться "информацией кодирования") используются для вычисления индекса сложности Xi для соответствующей области.

Аналогично, информация кодирования для области вне внутренней вырезки в картинке непосредственно перед картинкой-объектом кодирования используется для вычисления индекса сложности Xp для соответствующей области.

На основе Xi и Xp требуемое количество T кода для картинки-объекта кодирования разделяется на требуемое количество Ti кода для области внутренней вырезки и требуемое количество Tp кода для области вне внутренней вырезки. Затем, на основе Ti и Tp, определяется этап квантования для каждого макроблока в картинке.

Вышеописанный способ вызывает следующие проблемы.

Как правило, чем короче период внутренней вырезки (т.е. чем меньше размер области внутренней вырезки в каждой картинке), тем ниже качество изображения. Следовательно, в большинстве случаев период внутренней вырезки установлен равным 0,5 с или больше. Когда период внутренней вырезки короток, площадь внутренней вырезки становится существенно малой. К примеру, если период внутренней вырезки равен 0,5 с и 30 картинок присутствует в каждой секунде, то площадь области внутренней вырезки равна одной четырнадцатой площади области вне внутренней вырезки.

Следовательно, характеристика видео может существенно отличаться между внутренней вырезкой в картинке-объекте кодирования и внутренней вырезкой в картинке непосредственно перед картинкой-объектом кодирования. В таком случае, индекс сложности Xi неточен, что отрицательно сказывается на качестве изображения.

В таких обстоятельствах легко можно предвосхитить использование информации кодирования для внутренней вырезки в ранней картинке до картинки-объекта кодирования за один период внутренней вырезки (т.е. картинки, которая имеет ту же позицию внутренней вырезки (на картинке), что и картинка-объект кодирования). Однако, поскольку такая ранняя картинка по времени удалена от картинки-объекта кодирования, если объект переместился, характеристика внутренней вырезки существенно изменяется, что также вызывает ухудшение качества изображения.

С целью решения вышеупомянутой проблемы, метод, раскрываемый в патентном документе 2, может объединяться с методом согласно патентному документу 1.

Хотя метод согласно патентному документу 2 не применяется к случаю, использующему внутреннюю вырезку, он корректирует индекс сложности картинки-объекта кодирования при вычислении индекса сложности посредством информации кодирования картинки непосредственно перед картинкой-объектом кодирования, где коррекция выполняется на основе измерений активности картинки-объекта кодирования и картинки непосредственно перед ней. Измерение активности представляет характерный признак каждого изображение таким образом, что чем более детальной (в смысле включения в себя граничных частей) является текстура каждого требуемого блока, тем выше измерение активности. Соответствующий метод эффективен, когда характеристика слегка различается между картинкой-объектом кодирования и картинкой непосредственно перед ней, к примеру, во время периода нарастания яркости или затухания яркости.

Если метод согласно патентному документу 2 применяется к вычислению индекса сложности для внутренней вырезки в методе согласно патентному документу 1, качество изображения может быть улучшено, когда характеристика внутренней вырезки различается между картинкой-объектом кодирования и более ранней картинкой до картинки-объекта кодирования на один период внутренней вырезки.

Документы предшествующего уровня техники

Патентные документы

Патентный документ 1: не прошедшая экспертизу патентная заявка Японии, первая публикация № H07-095564.

Патентный документ 2: не прошедшая экспертизу патентная заявка Японии, первая публикация № 2009-055262.

Сущность изобретения

Проблема, решаемая изобретением

Однако при применении метода согласно патентному документу 2 в методе согласно патентному документу 1, если внутренняя вырезка картинки-объекта кодирования имеет текстуру, которая существенно отличается от текстуры внутренней вырезки, используемой для вычисления индекса сложности (например, различные объекты были захвачены на соответственных картинках), точность индекса сложности может все равно быть низкой, что отрицательно сказывается на качестве изображения.

Такое явление часто происходит в способе кодирования с использованием внутреннего прогноза, таком как H.264. В H.264 прогноз выполняется с использованием декодированных соседних пикселов блока-объекта кодирования вместе с переключением между множеством моделей прогноза, таких как многонаправленная экстраполяция или прогноз среднего значения. То есть в картинке-объекте обработки очень точный прогноз может выполняться в области, которая имеет текстуру, которая совпадает с соответствующей моделью прогноза, следовательно, величина генерируемого кода мала.

В отличие от этого, в области, которая имеет текстуру, которая не совпадает с моделью прогноза, большая величина кода генерируется, даже если активность ощутимо мала по сравнению с областью, которая имеет текстуру, которая совпадает с моделью прогноза.

Следовательно, при применении метода согласно патентному документу 2 в методе согласно патентному документу 1, если активность внутренней вырезки в картинке-объекте кодирования ощутимо мала по сравнению с активностью внутренней вырезки в картинке непосредственно перед картинкой-объектом кодирования, то индекс сложности для картинки-объекта кодирования корректируется до меньшего значения. Однако, когда текстура внутренней вырезки в картинке-объекте кодирования не совпадает с моделью прогноза для внутреннего прогноза, коррекция индекса сложности до меньшего значения вызывает ухудшение в качестве изображения.

C учетом вышеупомянутых обстоятельств, цель настоящего изобретения состоит в обеспечении устройства управления квантованием, способа управления квантованием и программы управления квантованием в кодировании видео, которые осуществляют низкую задержку путем использования внутренних вырезок.

Средства для решения проблемы

Настоящее изобретение обеспечивает устройство управления квантованием, обеспеченное в устройстве кодирования видео, которое использует внутренние вырезки, причем устройство управления квантованием содержит:

устройство вычисления сходства, которое вычисляет сходство между областью внутренней вырезки картинки-объекта кодирования и областью внутренней вырезки каждой из ранее кодированных картинок, где сходство является индексом, определяемым так, что чем ближе изображения двух различных внутренних вырезок, тем выше сходство;

устройство выбора картинки, которое выбирает картинку, имеющую самое высокое сходство из ранее кодированных картинок, на основе сходства, вычисленного устройством вычисления сходства; и

устройство определения этапа квантования, которое определяет этап квантования, используемый для кодирования картинки-объекта кодирования, на основе информации кодирования для картинки, выбранной устройством выбора картинки.

В предпочтительном примере устройство управления квантованием дополнительно содержит устройство определения порога, которое определяет, выше или нет сходство картинки, выбранной устройством выбора картинки, чем предварительно определенный порог,

причем согласно результату определения, выполняемого устройством определения порога:

если сходство выше предварительно определенного порога, устройство определения этапа квантования исполняет вышеупомянутое определение этапа квантования, используемого для соответствующего кодирования; и

если сходство ниже или равно предварительно определенному порогу, устройство определения этапа квантования определяет этап квантования, используемый для кодирования картинки-объекта кодирования на основе предварительно определенного исходного значения, без использования выбранной картинки.

Как правило, устройство вычисления сходства, которое вычисляет сходство на основе разности абсолютного значения для полного значения активностей для соответственных блоков каждой внутренней вырезки.

В другом предпочтительном примере, среди ранее кодированных картинок те, каждая из которых имеет внутреннюю вырезку, позиция которой на плоскости изображения относительно близка к позиции внутренней вырезки картинки-объекта кодирования, подвергаются вычислению сходства устройством вычисления сходства.

Настоящее изобретение также обеспечивает способ управления квантованием управления квантованием в устройстве управления квантованием, обеспеченном в устройстве кодирования видео, который использует внутренние вырезки, причем способ управления квантованием содержит:

этап вычисления сходства, на котором вычисляют сходство между областью внутренней вырезки картинки-объекта кодирования и областью внутренней вырезки каждой из ранее кодированных картинок, где сходство является индексом, определяемым так, что чем ближе изображения двух различных внутренних вырезок, тем выше сходство;

этап выбора картинки, на котором выбирают картинку, имеющую самое высокое сходство из ранее кодированных картинок, на основе сходства, вычисленного на этапе вычисления сходства; и

этап определения этапа квантования, на котором определяют этап квантования, используемый для кодирования картинки-объекта кодирования, на основе информации кодирования для картинки, выбранной на этапе выбора картинки.

В предпочтительном примере способ управления квантованием дополнительно содержит этап определения порога, на котором определяют, выше или нет сходство картинки, выбранной на этапе выбора картинки, чем предварительно определенный порог,

причем согласно результату определения, выполняемого на этапе определения порога:

если сходство выше предварительно определенного порога, этап определения этапа квантования исполняет вышеупомянутое определение этапа квантования, используемого для соответствующего кодирования; и

если сходство ниже или равно предварительно определенному порогу, этап определения этапа квантования определяет этап квантования, используемый для кодирования картинки-объекта кодирования на основе предварительно определенного исходного значения, без использования выбранной картинки.

Как правило, этап вычисления сходства, на котором вычисляют сходство на основе разности абсолютного значения для полного значения активностей для соответственных блоков каждой внутренней вырезки.

В другом предпочтительном примере, среди ранее кодированных картинок те, каждая из которых имеет внутреннюю вырезку, позиция которой на плоскости изображения относительно близка к позиции внутренней вырезки картинки-объекта кодирования, подвергаются вычислению сходства на этапе вычисления сходства.

Настоящее изобретение также обеспечивает программу управления квантованием, которая инструктирует компьютер, который обеспечивается в устройстве кодирования видео, которое использует внутренние вырезки, исполнять операцию управления квантованием, причем операция включает в себя:

этап вычисления сходства, на котором вычисляют сходство между областью внутренней вырезки картинки-объекта кодирования и областью внутренней вырезки каждой из ранее кодированных картинок, где сходство является индексом, определяемым так, что чем ближе изображения двух различных внутренних вырезок, тем выше сходство;

этап выбора картинки, на котором выбирают картинку, имеющую самое высокое сходство из ранее кодированных картинок, на основе сходства, вычисленного на этапе вычисления сходства; и

этап определения этапа квантования, на котором определяют этап квантования, используемый для кодирования картинки-объекта кодирования, на основе информации кодирования для картинки, выбранной на этапе выбора картинки.

Эффект изобретения

По сравнению со стандартными методами, настоящее изобретение имеет такой отличительный признак, что вычисление индекса сложности для внутренней вырезки картинки-объекта кодирования может использовать ранее кодированную внутреннюю вырезку, характеристика которой близка к характеристике внутренней вырезки картинки-объекта кодирования, благодаря чему качество изображения улучшается.

Краткое описание чертежей

Фиг.1 изображает структурную схему, показывающую структуру устройства кодирования видео согласно первому варианту осуществления настоящего изобретения.

Фиг.2 изображает структурную схему, показывающую структуру средства 2 управления квантованием c Фиг.1.

Фиг.3 изображает блок-схему, которая показывает операцию средства 2 управления квантованием, показанного на Фиг.2.

Фиг.4 изображает схему, которая показывает пример вставки внутренней вырезки, использованной в первом варианте осуществления.

Фиг.5 изображает блок-схему, которая показывает операцию средства 2 управления квантованием во втором варианте осуществления настоящего изобретения.

Фиг.6 изображает блок-схему, которая показывает операцию средства 2 управления квантованием в третьем варианте осуществления настоящего изобретения.

Фиг.7 изображает блок-схему, которая показывает операцию средства 2 управления квантованием в четвертом варианте осуществления настоящего изобретения.

Фиг.8 изображает схему, которая показывает пример ранее кодированных картинок в качестве кандидатов в четвертом варианте осуществления.

Фиг.9 изображает схему, показывающую концепцию случая, который обеспечивает внутреннюю вырезку, расположенную в продольном направлении.

Предпочтительные варианты осуществления изобретения

Первый вариант осуществления

Ниже устройство кодирования видео в соответствии с первым вариантом осуществления настоящего изобретения поясняется со ссылками на чертежи.

Фиг.1 изображает структурную схему, показывающую структуру настоящего варианта осуществления. Устройство 1 кодирования видео, показанное на Фиг.1, имеет структуру, которая генерирует кодированные данные на основе H.264 и выводит закодированные данные путем приема входной картинки и номера входной картинки.

В следующем объяснении структуры устройства 1 кодирования видео со ссылками на Фиг.1, объяснения известных функций или структур, которые имеет любое устройство кодирования видео на основе H.264, опускаются, если они не относятся непосредственно к объяснению настоящего изобретения.

В устройстве 1 кодирования видео на основе H.264 согласно настоящему варианту осуществления, средство 2 управления квантованием имеет отличительный признак по сравнению с соответствующей известной структурой.

Фиг.2 изображает структуру средства 2 управления квантованием с Фиг.1. Средство 2 управления квантованием согласно настоящему варианту осуществления имеет средство 21 вычисления сходства, средство 22 выбора картинки, средство 23 определения количества выделенного кода и средство 24 определения этапа квантования.

Ниже со ссылками на Фиг.1 будет объяснена базовая операция устройства 1 кодирования видео с Фиг.1.

Поскольку устройство 1 кодирования видео генерирует кодированные данные на основе H.264, каждый из множества процессов выполняется на поблочной основе.

Для каждого блока-объекта кодирования на входной картинке вычисляется разность относительно спрогнозированного блока изображения, который выводится из средства 3 внутреннего прогноза или средства 4 промежуточного прогноза. Блок разностного изображения, сформированный вычисленной разностью, вводится в средство 5 ортогонального преобразования и квантования, которое подвергает блок разностного изображения ортогональному преобразованию и квантует коэффициенты ортогонального преобразования. Полученные квантованные значения коэффициентов ортогонального преобразования подвергаются, средством 6 кодирования переменной длины, кодированию переменной длины.

Квантованные коэффициенты ортогонального преобразования также вводятся в средство 7 обратного квантования и обратного ортогонального преобразования, которое подвергает квантованные коэффициенты ортогонального преобразования обратному квантованию и также подвергает обратно-квантованные коэффициенты преобразования обратному ортогональному преобразованию. Квантование и обратное квантование выполняются с использованием этапа квантования (значения), который определяется для каждого блока и выводится из средства 2 управления квантованием. Операция управления квантованием будет объяснена позже.

Обратно ортогонально преобразованный блок вводится в средство 3 внутреннего прогноза с целью использования во внутреннем прогнозе другого блока. Средство 3 внутреннего прогноза подвергает блок-объект кодирования во входной картинке внутреннему прогнозу с использованием пикселов в блоке, который выводится из средства 7 обратного квантования и обратного ортогонального преобразования.

Блок, выходящий из средства 7 обратного квантования и обратного ортогонального преобразования, также вводится в средство 8 контурной фильтрации. При приеме блоков одной картинки средство 8 контурной фильтрации подвергает блоки операции контурной фильтрации (т.е. операции фильтрации внутри кодирующего контура). Такая картинка, к которой операция контурной фильтрации была применена, эквивалентна декодированной картинке, полученной на стороне декодирования. Декодированная картинка, полученная здесь, сохраняется в памяти 9 декодированной картинки.

Средство 4 промежуточного прогноза устанавливает декодированную картинку, сохраненную в памяти 9 декодированной картинки, как опорное изображение в промежуточном прогнозе блока-объекта кодирования во входной картинке.

Средство 10 управления внутренними вырезками определяет, на какой позиции внутренняя вырезка вставляется и какого размера ширина внутренней вырезки (т.е. какие блоки картинки включаются во внутреннюю вырезку).

Поскольку позиция внутренней вырезки смещается поэтапно, сопровождаясь продвижением входных картинок, используется номер входной картинки, который указывает входной порядок входных картинок. Внутренне-промежуточный переключатель 11 информируется о том, включается или нет блок-объект кодирования во внутреннюю вырезку.

Если блок-объект кодирования включается во внутреннюю вырезку, внутренне («интра»)/промежуточный («интер») переключатель 11 всегда выбирает внутренний («интра») прогноз. И наоборот, если блок-объект кодирования не включается во внутреннюю вырезку, интра/интер-переключатель 11 всегда выбирает промежуточный («интер») прогноз.

Когда блок-объект кодирования не включается во внутреннюю вырезку, переключение между интра-прогнозом и интер-прогнозом может выполняться в соответствии с эффективностью прогноза. Однако для удобства следующих объяснений здесь всегда выбирается интер-прогноз.

Далее, со ссылками на Фиг.3, поясняется операция средства 2 управления квантованием, показанного на Фиг.2. А именно, поясняется операция определения этапа квантования с целью кодировать картинку.

Дополнительно, Фиг.4 изображает пример вставки внутренней вырезки, используемой в настоящем варианте осуществления. Период внутренней вырезки формируется шестью картинками, и внутренняя вырезка в каждой картинке имеет одну и ту же ширину. В кодировании все картинки, кроме ведущей картинки, кодируются как "P-картинка". То есть, в отличие от случая включения B-картинок, кодирование исполняется в порядке ввода картинок.

На Фиг.2 средство 2 управления квантованием принимает картинку-объект кодирования и множество ранее кодированных картинок (которые являются не декодированными изображениями, а исходными изображениями). В настоящем варианте осуществления ранее кодированные картинки принимаются одного периода внутренней вырезки (т.е. шести картинок) и вводятся в средство 21 вычисления сходства. Средство 21 вычисления сходства также принимает информацию внутренних вырезок, которая указывает, на какой позиции внутренняя вырезка присутствует в каждой картинке.

Путем использования принятых данных средство 21 вычисления сходства вычисляет сходство C(i), где i изменяется от 0 до 5 (i - индекс для ранее кодированных картинок), между внутренней вырезкой картинки-объекта кодирования и внутренней вырезкой каждой ранее кодированной картинки (см. этап S1).

Сходство является индексным значением, которое указывает степень сходства между изображениями двух различных областей внутренней вырезки. Сходство может использовать сумму абсолютных разностей (ниже называемую "SAD"), где каждая разность является разностью между соответствующими пиксельными значениями (сравниваемых внутренних вырезок), которые имеют одинаковые относительные координаты. В этом случае чем меньше значение C(i), тем ближе две внутренние вырезки друг к другу.

Далее средство 22 выбора картинки принимает сходство C(i), где i изменяется от 0 до 5, между внутренней вырезкой картинки-объекта кодирования и внутренней вырезкой каждой ранее кодированной картинки.

На основе C(i) средство 22 выбора картинки определяет ранее кодированную картинку с индексом "i_выбора", которая имеет самое высокое сходство, для внутренней вырезки (см. этап S2). А именно, получается C(i_выбора), которое имеет наименьшую SAD. Затем ранее кодированная картинка i_выбора определяется как выбранная картинка, и средство 23 определения величины выделенного кода информируется об индексном значении "i_выбора" (информация выбранной картинки) выбранной картинки.

Далее средство 23 определения величины выделенного кода вычисляет индексы сложности для области внутренней вырезки и области вне внутренней вырезки.

Индекс сложности Xp для области вне внутренней вырезки вычисляется известным способом. Здесь он вычисляется с использованием информации кодирования (величины генерируемого кода и этапа среднего квантования) для области вне внутренней вырезки непосредственно предыдущей картинки (см. этап S3). А именно, Xp вычисляется как "Xp=Gp×Qp_ср", где Gp обозначает величину кода, генерируемого для области вне внутренней вырезки непосредственно предыдущей картинки, а Qp_ср обозначает этап среднего квантования.

Далее вычисляется индекс сложности Xi для области внутренней вырезки (см. этап S4). А именно, Xi вычисляется с использованием информации кодирования (величины генерируемого кода и этапа среднего квантования) для области внутренней вырезки ранее кодированной картинки i_выбора (выбранной картинки), выбранной средством 22 выбора картинки. Средство 23 определения величины выделенного кода принимает информацию кодирования для областей внутренней вырезки вышеописанных ранее кодированных картинок.

А именно, при заданных величине Gi_выбора генерируемого кода и этапе среднего квантования Qp_выбора_ср для области внутренней вырезки в выбранной картинке, Xi вычисляется как "Xi=Gi_выбора×Qp_выбора_ср".

Наконец, средство 24 определения этапа квантования вычисляет соответствующие величины Ti и Tp кода, выделенного области внутренней вырезки и области вне внутренней вырезки в картинке-объекте кодирования, и дополнительно вычисляет этап квантования для каждого блока посредством выделенных количеств кода. Этот процесс может выполняться известным способом. Чтобы почти уравнять этапы квантования области внутренней вырезки и области вне внутренней вырезки, выделенные величины кода вычисляются следующим образом:

Ti=T×(Xi/(Xi+Xp))

Tp=T×(Xp/(Xi+Xp))

где T обозначает величину кода, выделенного всей картинке. Эта формула имеет известную предпосылку (см., к примеру, патентный документ 1), и подробное объяснение будет опущено.

Затем величина кода, выделенная каждому блоку в области внутренней вырезки, определяется на основе Ti, величина кода, выделенная каждому блоку в области вне внутренней вырезки, определяется на основе Tp, и этап квантования для каждого блока вычисляется (см. этап S5).

Как описано выше, в известном методе, когда область внутренней вырезки картинки-объекта кодирования имеет текстуру, которая существенно отличается от текстуры области внутренней вырезки картинки непосредственно перед картинкой-объектом, точность оцениваемого индекса сложности низка. В настоящем варианте осуществления, сходства для внутренней вырезки между картинкой-объектом кодирования и множеством ранее кодированных картинок вычисляются с целью выбора ранее кодированной картинки, использованной для вычисления индекса сложности. Соответственно, может использоваться информация кодирования для ранее кодированной области внутренней вырезки, которая имеет текстуру, близкую к текстуре области внутренней вырезки в картинке-объекте кодирования. Следовательно, может быть получена более высокая точность индекса сложности по сравнению с известным способом, что обеспечивает назначение величины кода, соответствующее характеристике области внутренней вырезки, и более высокое качество изображения.

Второй вариант осуществления

Далее, со ссылками на Фиг.5, поясняется устройство кодирования видео в соответствии со вторым вариантом осуществления настоящего изобретения. На Фиг.5 этапы, идентичные этапам по Фиг.3, обозначены идентичными ссылочными позициями, и их объяснения опускаются.

По сравнению с операцией, показанной на Фиг.3, операция, показанная на Фиг.5, имеет отличительный признак в том, что она дополнительно имеет этапы S6 и S7.

После того как средство 22 выбора картинки определило выбранную картинку на этапе S2, сходство выбранной картинки сравнивается с предварительно определенным порогом, с целью определения, выше или нет сходство, чем порог (см. этап S6). Когда сходство C(i) является SAD, как описано выше, определение "выше или нет сходство, чем предварительно определенный порог", в действительности является "меньше или нет C(i_выбора), чем предварительно определенный порог".

Согласно вышеприведенному определению, когда сходство выше порога, считается, что внутренние вырезки выбранной картинки и картинки-объекта кодирования имеют схожую характеристику изображения. Следовательно, индекс i_выбора выбранной картинки передается средству 23 определения величины выделенного кода, таким образом, этапы S4 и S5 выполняются, как в операции, показанной на Фиг.3.

Если сходство ниже или равно предварительно определенному порогу, определяется, что характеристика изображения отличается между внутренней вырезкой выбранной картинки и внутренней вырезкой картинки-объекта кодирования, и средство 22 выбора картинки выдает нулевые данные средству 23 определения величины выделенного кода. В этом случае средство 23 определения величины выделенного кода присваивает индексу сложности Xi предварительно определенное исходное значение (см. этап S7).

Любое значение, которое обеспечивает среднее для изображений, имеющих множество разнообразных характеристик, может использоваться в качестве исходного значения. Исходное значение, используемое в MPEG-2 TM5, является репрезентативным примером такового. MPEG-2 TM5 определяет следующее исходное значение для индекса сложности X, применяемого к одной картинке:

X=(160*скорость_бит)/115

Вышеприведенное значение подвергается операции масштабирования с использованием отношения площади внутренней вырезки к площади картинки. А именно, поскольку период внутренней вырезки в настоящем варианте осуществления является шестью картинками, индекс сложности Xi для области внутренней вырезки вычисляется следующим образом:

Xi=X×(1/6)

Если сходство для внутренней вырезки выбранной картинки чрезвычайно низко, внутренние вырезки выбранной картинки и картинки-объекта кодирования имеют совершенно различные сложности. К примеру, если текстура внутренней вырезки в картинке-объекте кодирования чрезвычайно сложна по сравнению с внутренней вырезкой выбранной картинки, соответствующее выделенное количество кода мало, что отрицательно сказывается на качестве изображения. Следовательно, когда внутренняя вырезка выбранной картинки имеет низкое сходство, индексу сложности присваивается предварительно определенное исходное значение, благодаря чему сильное ухудшение качества изображения может предотвращаться.

Третий вариант осуществления

Далее, со ссылками на Фиг.6, поясняется устройство кодирования видео в соответствии с третьим вариантом осуществления настоящего изобретения. На Фиг.6 этапы, идентичные этапам по Фиг.3, обозначены идентичными позициями, их объяснения опускаются.

По сравнению с операцией, показанной на Фиг.3, операция, показанная на Фиг.6, имеет отличительный признак в том, что этапы S1 и S2 с Фиг.3 замещаются этапами S11 и S21 с Фиг.6. В настоящем варианте осуществления средство 21 вычисления сходства вычисляет сходство с использованием вышеописанной активности (измерения) каждой картинки.

А именно, совокупность измерений активности (называемая "полной активностью") для блоков в соответствующей внутренней вырезке вычисляется, и разность абсолютного значения между полной активностью для внутренней вырезки картинки-объекта кодирования и полной активностью для внутренней вырезки каждой ранее кодированной картинки определяется как сходство (см. этап S11).

Активность каждого блока вычисляется путем разбиения блока на четыре подблока, вычисления дисперсии пиксельных значений в каждом подблоке и определения минимального значения из четырех дисперсий как активности. Абсолютные значения разности для полной активности передаются средству 22 выбора картинки.

Средство 22 выбора картинки определяет ранее кодированную картинку, которая имеет наименьшее абсолютное значение разности для полной активности, как выбранную картинку и информирует средство 23 определения количества выделенного кода об индексе "i_выбора" выбранной картинки (см. этап S21).

В качестве сходства с использованием активности могут использоваться следующие примеры.

Хотя вышеописанный пример вычисляет абсолютное значение разности для полных измерений активности соответствующих блоков, полная сумма абсолютных значений разности, каждое из которых вычислено между активностями в сравниваемых блоках, может быть определена как сходство.

То есть подразумевается, что акт_A(j) и акт_B(i) являются соответственными активностями внутренних вырезок A и B, j=0, 1, 2,..., N-1, j обозначает индекс для макроблоков в соответствующей внутренней вырезке, а N обозначает количество блоков (т.е. макроблоков) во внутренней вырезке. Кроме того, блоки j во внутренних вырезках A и B имеют одинаковую относительную позицию внутри внутренней вырезки. В этом определении сходство C вычисляется по следующей формуле:

Вместо активности, определенной для каждого блока, активность может быть вычислена для каждой внутренней вырезки, и абсолютное значение разности между активностями соответствующих двух внутренних вырезок может быть определено как сходство. Активность для каждой внутренней вырезки получается путем разбиения внутренней вырезки на множество блоков (например, четыре блока, имеющих равные площади), вычисления дисперсии пиксельных значений в каждом блоке и определения минимального значения среди дисперсий блоков как активность соответствующей внутренней вырезки.

В качестве типичного индекса для сходства существует мера, которая использует разность, определенную на попиксельной основе, к примеру, сумму абсолютных разностей (SAD) между каждой парой соответствующих пикселов в двух внутренних вырезках. Однако этот способ требует большого количества вычислений.

Если соответствующие две внутренние вырезки включают в себя один и тот же объект, они имеют сходные полные значения для активностей блоков во внутренней вырезке. Следовательно, абсолютное значение разности для полного значения активностей для соответственных блоков эффективно используется в качестве меры для сходства.

Кроме того, активность, определенная на поблочной основе, эффективна для определения режима, выполняемого помимо управления квантованием, и известна как показанная в патентном документе 1. То есть, когда активность была вычислена для определения режима или подобного, если активность также используется для вычисления сходства в настоящем изобретении, объем вычислений может быть существенно уменьшен по сравнению с SAD. Типичный пример будет показан ниже.

Когда N является количеством пикселов во внутренней вырезке, количество вычислений для SAD между двумя внутренними вырезками для одной картинки определяется с учетом, что количество раз для операции произведения-суммы равно 2N-1, а количество раз для вычисления абсолютного значения равно N. Здесь, если подразумевается, что активность для каждого блока (размер каждого блока подразумевается равным 16×16 пикселов) была вычислена для определения режима или подобного, объем вычислений, требуемый для абсолютного значения разности для полного значения активностей для блоков во внутренней вырезке одной картинки, определяется с учетом, что количество раз для операции произведения-суммы равно N/256, а количество раз для вычисления абсолютного значения равно 1.

Как описано выше, когда активность была вычислена, количество вычислений может быть уменьшено, при этом сохраняя требуемое качество изображения, по сравнению со случаем, в котором мера, которая использует разность на попиксельной основе (например, SAD), используется в качестве сходства.

Четвертый вариант осуществления

Далее, со ссылками на Фиг.7, поясняется устройство кодирования видео в соответствии с четвертым вариантом осуществления настоящего изобретения. На Фиг.7 этапы, идентичные этапам по Фиг.3, обозначены идентичными ссылочными позициями, и их объяснения опускаются.

По сравнению с операцией, показанной на Фиг.3, операция, показанная на Фиг.7, имеет отличительный признак в том, что этап S1 с Фиг.3 замещается этапом S12 с Фиг.6.

В настоящем варианте осуществления среди шести ранее кодированных картинок только те, чья внутренняя вырезка прилегает к внутренней вырезке картинки-объекта кодирования, подвергаются вычислению сходства в средстве 21 вычисления сходства.

В примере выполнения такого ограничения вычисляется абсолютное значение разности между значением координаты (на плоскости изображения) внутренней вырезки в картинке-объекте кодирования и значением координаты (на плоскости изображения) внутренней вырезки в каждой ранее кодированной картинке, и внутренняя вырезка каждой ранее кодированной картинки, абсолютное значение разности которой меньше или равно предварительно определенному значению, определяется как прилегающая внутренняя вырезка. Значение координаты внутренней вырезки, которое определяется на плоскости изображения, может быть установлено как значение координаты серединной точки между левым краем и правым краем внутренней вырезки в горизонтальном направлении на плоскости изображения.

Если вышеописанное предварительно определенное значение для определения прилегающих внутренних вырезок установлено равным ширине одной внутренней вырезки, выбираются внутренние вырезки ранее кодированных картинок, как показано на Фиг.8. То есть показанный пример выбирает ранее кодированную картинку непосредственно перед картинкой-объектом кодирования (т.е. "A" на Фиг.8, имеющую левую соседнюю внутреннюю вырезку на плоскости изображения), более раннюю картинку, чем картинка-объект кодирования, на один период внутренней вырезки (т.е. "B" на Фиг.8, имеющую внутреннюю вырезку в той же позиции на плоскости изображения), и следующую картинку за более ранней картинкой, чем картинка-объект кодирования на один период внутренней вырезки (т.е. "C" на Фиг.8, имеющую правую соседнюю внутреннюю вырезку на плоскости изображения).

В вышеприведенном случае сходство между внутренней вырезкой картинки-объекта кодирования и внутренней вырезкой каждой выбранной картинки вычисляется и передается средству 22 выбора картинки (см. этап S12).

Когда много прошлых картинок используется для вычисления сходства, объем вычислений увеличивается. Однако, в отличие от случая спортивного видео, приложение (например, видеотелефон) которое использует внутренние вырезки, в общем, имеет дело с небольшим количеством движения, и, таким образом, вероятность, что объект, включаемый во внутреннюю вырезку картинки-объекта кодирования, также включался в ранее кодированную внутреннюю вырезку, которая пространственно близка к внутренней вырезке (из картинки-объекта кодирования) на плоскости изображения, высока.

Следовательно, в настоящем варианте осуществления вычисление сходства применяется только к ранее кодированным внутренним вырезкам, позиции которых на плоскости изображения пространственно близки к позиции внутренней вырезки-объекта кодирования. Следовательно, существует возможность уменьшить объем вычислений, при этом сохраняя требуемое качество изображения.

В типичном примере, когда скорость картинок для входных картинок равна 30 картинок в секунду, период внутренней вырезки равен 0,5 секунд, и все прошлые картинки внутри одного периода внутренней вырезки подвергаются вычислению сходства, каждая из 15 прошлых картинок должна подвергнуться вычислению сходства. В отличие от этого, в примере согласно настоящему варианту осуществления, когда вычисление сходства ограниченным образом применяется к (i) прошлой картинке, внутренняя вырезка которой находится на той же позиции, что и у картинки-объекта кодирования (т.е., более ранняя картинка на один период внутренней вырезки), и (ii) прошлым картинкам, которые имеют левую и правую внутренние вырезки относительно картинки-объекта кодирования, каждая из трех прошлых картинок подвергаются вычислению сходства, которое требует объема вычислений, равного одной пятой от объема вычислений, требуемого для вышеупомянутого типичного примера.

Как описано выше, чтобы решить ранее описанную проблему, при вычислении индекса сложности для внутренней вырезки картинки-объекта кодирования, настоящее изобретение вычисляет сходство между картинкой-объектом кодирования и каждой из прошлых ранее кодированных картинок и вычисляет индекс сложности для внутренней вырезки картинки-объекта кодирования путем использования информации кодирования, сформированной, когда кодировалась ранее кодированная картинка, имеющая самое высокое сходство (для внутренней вырезки).

Согласно такому способу, в отличие от случая стандартного способа, при вычислении индекса сложности для внутренней вырезки картинки-объекта кодирования, ранее кодированная внутренняя вырезка, характеристика которой близка к характеристике упомянутой внутренней вырезки, может использоваться так, что качество изображения может быть улучшено по сравнению со стандартным способом.

Программа для исполнения функций средств, показанных на Фиг.2, может сохраняться в считываемом компьютером носителе данных, и программа, сохраненная в носителе данных, может быть загружена и исполнена на компьютерной системе с целью выполнения операции управления квантованием.

Здесь, компьютерная система имеет аппаратные ресурсы, которые могут включать в себя OS и периферийные устройства.

Вышеупомянутый считываемый компьютером носитель данных является запоминающим устройством, к примеру переносным носителем, таким как гибкий диск, магнитооптический диск, ROM или CD-ROM, или запоминающим устройством, таким как жесткий диск, встроенный в компьютерную систему. Считываемый компьютером носитель данных также включает в себя устройство для временного хранения программы, такой как энергозависимая память (RAM), в компьютерной системе, которая выполняет функции сервера или клиента и принимает программу через сеть (например, Интернет) или линию связи (например, телефонную линию).

Вышеупомянутая программа, сохраненная в запоминающем устройстве или подобном в компьютерной системе, может быть передана через передающую среду или посредством передаваемых волн, проходящих через передающую среду, к другой компьютерной системе. Передающая среда для передачи программы имеет функцию передачи данных и является, к примеру, сетью (связи), такой как Интернет или линия связи (например, телефонная линия).

Кроме того, программа может выполнять часть объясненных выше функций. Программа также может быть "дифференциальной" программой так, что вышеописанные функции могут исполняться комбинационной программой из дифференциальной программы и существующей программы, которая уже была сохранена в соответствующей компьютерной системе.

Промышленная применимость

В кодировании видео, которое осуществляет низкую задержку путем использования внутренних вырезок, настоящее изобретение может применяться в целях, которые должны неизбежно выполнять управление квантованием.

Обозначения ссылочных позиций

2 - средство управления квантованием

21 - средство вычисления сходства

22 - средство выбора картинки

23 - средство определения величины выделенного кода

24 - средство определения этапа квантования