УСТРОЙСТВО И СПОСОБ ОБРАБОТКИ ИНФОРМАЦИИ

Область техники, к которой относится изобретение Настоящее раскрытие относится к устройству обработки информации и способу обработки информации, и, более конкретно, к устройству обработки информации и способу обработки информации, которые позволяют распознавать рабочие характеристики, требуемые для более точного декодирования.

Уровень техники

В последние годы, с целью дальнейшего улучшения эффективности кодирования по сравнению с MPEG 4 Часть 10 (Advanced Video Coding, ниже обозначается, как "AVC") Объединенная группа взаимодействия - кодирование видеоданных (JCTVC), которая представляет собой объединенный орган по стандартизации Международного союза электросвязи Сектора стандартизации (ITU-T), и Международная организация по стандартизации/Международная электротехническая комиссия (ISO/IEC) продолжили стандартизацию схемы кодирования, называемой высокоэффективное кодирование видеоданных (HEVC) (см., например, непатентную литературу 1).

HEVC обеспечивает декодирование только области, требуемой для декодирования, путем применения и использования мозаичной структуры (Tile). Для обозначения того, что область элемента мозаичного изображения может быть независимо декодирована, во второй версии и после нее в HEVC (включая в себя MV-HEVC, SHVC, Range Ext. и т.п.) поддерживается наборами SEI мозаичного изображения с ограниченным движением.

В частности, в качестве технологии распределения содержания, в которой используется протокол передачи гипертекста (HTTP), используется динамическая адаптивная потоковая передача, в соответствии со стандартом Группы экспертов в области движущегося изображения через HTTP (MPEG-DASH) (см., например, Непатентную литературу 2). С использованием MPEG-DASH потоки битов данных изображения, кодированных с использованием схемы кодирования, такой как HEVC, описанной выше, распределяют и формируют в заданном формате файла, таком как, например, формат файла МР4.

Список литературы

Непатентная литература

Непатентная литература 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)", JCTVC-L1003_v34, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013

Непатентная литература 2: MPEG-DASH (Dynamic Adaptive Streaming over HTTP) (URL: http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-seanent-formats/text-isoiec-23009-12012-dam-1)

Раскрытие изобретения

Техническая задача

Однако как в потоке битов, так и в формате файла, только значение во всем потоке или значение в единицах слоя (Layer) определено, как уровень (Level), который используется как ссылка для определения, может ли декодер декодировать поток или информацию, относящуюся к возможностям буфера (Buffer).

Поэтому, также при применении для декодирования только части всего изображения, определяют, возможно или нет декодирование, предполагая нагрузку в случае, когда декодируют весь экран, что может вовлекать риск, что потребуется декодер с излишне высоким уровнем (Level). Кроме того, также существует риск того, что приложение, которое может распределяться, может быть излишне ограничено.

Настоящее раскрытие было выполнено с учетом таких обстоятельств, и предназначено для обеспечения распознавания рабочей характеристики, требуемой для более точного декодирования.

Решение задачи

В соответствии с аспектом настоящей технологии, обеспечивается устройство обработки информации, включающее в себя: модуль генерирования файла, выполненный с возможностью генерирования файла в формате файла МР4, при этом информация, устанавливающая множество модулей NAL, соответствующих частичному изображению, которые могут быть независимо декодированы в целое изображение, содержится в moov, а кодированные частичные изображения содержатся в mdat; и модуль хранения, выполненный с возможностью сохранения файла, генерируемого модулем генерирования файла.

Информация для группирования множества модулей NAL может включать в себя информацию, указывающую группу из множества модулей NAL, соответствующих частичному изображению.

Информация, определяющая множество модулей NAL, может включить в себя информацию, указывающую количество множества модулей NAL, соответствующих частичному изображению.

Информация, определяющая множество модулей NAL, может включить в себя информацию, указывающую первый модуль NAL среди модулей NAL, соответствующих частичному изображению.

Информация, определяющая множество модулей NAL, может включить в себя информацию, указывающую все модули NAL, соответствующие частичному изображению.

Информация, определяющая множество модулей NAL, может быть определена, используя VisualSampleGroupEntry в moov.

В файле может быть дополнительно сохранено множество частей информации для отображения множества модулей NAL.

Частичное изображение может быть элементом мозаичного изображения Tile при высокоэффективном кодирование видеоданных (HEVC).

В соответствии с аспектом настоящей технологии обеспечивается способ обработки информации, включающий в себя этапы, на которых: генерируют файл в формате файла МР4, в котором информация, определяющая множество модулей NAL, соответствующих частичному изображению, которые могут быть независимо декодированы в целое изображение, содержится в moov, а кодированное частичное изображение содержится в mdat; и передают сгенерированный файл.

В соответствии с другим аспектом настоящей технологии, обеспечивается устройство обработки информации, включающее в себя: модуль воспроизведения файла, выполненный с возможностью воспроизведения файла в формате файла МР4, в котором информация, определяющая множество модулей NAL, соответствующих частичному изображению, которые могут быть независимо декодированы во всем изображении, содержится в moov, а кодированное частичное изображение содержится в mdat.

Информация, определяющая множество модулей NAL, может включать в себя информацию, указывающую группу из множества модулей NAL, соответствующих частичному изображению.

Информация, определяющая множество модулей NAL, может включать в себя информацию, указывающую количество множества модулей NAL, соответствующих частичному изображению.

Информация, определяющая множество модулей NAL, может включать в себя информацию, указывающую первый модуль NAL из модулей NAL, соответствующих частичному изображению.

Информация, определяющая множество модулей NAL, может включать в себя информацию, указывающую все модули NAL, соответствующие частичному изображению.

Информация, определяющая множество модулей NAL, может быть определена, с использованием VisualSampleGroupEntry в moov.

В файле может дополнительно содержаться множество частей информации для отображения множества модулей NAL.

Частичное изображение может быть представлять собой элемент мозаичного изображения (tile) при высокоэффективном кодировании видеоданных (HEVC).

В файле информация, указывающая местоположение частичного изображения во всем изображении, информация, указывающая размер частичного изображения, и информация, определяющая множество модулей NAL, могут быть сохранены в VisualSampleGroupEntry. Модуль воспроизведения файла может выбирать частичное изображение, которое требуется воспроизвести, на основе информации, указывающей местоположение частичного изображения во всем изображении, и информации, указывающей размер частичного изображения, и получать данные частичного изображения, подлежащие воспроизведению, на основе информации, определяющей множество модулей NAL, и генерировать поток битов.

В файле, информация, указывающая местоположение частичного изображения во всем изображении, информация, указывающая размер частичного изображения, и информация, определяющая множество модулей NAL, могут быть сохранены в VisualSampleGroupEntry. Модуль воспроизведения файла может выбирать область, которую требуется воспроизвести, на основе информации, указывающей местоположение частичного изображения во всем изображении, и информации, указывающей размер частичного изображения, и получать данные о частичном изображении, соответствующем области, которую требуется воспроизвести, на основе информации, определяющей множество модулей NAL, и генерировать поток битов.

В файле информация, указывающая местоположение частичного изображения во всем изображении, информация, указывающая размер частичного изображения, и информации, определяющая множество модулей NAL, может быть сохранена в TileRegionGroupEntry. Модуль воспроизведения файла может выбирать элемент мозаичного изображения, который требуется воспроизвести, на основе информации, указывающей местоположение частичного изображения во всем изображении, и информации, указывающей размер частичного изображения, получать трек, соответствующий выбранному элементу мозаичного изображения, который требуется воспроизвести, на основе информации, устанавливающей множество модулей NAL, и генерировать поток битов частичного изображения, соответствующего полученному треку.

В файле информация, указывающая местоположение частичного изображения во всем изображении, информация, указывающая размер частичного изображения, и информация, определяющая множество модулей NAL, могут быть сохранены в TileRegionGroupEntry. Модуль воспроизведения файла может выбирать область, которую требуется воспроизвести, на основе информации, указывающей местоположение частичного изображения во всем изображении, и информации, указывающей размер частичного изображения, получать множество треков, соответствующих выбранной области, которую требуется воспроизвести, на основе информации, определяющей множество модулей NAL, и генерировать поток битов частичного изображения, соответствующего полученному множеству треков.

Дополнительно может быть включен модуль декодирования, выполненный с возможностью декодировать поток битов частичного изображения, воспроизводимого и генерируемого модулем воспроизведения файла.

В соответствии с другим аспектом настоящей технологии обеспечивается способ обработки информации, включающий в себя этапы, на которых: воспроизводят файл в формате файла МР4, в котором информация, определяющая множество модулей NAL, соответствующих частичному изображению, которые могут быть независимо декодированы во всем изображении, содержится в moov, а кодированное частичное изображение содержится в mdat.

В аспекте настоящей технологии файл в формате файла МР4, в котором содержится информация, определяющая множество модулей NAL, соответствующих частичному изображению, которые могут быть независимо декодированы во всем изображении, содержится в moov, а кодированное частичное изображение содержится в mdat, и передают сгенерированный файл.

В другом аспекте настоящей технологии воспроизводят файл в формате файла МР4, в котором информация, определяющая множество модулей NAL, соответствующих частичному изображению, которые могут быть независимо декодированы во всем изображении, содержится в moov, и кодированное частичное изображение содержится в mdat.

Предпочтительные эффекты изобретения

В соответствии с настоящим раскрытием, возможно кодировать и декодировать изображение. В частности, возможно распознать рабочую характеристику, требуемую для более точного декодирования.

Краткое описание чертежей

На фиг. 1 представлена схема для пояснения примера приложения для выполнения частичного отображения.

На фиг. 2 представлена схема для пояснения другого примера приложения для выполнения частичного отображения.

На фиг. 3 представлена схема для пояснения примера разрешающей способности подвыборки.

На фиг. 4 представлена схема для пояснения общего обзора формата файла МР4.

На фиг. 5 представлена схема для пояснения общего обзора формата файла МР4.

На фиг. 6 представлена схема для пояснения общего обзора формата файла МР4.

На фиг. 7 представлена схема, иллюстрирующая пример расширения поля таблицы выборки.

На фиг. 8 представлена схема, иллюстрирующая пример поля информации подсказки подвыборки.

На фиг. 9 представлена схема, иллюстрирующая пример семантики независимого.

На фиг. 10 представлена схема, иллюстрирующая пример группы подвыборок.

На фиг. 11 представлена схема, иллюстрирующая другой пример поля информации подсказки подвыборки.

На фиг. 12 представлена схема, иллюстрирующая другой пример поля информации подсказки подвыборки.

На фиг. 13 представлена схема, иллюстрирующая еще один другой пример поля информации подсказки подвыборки.

На фиг. 14 представлена схема для пояснения общего обзора формата файла МР4.

На фиг. 15 представлена схема для пояснения общего обзора формата файла МР4.

На фиг. 16 представлена схема, иллюстрирующая пример расширения поля таблицы выборки.

На фиг. 17 представлена схема, иллюстрирующая пример расширения записи группы визуальной выборки.

На фиг. 18 представлена схема, иллюстрирующая пример индекса подвыборки.

На фиг. 19 представлена схема, иллюстрирующая другой пример расширения записи группы визуальной выборки.

На фиг. 20 представлена схема, иллюстрирующая еще один другой пример расширения записи группы визуальной выборки.

На фиг. 21 представлена блок-схема, поясняющая пример mcts.

На фиг. 22 представлена схема, иллюстрирующая пример синтаксиса MCTS SEI.

На фиг. 23 представлена схема, иллюстрирующая пример расширения формата файла МР4.

На фиг. 24 представлена схема, иллюстрирующая пример расширения записи группы визуальной выборки.

На фиг. 25 представлена схема, иллюстрирующая другой пример расширения записи группы визуальной выборки.

На фиг. 26 представлена схема, иллюстрирующая еще один другой пример расширения записи группы визуальной выборки.

На фиг. 27 представлена схема для пояснения примера конфигурации файла МР4 изображения элемента мозаичного изображения.

На фиг. 28 представлена схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC.

На фиг. 29 представлена схема, иллюстрирующая пример синтаксиса временного MCTS SEI.

На фиг. 30 представлена схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC.

На фиг. 31 представлена схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC.

На фиг. 32 представлена схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC.

На фиг. 33 представлена схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC.

На фиг. 34 представлена схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC.

На фиг. 35 представлена схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC.

На фиг. 36 представлена схема для пояснения примера конфигурации файла МР4 элемента мозаичного изображения.

На фиг. 37 представлена схема для пояснения поля расширения элемента мозаичного изображения HEVC.

На фиг. 38 представлена схема для пояснения примера конфигурации файла МР4 элемента мозаичного изображения.

На фиг. 39 представлена блок-схема, поясняющая пример основных компонентов устройства кодирования изображения.

На фиг. 40 представлена блок-схема, поясняющая пример основных компонентов устройства декодирования изображения.

На фиг. 41 представлена блок-схема последовательности операций для пояснения примера потока обработки кодирования изображения.

На фиг. 42 представлена блок-схема последовательности операций для пояснения примера потока обработки декодирования изображения.

На фиг. 43 представлена блок-схема последовательности операций для пояснения примера потока обработки определения, возможно ли воспроизведение.

На фиг. 44 представлена блок-схема последовательности операций для пояснения примера потока обработки воспроизведения.

На фиг. 45 представлена блок-схема последовательности операций для пояснения примера потока обработки воспроизведения.

На фиг. 46 представлена блок-схема последовательности операций для пояснения примера потока обработки воспроизведения.

На фиг. 47 представлена блок-схема последовательности операций для пояснения примера потока обработки воспроизведения.

На фиг. 48 представлена блок-схема последовательности операций для пояснения примера потока обработки воспроизведения.

На фиг. 49 представлена блок-схема, поясняющая пример основных компонентов компьютера.

Осуществление изобретения Варианты осуществления для воплощения настоящего раскрытия (ниже называются "вариантами осуществления") будут описаны ниже в следующем порядке:

1. Первый вариант осуществления (информация подсказки подвыборки)

2. Второй вариант осуществления (файл МР4)

3. Третий вариант осуществления (устройство кодирования изображения)

4. Четвертый вариант осуществления (устройство декодирования изображения)

5. Пятый вариант осуществления (компьютер)

1. Первый вариант осуществления

Поток стандартизации кодирования изображения

В последние годы получило распространение устройство, которое выполняет цифровую обработку информации изображений, и в это время выполняющее кодирование со сжатием изображения, используя избыточность, специфичную для информацию изображения, и используя схему кодирования для сжатия, применяя ортогональное преобразование, такое как дискретное косинусное преобразование и компенсация движения, с целью высокоэффективной передачи и накопления информации. Такая схема кодирования включает в себя, например, схему в соответствии со стандартом Группы экспертов в области движущегося изображения (MPEG).

В частности, MPEG2 (ISO/IEC 13818-2), который определен, как универсальная схема кодирования изображения, представляет собой стандарт, который поддерживает, как изображение, сканированное чересстрочной разверткой, так и изображение, сканированное с последовательной разверткой, и изображение со стандартным разрешением, и изображение с высоким разрешением. Например, MPEG2 в настоящее время широко используется в широком диапазоне приложений, предназначенных для профессионального использования и для использования потребителями. Применение схемы сжатия MPEG2 позволяет назначать количество кодирования (скорость передачи битов) 4-8 Мбит/с, если, например, изображение представляет собой изображение, полученное с чересстрочной разверткой со стандартным разрешением, имеющим 720×480 пикселей. Кроме того, использование схемы сжатия MPEG2 обеспечивает назначение количества кодирования (скорости передачи битов) 18-22 Мбит/с, если, например, изображение представляет собой изображение, сканированное с чересстрочной разверткой с высоким разрешением, имеющим 1920×1088 пикселей. Благодаря такому средству, становится возможным реализовать высокую степень сжатия и получить предпочтительное качество изображения.

В то время как MPEG2 предназначен для кодирования с высоким качеством изображения, в основном, адаптированным для широковещательной передачи данных, MPEG2 не поддерживает схему кодирования с более низким количеством кода (скоростью передачи битов), то есть с более высокой степенью сжатия, чем MPEG1. Ожидается, что в будущем все больше будет требоваться такая схема кодирования в соответствии с распространением мобильного терминала, и схема кодирования MPEG4 стандартизована для решения этой задачи. Стандарт в соответствии с этой схемой кодирования изображения был одобрен в качестве международного стандарта ISO/IEC 14496-2 в декабре 1998 г.

Кроме того, в последние годы была продолжена первоначально задуманная с целью кодирования изображения для телеконференции стандартизация H.26L (Международный союз электросвязи, Сектор стандартизации (ITU-T)) Q6/16 VCEG (Группа экспертов кодирования видеоданных)). Известно, что, в то время как H.26L требует большего количества операций для кодирования и декодирования, чем схемы кодирования в предшествующем уровне техники, такие как MPEG2 и MPEG4, H.26L позволяет реализовать более высокую эффективность кодирования. Кроме того, в настоящее время, как часть деятельности для MPEG4, была выполнена стандартизация для реализации более высокой эффективности кодирования на основе H.26L, при введении функций, которые не поддерживаются H.26L, как объединенная модель кодирования видеоданных с расширенным сжатием.

В качестве графика для стандартизации, такая более высокая эффективность кодирования на основе H.26L прошла международную стандартизацию в марте 2003 г., как Н.264 и MPEG 4, Часть 10 (Усовершенствованное кодирование видеоданных, ниже сокращенно обозначается, как "AVC").

Кроме того, в качестве расширения Н.264/AVC, в феврале 2005 г. была завершена стандартизация инструментов кодирования, таких как RGB 4:2:2 и 4:4:4, которые требуются для профессионального использования и стандартизации расширения диапазона достоверности (FRExt), включая в себя 8×8DCT и матрицу квантования, которая была установлена в MPEG 2. Это означает, что была реализована схема кодирования, которая выполнена с возможностью предпочтительного выражения также шумов пленки, включенных в кинофильм, используя Н.264/AVC, и используется в широком диапазоне приложений, таких как Blu-RayDisc (товарный знак).

Однако в последние годы, все больше ощущается потребность в кодировании с дополнительно повышенной степенью сжатия, такой как сжатие изображения приблизительно размером 4000×2000 пикселей, что в четыре раза больше, чем у изображения высокой четкости, и распределение изображения высокой четкости в среде с ограниченной пропускной способностью для передачи, такой как Интернет. Поэтому, описанная выше VCEG в составе ITU-T продолжает исследовать улучшение эффективности кодирования.

Таким образом, с целью дальнейшего улучшения эффективности кодирования по сравнению с "AVC", Объединенная группа взаимодействия - Кодирование видеоданных (JCTVC), которая представляет собой объединенный орган по стандартизации ITU-T, и Международная организация по стандартизации/Международная электротехническая комиссия (ISO/IEC) в настоящее время продолжают стандартизацию схемы кодирования, называемой высокоэффективное кодирование видеоданных (HEVC). Что касается стандарта HEVC, проект, выдвинутый Комитетом, который представляет собой проект описания, был выработан в январе 2013 г. (см., например, Непатентную литературу 1).

Определение структуры и слоя элемента мозаичного изображения HEVC обеспечивает декодирование только области, требуемой для декодирования в приложении, используя структуру элемента мозаичного изображения (Tile). Для обозначения, что область элемента мозаичного изображения может быть независимо декодирована, во второй версии и последующих версиях HEVC (включая в себя MV-HEVC, SHVC, Range Ext. и т.п.), это поддерживается наборами SEI элемента мозаичного изображения с ограниченным движения.

DASH

В частности, в качестве технологии распределения содержания, используя протокол передачи гипертекста (HTTP), существует адаптивная динамическая потоковая передача, в соответствии со стандартом Группы экспертов движущегося изображения через HTTP (MPEG-DASH) (см., например, Непатентную литературу 2). Используя MPEG-DASH, потоки битов данных изображения, кодированные используя схему кодирования, такую как HEVC, описанную выше, распределяются после формирования в заданном формате файла, таком как, например, МР4.

Однако при распределении содержания, таком как DASH, предполагается только воспроизведение (декодирование) всего изображения, и воспроизведение (декодирование) частичного изображения, которое представляет собой часть всего изображения, вместо всего изображения, не предполагается.

Более конкретно, только значение во всем потоке или значение в единицах слоя (Layer), то есть значение для всего изображения определено, как уровень (Level), который используется в качестве ссылки для определения, может ли декодер декодировать поток и информацию, относящуюся с емкости буфера (Buffer), как в схеме кодирования, такой как HEVC, так и в формате файла, таком как МР4, и при этом отсутствует информация для воспроизведения только частичного изображения.

Поэтому, например, даже когда декодируют только частичное изображение (частичный элемент мозаичного изображения) (то есть, воспроизводят только частичное изображение), используя структуру мозаичного изображения, поддерживаемую в схеме кодирования, такую как HEVC, описанную выше, определяют, возможно или нет декодирование, предполагая нагрузку в случае, когда декодируют весь экран, что может создавать риск, что потребуется декодер с излишне высоким уровнем (Level). Кроме того, также существует риск того, что приложение, которое может быть распределено, может быть излишне ограничено.

Пример применения

Примеры применения для воспроизведения частичного изображения включают в себя, например, следующее.

Предполагается применение, в котором, в системе, в которой сервер распределяет изображение в терминал, как представлено, например, на фиг. 1, один экран разделяется на множество частей и распределяется при переключении области отображения. Кроме того, как представлено на фиг. 2, предполагается выбор частичной области, предназначенной для отображения (для распределения), для выбора соотношения размеров и разрешения изображения.

В случае варианта применения на фиг. 1, все изображение может быть разделено на множество частей в единицах элемента мозаичного изображения (Tile), и в терминале частичное изображение, включающее в себя один или множество из элементов мозаичного изображения вырезают от всего изображения и отображают. Размер частичного изображения (количество элементов мозаичного изображения), который может отображаться, определяется, например, рабочими характеристиками (способностью к обработке или размерами дисплея (разрешение дисплея)) терминала и т.п. Кроме того, местоположение частичного изображения, предназначенного для отображения во всем изображении, может быть обозначено пользователем и т.п. Поэтому, частичное изображение, как требуемое местоположение во всем изображении, может отображаться в терминале. Таким образом, пользователь терминала может фокусироваться на требуемом участке всего изображения.

В случае варианта применения, показанного на фиг. 2, в то время, как вариант применения на фиг. 2, в основном, является таким же, как и вариант применения на фиг. 1, набор мозаичного изображения установлен таким образом, что соотношение размеров или разрешение изображения, предназначенного для отображения, можно выбирать, и размер каждого элемента мозаичного изображения не является фиксированным. Аналогично случаю, показанному на фиг. 1, в терминале частичное изображение, включающее в себя один или множество элементов мозаичного изображения, вырезают из всего изображения и отображают в соответствии с инструкцией пользователя и т.п. Таким образом, только путем выбора элемента мозаичного изображения, предназначенного для отображения, возможно сделать разрешение изображения для отображения в режиме HD, сделать размер, такой, как размер кинофильма или широкоэкранный размер.

Разрешение, которое может отображаться, определяется, например, рабочей характеристикой (способностью к обработке или размерами устройства отображения (разрешение устройства отображения)) терминала и т.п.

Поскольку такое адаптивное предоставление (воспроизведение) частичного изображения, в соответствии с рабочей характеристикой терминала, обозначением пользователем и т.п., не предполагается в предшествующем уровне техники, даже когда декодируют частичное изображение, которое может быть независимо декодировано, возможно или нет декодирование определяют, предполагая нагрузку в случае, когда декодируют весь экран, что может внести риск того, что потребуется декодер с ненужным высоким уровнем (Level). Кроме того, также существует риск того, что приложение, которое может быть распределено, может быть излишне ограничено.

Предоставление информации подсказки подвыборки

Поэтому, генерируют информацию подвыборки, включающую в себя информацию подсказки, используемую в качестве ссылки для обработки декодирования подвыборки, которая представляет собой частичную область, которая может быть независимо декодирована, генерируют файл, включающий в себя кодированные данные в виде данных изображения, и сгенерированную информацию подвыборки размещают в информации управления кодированных данных в файле.

Таким образом, терминал может распознавать рабочую характеристику, требуемую для декодирования частичной области, в соответствии с информацией подвыборки (информацией подсказки) и может более точно определять, может или нет декодер терминала выполнять обработку декодирования частичной области (подвыборки). Таким образом, возможно более точно распознать рабочую характеристика, требуемую для декодирования. Поэтому, возможно выбрать декодер, который обладает рабочей характеристикой, более соответствующей данным изображения. Таким образом, становится возможным предотвратить возникновение случая, когда применяют декодер с ненужно высоким уровнем (Level) для декодирования нагрузки данных изображения. Кроме того, возможно предотвратить излишнее ограничение приложения, которое может быть распределено.

Кроме того, информацию заголовка кодированных данных (потоки битов) частичной области (подвыборки) обновляют до информации в отношении частичной области (подвыборки) из информации всего изображения. Информацию для обновления включают в файл и передают. В результате, терминал может обновлять информацию заголовка потоков битов до информации в отношении частичной области (подвыборки) и может передавать эту информацию в декодер. Поэтому, декодер может более точно определять, может ли декодер или нет декодировать потоки битов, на основе информации заголовка.

Формат схемы и файла кодирования

Пример, в котором настоящая технология применяется для случая, когда схемы кодирования и декодирования представляют собой HEVC и формат файла МР4, будет описан ниже.

Модуль доступа

В следующем описании, предполагается, что выборка МР4 представляет собой модуль доступа (AU) в HEVC. Кроме того, предполагается, что AU включает в себя множество элементов мозаичного изображения (Tile). В таблице выборки (Sample Table) выполняют администрирование в единицах выборки (Sample).

Кроме того, подвыборка представляет собой составляющий элемент выборки, и определена для каждого кодека (Codec), например, как представлено на фиг. 3. В то время, как настоящая технология может применяться, даже если подвыборка представляет собой одну из них, в следующем описании настоящая технология будет описана, используя пример, в котором элемент мозаичного изображения (Tile) представляет собой подвыборку (подвыборка на основе элемента мозаичного изображения).

Формат файла МР4

Далее будет представлен общий обзор формата файла МР4. Как представлено в левой части на фиг. 4, файл МР4 (файл МР4), который соответствует MPEG-DASH, включает в себя ftyp, moov и mdat. В moov содержится информация управления в поле таблицы выборки (Sample Table Box (stbl) для каждой выборки (например, изображения).

Кроме того, как представлено на фиг. 4, в поле таблицы выборки (Sample Table Box) предусмотрены поле описания выборки (Sample Description Box), поле времени выборки (Time То Sample Box), поле размера выборки (Sample Size Box), поле выборки в области памяти (Sample to Chunk Box), поле смещения в области памяти (Chunk Offset Box), и поле информации подвыборки (Subsample Information Box).

В поле описания выборки содержится информация, относящаяся к кодеку, размеру изображения и т.п. Например, набор параметра (набор видеопараметра (VPS (Video Parameter Set)), набор параметра последовательности (SPS (Sequence Paramter Set)), вспомогательная информация расширения (Supplemental Enhancement Information)), набор параметра изображения (PPS (Picture Parameter Set)) и т.п., для потоков битов HEVC содержится в записи конфигурации декодера HEVC (HEVC Decoder Configuration Record) для записи выборки HEVC (HEVC sample entry) в пределах поля описания выборки, в качестве информации кодека (Codec).

Кроме того, в поле время выборки содержится информация, относящаяся ко времени выборки. В поле размер выборки содержится информация, относящаяся к размеру выборки. В поле выборки в области памяти содержится информация, относящаяся к местоположению данных выборки. В поле смещения в области памяти содержится информация, относящаяся к смещению данных. В поле информации подвыборки содержится информация, относящаяся к подвыборке.

Кроме того, как представлено на фиг. 4, данные каждой выборки (изображение) HEVC содержатся в mdat, как данные AV.

Как представлено на фиг. 5, в поле времени выборки, поле размера выборки, поле выборки в области памяти и в поле смещения в области памяти содержится информация доступа к выборке, в то время как в поле информации подвыборки содержится информация доступа для подвыборки. Такая информация доступа для подвыборки включает в себя размер каждой подвыборки (Subsample Size) и дополнительная информация (Subsample additional information).

Например, как представлено на фиг. 5, когда выборка (изображение) включает в себя четыре подвыборки (tiles) в поле информации подвыборки, соответственно, содержится информация доступа к элементу 1 мозаичного изображения (Tilel) - элементу 4 мозаичного изображения (Tile4).

Пример описания поля информации подвыборки представлен на фиг. 6. Как показано на фиг. 6, описан размер каждого элемента мозаичного изображения (subsample_size), и, кроме того, описано зарезервированное поле (reserved=0), указывающее информацию о местоположении каждого элемента мозаичного изображения.

Структура мозаичного изображения

В настоящей технологии описанное выше поле таблицы выборки расширяют так, чтобы его можно было применять во всех случаях для случая, когда структура мозаичного изображения является фиксированной для всех выборок (таких как изображения), случая, когда структура мозаичного изображения является переменной во всех выборках, и случая, когда структура мозаичного изображения является фиксированной в течение заданного периода времени, такого как, например, интервал IDR (случай, когда структура мозаичного изображения является переменной в течение каждого заданного периода).

Поле информации подсказки подвыборки

Например, в поле таблицы выборки предусмотрена информация подвыборки, включающая в себя информацию подсказки, используемую, как ссылку обработки декодирования, или подвыборка, которая представляет собой частичную область, которая может быть независимо декодирована, как новое поле для поля таблицы выборки.

Пример представлен на фиг. 7. Как показано на фиг. 7, в поле таблицы выборки, вновь предусмотрено поле 11 информации подсказки подвыборки (Subsample Hint Information Box).

Поле 11 информации подсказки подвыборки представляет собой информацию подвыборки, включающую в себя информацию подсказки, используемую в качестве ссыпки для обработки декодирования подвыборки, которая представляет собой частичную область, которая может быть декодирована независимо, и представляет собой другое поле, чем поле информации подвыборки, и т.п. В результате отделения поля 11 информации подсказки подвыборки, которая представляет собой информацию для воспроизведения частичного изображения от поля информации подвыборки, которая представляет собой информацию для воспроизведения всего изображения, таким образом, все поле можно игнорировать (не ссылаться на него) при нормальном воспроизведении для отображения всего изображения, так что становится возможным облегчить управление.

Пример описания поля 11 информации подсказки подвыборки представлен в правой части на фиг. 7. Как показано в этом примере, в поле 11 информации подсказки подвыборки содержится информация, такая как тип данных подсказки (hint_data_type), величина подсчет выборки (sample_count) и данные подсказки (hint_data).

Тип данных подсказки представляет собой информацию, указывающую тип информации подсказки подвыборки, сохраненной в этом поле. Величина подсчета выборки представляет собой информацию, указывающую количество последовательных выборок, ассоциированных с этой информацией. Данные подсказки представляют собой информацию подсказки для подвыборки. Здесь содержится разная информация для каждого типа данных подсказки.

Способ расширения

Далее будет описан конкретный пример, где представлена информация подвыборки, включающая в себя информацию подсказки, используемую в качестве ссылки для обработки декодирования подвыборки, которая представляет собой частичную область, которая может быть декодирована независимо.

Пример 1

В Примере 1, поле 11 информации подсказки подвыборки, в котором содержится информация, требуемая для декодирования (decode), используется для каждой подвыборки (tile), доступ к которой может получать поле информации подвыборки, которое является расширенным и определено, как описано выше.

Информация подвыборки и информация подсказки, ассоциированы друг с другом, используя индекс-таблицу (table-index) в поле информации подвыборки.

Пример описания поля 11 информации подсказки подвыборки представлен на фиг. 8. Поле 11-1 информации подсказки подвыборки, показанное на фиг. 8, представляет собой пример описания для Примера 1.

Как представлено на фиг. 8, в поле 11-1 информации подсказки подвыборки, например, "sspf" указывающая, что информация представляет собой информацию профиля для каждой подвыборки, описана как тип данных подсказки (hint_data_type="sspf).

Кроме того, в поле 11-1 информации подсказки подвыборки, например, информация по любому примеру среди примеров, представленных в квадрате 12, описана, как информация подсказки (hint_data). Например, как в Примере (А-1), может быть описана информация, указывающая уровень профиля, требуемый для декодирования подвыборки (элемента мозаичного изображения) (то есть, уровень, указывающий степень нагрузки при обработке декодирования подвыборки) (general_lebel_idc). Кроме того, например, как в Примере (А-2), может быть дополнительно описана информация флага (independent), указывающая, может или нет быть декодирована подвыборка (tile) независимо от других подвыборок (tiles).

Пример семантики такой независимой (independent) представлен на фиг. 9.

Кроме того, например, как в Примере (В-1), может быть описана информация, которая должна быть заменена, когда последовательность набора параметра (SPS) потоков битов подвыборки (tile) обновляется (то есть, информация заголовка кодированных данных подвыборки) (nalUnitLength, nalUnit). Кроме того, например, как в Примере (В-2), может быть дополнительно описана информация флага (independent), указывающая, может ли быть или нет подвыборка (tile) декодирована независимо от других подвыборок (элементов мозаичного изображения).

Пример 2

В качестве воспроизведения (предоставления) частичного изображения, как в примерах, представленных на фиг. 1 и фиг. 2, можно представить случай с множеством нацеленных выборок. Поэтому, в то время как, в Примере 1, информация подсказки хранится для каждой подвыборки (элемента мозаичного изображения), в Примере 2, такое множество подвыборок размещено в группах, и информация, требуемая для декодирования группы, также предоставляется.

Например, в случае А на фиг. 10, только элемент 3 мозаичного изображения (Tile3) предусмотрен, как группа 14-1, среди всего изображения 13, включающего в себя элемент 1 мозаичного изображения (Tile1) - элемент 5 мозаичного изображения (Tile5). Кроме того, в случае позиции В на фиг. 10, элемент 2 мозаичного изображения (Tile2) - элемент 4 мозаичного изображения (Tile4) предусмотрены, как группа 14-2. Кроме того, в случае С на фиг. 10, все элементы мозаичного изображения всего изображении 13 (то есть, элемент 1 мозаичного изображения (Tile1) - элемент 5 мозаичного изображения (Tile5)) представлены, как группа 14-3.

Также, в Примере 2, поле 11 информации подсказки подвыборки, в котором содержится информация, требуемая для декодирования (decode), используется для каждой подвыборки (tile), доступ к которой может осуществляться полем информации подвыборки, которое расширено и определено, как описано выше.

Однако, в случае Примера 2, информацию для группирования множества подвыборок и информацию, требуемую для декодирования каждой группы элементов мозаичного изображения (информацию, которая обычно не требуется), соответственно предоставляют как поля 11 информации подсказки подвыборки. Таким образом, такие части информации сохраняют в отличающихся друг от друга полях. С помощью такого средства становится возможным обновлять последовательный набор параметров (SPS) кодированных данных группы мозаичного изображения, только используя поле, содержащее информацию, требуемую для декодирования каждой сгруппированной группы элемента мозаичного изображения.

На фиг. 11 и фиг. 12 иллюстрируются примеры описания полей 11 информации подсказки подвыборки. Поле 11-2-1 информации подсказки подвыборки, представленное на фиг. 11, представляет собой пример описания информации для группирования множества подвыборок в Примере 2.

Как представлено на фиг. 11, в поле 11-2-1 информации подсказки подвыборки, например, "ssgp", указывающая, что информация представляет собой информацию группы подвыборки, описана как тип данных подсказки (hint_data_type="ssgp").

Кроме того, в поле 11-2-1 информации подсказки подвыборки, описан индекс группы (group_index), который представляет собой информацию идентификации, указывающую группу, которой принадлежит подвыборка. Например, в случае примера на фиг. 10, информация, обозначенная в квадрате 15, описана, как индекс группы.

Поле 11-2-2 информации подсказки подвыборки, представленное на фиг. 12, представляет собой пример описания информации, требуемой для декодирования каждой группы элементов мозаичного изображения в Примере 2.

Как представлено на фиг. 12, в поле 11-2-2 информация подсказки подвыборки, например, "sgpf", указывающая, что информация представляет собой информацию, требуемую для декодирования каждой группы элемента мозаичного изображения (hint_data_type="sgpf), описана, как тип данных подсказки.

Кроме того, в поле 11-2-2 информация подсказки подвыборки, например, информация любого примера среди примеров, как представлены квадрате 12, описана, как информация подсказки (hint_data). Таким образом, в этом случае, уровень, указывающий степень нагрузки обработки декодирования группы подвыборок, и информация заголовка из кодированных данных группы подвыборок, могут быть описаны, как информация подвыборки.

Следует отметить, что вместо независимой (independent), может быть сохранен ID набора элемента мозаичного изображения с ограничением движения (идентификатор набора элемента мозаичного изображения с ограничением движения).

Пример 3

В случае Примера 2, в то время, как требуются множество полей 11 информации подсказки подвыборки, в Примере 3 эти поля соединены в одном поле. В Примере 3 поля 11 информации подсказки подвыборки представлены для каждой группы подвыборок (tiles), и таблицу индекса подвыборок формируют в полях 11 информации подсказки подвыборки.

Пример описания поля 11 информации подсказки подвыборки иллюстрируется на фиг. 13. Поле 11-3 информации подсказки подвыборки, представленное на фиг. 13, представляет собой пример описания по Примеру 3.

Как представлено на фиг. 13, в поле 11-3 информации подсказки подвыборки, например, "sgpf, указывающая, что информация представляет собой информацию профиля для каждой группы подвыборок, описана, как тип данных подсказки (hint_data_type="sgpf).

Кроме того, в поле 11-3 информации подсказки подвыборки, например, любой пример среди примеров, представленных в квадрате 12, описан как информация подсказки (hint_data).

Кроме того, в поле 11-3 информации подсказки подвыборки описан индекс подвыборки (subsample_index), который представляет собой информацию идентификации, указывающую подвыборку, принадлежащую группе. Например, в случае примера на фиг. 10, информация, как обозначено в квадрате 16, описана, как этот индекс подвыборки.

Следует отметить, что величина подсчета записи (entry_count) обозначает, какое количество раз происходило изменение информации подсказки в пределах последовательности, и величина выборки (sample_count) обозначает, в течение какого периода времени выборок (изображений) продолжается одна и та же информация подсказки.

Таким образом, в поле 11-3 информации подсказки подвыборки информация идентификации подвыборки, принадлежащей группе, и информации подсказки группы может быть включена, как информация подвыборки. Кроме того, в качестве информации подсказки группы может быть включен уровень, указывающий степень нагрузки при обработке декодирования группы или информации заголовка кодированных данных группы.

Расширение поля описания группы выборки и поля выборки для группы В то время, как в представленном выше описании был описан пример, в котором предоставляется поле 11 информации подсказки выборки, настоящая технология, в которой информация подвыборки, включающая в себя информацию подсказки, используемую, как ссылка для обработки декодирования подвыборки, которая представляет собой частичную область, которая может быть независимо декодирована, включена в файл, не ограничена этим способом. Например, путем расширения поля описания группы выборки и поля выборки для группы в формате файла МР4, информация подвыборки, включающая в себя информацию подсказки, используемую в качестве ссылки на обработку декодирования подвыборки, которая представляет собой частичную область, которая может быть независимо декодирована, может быть включена в файл.

Как представлено на фиг. 14, в поле таблицы выборки файла МР4 может быть предоставлено поле 21 описания группы выборки (Sample Group Description Box) и поле 22 выборки для группы (Sample То Group Box).

Как представлено на фиг. 15, в поле 21 описания группы выборки, в качестве записи 23 группы визуальной выборки (VisualSampleGroupEntry), хранится другая информация, чем основная информации таблицы выборки, такая как информация, относящаяся к кодеку (codec) и информация доступа.

В примере для поля 22 выборки для группы сохранена информация, ассоциирующая запись 23 группы визуальной выборки с соответствующими выборками.

Это означает, что возможно поместить информацию, которая была бы избыточной, если бы она была описана для каждой выборки, в одну, таким образом, что становится возможным уменьшить количество информации.

Пример 4

В Примере 4, информация подвыборки, включающая в себя информацию подсказки, используемую как ссылка для обработки декодирования подвыборки, которая представляет собой частичную область, которая может быть независимо декодирована, включена в файл, используя это поле 21 описания группы выборки и поле 22 выборки для группы.

Пример показан на фиг. 16. Поле 11-4 информации подсказки подвыборки, показанное на фиг. 16, представляет собой пример описания по Примеру 3. В Примере 4, среди такого описания, тип данных подсказки и информация, заключенная в квадрат с нижней стороны, включающая в себя данные подсказки, сохранены в поле 21 описания группы выборки, в качестве записи 23 в группу визуальной выборки. Кроме того, среди поля 11-4 информации подсказки подвыборки, информация, заключенная в квадрат с верхней стороны, включающая в себя величину подсчета, сохранена в поле 22 выборки для группы, как информация, ассоциирующая запись 23 группы визуальной выборки с выборками.

Таким образом, в случае такого примера, возможно выполнить ссылку на индекс из поля 22 выборки в группу путем сохранения только структуры, которая должна использоваться. Кроме того, возможно сжать таблицу с данными подсказки, таким образом, что становится возможным уменьшить количество информации.

Следует отметить, что, в то время как в представленном выше описании был описан случай, когда способ по Примеру 4 применяется к информации поля информации подсказки подвыборки по Примеру 3, способ по Примеру 4 может также применяться для информации поля информации подсказки подвыборки по Примеру 1 и Примеру 2. Таким образом, информация поля информации подсказки подвыборки, описанная в Примере 1 и в Примере 2, также может быть сохранена в поле 21 описания группы выборки, и в поле 22 выборки для группы аналогично случаю, представленному в Примере 3, описанном выше.

Пример 1 записи

Запись 23-1 группы визуальной выборки по фиг. 17 обозначает пример записи 23 группы визуальной выборки, расширенной для сохранения информации профиля для подвыборки (Запись SubSamleProfilelnformation продолжает VisualSampleGroupEntry ('sspi')), в случае, когда запись составлена аналогичным образом для группы в примере на фиг. 10. В этой записи группы визуальной выборки информация подсказки (hint_data) и информация идентификации группы, которой соответствует запись (GroupID), установлена для каждой записи. В этом случае, как представлено на фиг. 17, например, информация о любом примере среди таких примеров, как представлен в квадрате 12, описана, как эта информация подсказки (hint_data).

Кроме того, в этом случае, индекс подвыборки, который представляет собой информацию идентификации подвыборки (tile), принадлежащей каждой записи, представлен в виде списка, как в примере внутри квадрата 31.

Пример 2 записи

Пример записей, отличных от представленных на фиг. 10, представлен на фиг. 18. В случае примера на фиг. 18 подвыборки (tiles), соответственно, устанавливают, как записи (группы). Таким образом, в случае, показанном в позиции А на фиг. 18, элемент 1 мозаичного изображения (Tile1) предусмотрен как запись 14-4, в случае В на фиг. 18, элемент 2 мозаичного изображения (Tile2) предусмотрен, как запись 14-5, и в случае С на фиг. 18, элемент 3 мозаичного изображения (Tile3) предусмотрен, как запись 14-6. Хотя это и нее показано, обычным образом, элемент 4 мозаичного изображения (Tile4) и элемент 5 мозаичного изображения (Tile5), соответственно представлены, как разные записи.

Как в примере на фиг. 18, когда множество подвыборок (элементов мозаичного изображения) не сформированы в группу, другими словами, когда подвыборки (tiles), соответственно, установлены как записи, запись 23 группы визуальной выборки, расширенная так, что она содержит информацию профиля подвыборки (SubSampleaProfilelnforamtionEntry продолжает VisualSampleGroupEntry' ('sspi')), является такой, как представлено в примере на фиг. 19.

В этом случае, как и в случае записи 23-2 группы визуальной выборки на фиг. 19, например, информация любого примера среди примеров, представленных в квадрате 12, описана как информация подсказки (hint_data) для каждой записи. Кроме того, индекс подвыборки, который представляет собой информацию идентификации подвыборки (tile), принадлежащую каждой записи, представлен, как и в примере, в квадрате 32. Таким образом, в этом случае, один индекс подвыборки назначают для каждой записи.

Другой пример записи группы визуальной выборки

В то время, как в представленном выше описании был описан случай, в котором, как и в записи 23-2 группы визуальной выборки на фиг. 20, индекс подвыборки (subsample_index) включен в запись группы визуальной выборки, например, также возможно сохранять информацию флага (independent), указывающую, что подвыборка (tile) может быть декодирована независимо от других подвыборок (элементов мозаичного изображения), или такую информацию, как зарезервированное поле (reserved=0) вместе с индексом подвыборки для каждой подвыборки, как описано ниже.

Таким образом, поскольку возможно знать зависимость каждой подвыборки, информация может использоваться, как вспомогательная информация для системы, для выполнения параллельного декодирования и т.п.

Кроме того, в то время как, в представленном выше описании был описан случай, в котором, в качестве записи 23-2 группы визуальной выборки на фиг. 20 описана информация любого примера среди примеров, представленных в пределах квадрата 12, в качестве информации подсказки (hint_data), также возможно дополнительно описать другую информацию подсказки. Например, также возможно сохранять информацию, относящуюся к размеру сгруппированных подвыборок (tiles), такую как ширина ((Width) и высота (height), или сохранять информацию, относящуюся к местоположению сгруппированных подвыборок (tiles), такую как смещение в горизонтальном направлении (H_offset) и смещение в вертикальном направлении (V_offset).

Путем сохранения такой информации, система может легко получать информацию размера сгруппированных подвыборок без расчета информации из поля информации подвыборки (subsample information box).

Кроме того, также возможно описать mcts_id, который представляет собой информацию для идентификации частичной области, которая может быть независимо декодирована в потоках битов HEVC, как информация подсказки (hint_data).

В MCTS SEI (Вспомогательная информация расширения набора мозаичного изображения с ограниченным движением) HEVC, частичная область, которая может быть независимо декодирована, установлена для каждого прямоугольного набора. Например, когда предполагается, что заштрихованная область в верхней левой части в позиции А на фиг. 21 представляет собой частичную область, которая может быть декодирована независимо, частичную область устанавливают для каждого набора, как представлено в позиции В на фиг. 21 в MCTS SEI. Следует отметить, что как в примере, показанном в позиции С на фиг. 21, на элементы мозаичного изображения, включенные в набор, могут накладываться элементы мозаичного изображения в других наборах. Количество пикселей в частичной области может быть рассчитано из количества пикселей каждого набора, как представлено, например, в примере, в позиции D на фиг. 21.

Пример синтаксиса MCTS SEI поясняется на фиг. 22. Как показано на фиг. 22, соответствующую информацию идентификации (mcts_id) назначают для частичной области, как представлено на фиг. 21. Путем описания такой информации идентификации (mcts_id), как информации подсказки (hint_data), возможно легко ассоциировать частичную область HEVC с подвыборками в формате файла МР4, таким образом, что возможно легко обновить (например, заменить) информацию заголовка, например, набора параметра последовательности (SPS) в системе.

Пример 5

Таким образом, в случае Примера 4, был описан случай, когда запись группы визуальной выборки расширена, и подвыборка, принадлежащая каждой записи, описана, используя индекс подвыборки. В этом случае, информация поля информации подвыборки используется, как информация доступа для элемента мозаичного изображения в выборке. Таким образом, в таком случае, необходимо интерпретировать значение подвыборки на уровне, в котором должен быть проанализирован файл МР4.

В Примере 5 будет предложен способ, как способ для доступа к элементам мозаичного изображения в пределах выборки, который может представлять собой замену такого способа. Таким образом, вместо поля информации подвыборки, конфигурация модуля NAL (модуль NAL) из потоков битов, составляющих выборку, описана в записи группы визуальной выборки (запись группы Map). Например, запись группы визуальной выборки расширена, и модули NAL потоков битов HEVC сгруппированы (HEVCNALUUMapGroupEntry).

Когда модули NAL сгруппированы таким образом, становится возможным поддерживать сгруппированные модули NAL в таком же потоке обработки на уровне, в котором должен быть проанализирован файл МР4, независимо от значения группирования.

Пример поясняется на фиг. 23. Например, как представлено на фиг. 23, подготавливают запись группы визуальной выборки, в которой должны быть отображены модули NAL, в пределах выборки (например, сгруппированы для каждого элемента мозаичного изображения), и, например, в записи группы визуальной выборки, в которой содержится информация, соответствующая видеоданным, такая как информация подсказки, обращаются к записи группы визуальной выборки, в которой должны быть отображены модули NAL в пределах выборки.

Записи группы визуальной выборки ассоциированы друг с другом, используя информацию идентификации группы (GroupID). Следует отметить, что, когда все структуры отображения модулей NAL являются одинаковыми, поле выборка для группы не требуется.

Пример синтаксиса записи группы визуальной выборки (HEVCNALUMapGroupEntry О расширяет VisualSampleGroupEntry ('hcnm')), в котором отображаются модули NAL в выборке, представлен в верхней левой части фиг. 24. Как показано на фиг. 24, в этой записи группы визуальной выборки установлена информация идентификации группы (GroupID), которой принадлежит каждый модуль NAL (модуль NAL).

Например, как представлено в нижней левой части на фиг. 24, существуют пять подвыборок (элементов мозаичного изображения (Tile)) в пределах выборки, и каждая подвыборка состоит с двух модулей NAL. В этом случае ассоциация между модулем NAL и GroupID (структурой отображения модуля NAL) является такой, как в примере, представленном с правой стороны на фиг. 24. Поэтому, выборка состоит из 10 модулей NAL. NALU_count синтаксиса записи группы визуальной выборки (HEVCNALUMapGroupEntry() расширяет VisualSampleGroupEntry('hcnm')), представленного в верхней левой части на фиг. 24, обозначает количество NAL_unit. Кроме того, как показано в нижней левой части на фиг. 24, возможно определить, с которого NAL_unit начинается каждый элемент мозаичного изображения (Tile). В этом примере Tile1 начинается с NAL1, Tile2 начинается от NAL3, Tile3 начинается с NAL5, Tile4 начинается с NAL7 и Tile5 начинается с NAL9. Также возможно определить такую информацию, указывающую, с какого NAL_unit начинается каждый элемент мозаичного изображения, как синтаксис записи группы визуальной выборки (HEVCNALUMapGroupEntry() расширяет VisualSampleGroupEntry('hcnm')), показанной в верхней левой части на фиг. 24.

Пример записи группы визуальной выборки (SubSampleProfilelnformationEntry расширяет VisualSampleGroupEntry('sspi')), описанной в Примере 4, в котором содержится информация профиля подвыборки, представлен на фиг. 25. В этом примере записи группы визуальной выборки, информация подсказки (hint_data) и информация идентификации группы (GroupID), соответствующая записи, установлены для каждой записи.

Как представлено на фиг. 25, в качестве такой информации подсказки (hint_data), например, установлена информация любого примера среди примеров, как представлено в квадрате 12, как описано в Примере 1 - Примере 4.

Однако на фиг. 25, как представлено в квадрате 12, в качестве информации подсказки, Пример (С) добавлен в дополнение к Примерам (А-1), (А-2), (В-1) и (В-2). Здесь содержится информация, относящаяся к местоположению сгруппированных подвыборок (tiles), таких как смещение в горизонтальном направлении (H_offset) и смещение в вертикальном направлении (V_offset). Кроме того, сохраняют информацию, относящуюся к размеру сгруппированных подвыборок (tiles), таких как ширина ((Width) и высота (height). Эта информация является такой же, как и информация подсказки, описанная со ссылкой на фиг. 20.

Кроме того, в информации идентификации группы (GroupID), описана любая из информации идентификации группы (GroupID), используемой для отображения модулей NAL, установлена в записи группы визуальной выборки (HEVCNALUMapGroupEntry() расширяет VisualSampleGroupEntry('hcnm')), в которой отображены модули NAL в пределах выборки, используя пример на фиг. 24. Таким образом, эта информация идентификации группы (GroupID) обозначает группу элементов мозаичного изображения, как в примере на фиг. 10.

Следует отметить, что, как в примере на фиг. 18, также, когда множество подвыборок (tiles) не сгруппированы, информация, аналогичная представленной в примере фиг. 25, установлена, как в примере, показанном на фиг. 26 в записи группы визуальной выборки, в которой содержится информация профиля подвыборки (SubSampleProfilelnformationEntry расширяет VisualSampleGroupEntry('sspi')). В этом случае, информация идентификации группы (GroupID) обозначает каждый элемент мозаичного изображения.

В результате расширения записи группы визуальной выборки, как описано выше, и установки конфигурации модуля NAL, когда модули NAL сгруппированы, возможно поддерживать сгруппированные модули NAL в том же потоке обработки на уровне, в котором выполняют анализ файла МР4, независимо от значения группирования.

Следует отметить, что поле BOX, в котором группа GROUP по MAP GROUP сформирована в TILE GROUP, может быть определено как поле BOX, отличное от SSPI (информация профиля подвыборки). Таким образом, информация идентификации группы (GroupID) по HEVCNALMapEntry, соответствующему каждой записи, может быть определена в записи группы визуальной выборки, расширенной таким образом, чтобы сохранять запись отображения группы элемента мозаичного изображения (TileGroupMapEntry расширяет VisualSampleGroupEntry('tgpm')), который представляет собой другое поле, чем запись группы визуальной выборки (SubSampleProfilelnformationEntry расширяет VisualSampIeGroupEntry('sspi')), в которой содержится информация профиля подвыборок, определяющих информацию подсказки (hint_data), соответствующая записи.

В случае примера на фиг. 25, синтаксис TGPM может быть, например, установлен следующим образом:

При таком синтаксисе, в случае примера, показанного на фиг. 25, GroupID назначают для TileGroupID следующим образом.

Синтаксис SSPI может быть, например, установлен следующим образом, как поле, отличное от этого поля.

Следует отметить, что содержание информации подсказки (hint_data) в данном случае является таким же, как и в описанных выше примерах (установлена информация по любому примеру среди примеров, представленных в квадрате 12).

Таким образом, путем группирования GroupID в поле, отличном от поля sspi, определяющем информацию подсказки и т.п., возможно уменьшить зависимость группирования от другой информации, таким образом, что группирование может быть выполнено независимо от другой информации. Поэтому, возможно реализовать более универсальное (гибкое) группирование, и использовать группу для GroupID (TileGroupID) с более разносторонним назначением использования. Например, возможно легко реализовать иерархически упорядоченное и не иерархически упорядоченное определение groupID, без необходимости учета конфигурации другой информации, такой как информация подсказки.

Кроме того, в то время как пример определения флага (flag) подвыборок был описан со ссылкой на фиг. 3, в случае Примера 5, описанного выше, могут быть дополнительно определены непрерывно следующие модули NAL, сгруппированные записью группы отображения HEVC NAL. Например, как описано ниже, при flag=5, непрерывно следующие модули NAL, сгруппированные по записи отображения HEVC NAL, могут быть дополнительно определены, как подвыборка.

Подвыборки на основе модуля 5:0:NAL. Подвыборка содержит один или больше непрерывных модулей NAL. Подвыборка отображается на GroupID, сгруппированному по записи группы отображения HEVC NAL.

Таким образом, становится возможным реализовать доступ к байтам для произвольной группы на основе модулей NAL.

2. Второй вариант осуществления

Файл МР4 (1)

Пример файла МР4 будет описан ниже. На фиг. 27 показана схема для пояснения примера конфигурации файла МР4 для элемента мозаичного изображения. Этот файл МР4 получают путем формирования потоков битов, имеющих структуру элемента мозаичного изображения (Tile) в один файл. Как представлено на фиг. 27, такой файл МР4 имеет пять треков от Track 1 до Track5.

Track 1 имеет запись выборки HEVC (запись выборки HEVC) в пределах поля описания выборки, и его тип кодека представляет собой hvc1, указывающий, что потоки битов представляют собой нормальные потоки битов HEVC. Такая запись выборки (Sample Entry) имеет запись конфигурации декодера HEVC (HEVC Decoder Configuration Record) (поле hvcC), в которой содержится информация конфигурации, требуемая для декодирования HEVC. Информация заголовка, такая как набор видеопараметра (Video Parameter Set (VPS)), набор параметра последовательности (Sequence Parameter Set (SPS)) и набор параметра изображения (Picture Parameter Set (PPS)) также сохранена в этом поле hvcC. SEI может быть произвольно сохранен в этом поле hvcC.

Track 1 имеет экстрактор (экстрактор) от Track2 по Track5 для ссылки на элемент мозаичного изображения (срез) каждого из от track2 по track5. Экстрактор (extractor) Track2 относится к срезу (Tile1) Track2, и экстрактор (extractor) Track3 относится к срезу (Tile2) для Track3. Аналогичным образом, экстрактор (extractor) Track4 относится к срезу (Tile3) Track4, и экстрактор (extractor) Track5 относится к срезу (Tile4) для Track5.

В track2 - track5 содержится срез, который представляет собой фактические данные каждого от Tile1 по Tile4. Дополнительно, в то время как от track2 по track5 имеют записи выборки (Sample Entry), поскольку только элемент мозаичного изображения HEVC был сохранен (независимо), тип кодека устанавливается, как hvt1. Записи выборки (Sample Entry) от track2 по track5 имеют запись конфигурации декодера HEVC (HEVC Decoder Configuration Record) (поле hvtC), требуемую для декодирования только элемента мозаичного изображения HEVC. Следует отметить, что также возможно сохранять сгруппированные элементы мозаичного изображения (Tile) в одном треке.

От track2 до track5 также имеют записи группы области (TileRegionGroupEntry) элемента мозаичного изображения. В этих записях группы области (TileRegionGroupEntry) элемента мозаичного изображения от track2 по track5, определены значения пяти параметров, включающие в себя GroupID, которые представляют собой информацию идентификации для идентификации каждого элемента мозаичного изображения, H_offset, указывающий местоположение (смещение) в горизонтальном направлении элемента мозаичного изображения, V_offset, указывающий местоположение (смещение) в вертикальном направлении элемента мозаичного изображения, H_width, указывающий размер (ширину) в горизонтальном направлении элемента мозаичного изображения, и V_height, указывающий размер (высоту) в вертикальном направлении элемента мозаичного изображения. Кроме того, они могут быть определены для сгруппированных элементов мозаичного изображения (Tile).

Например, в записи группы области элемента мозаичного изображения (TileRegionGroupEntry) для Track2 (элемент 1 мозаичного изображения (Tile1)), определены GroupID=1, H_offset=0, V_offset=0, H_width=960 и V_height=540. Кроме того, например, в записи группы области элемента мозаичного изображения (TileRegionGroupEntry) для Track3 (элемент 2 мозаичного изображения (Tile2)), определены GroupID=2, H_offset=960, V_offset=0, H_width=960 и V_height=540. Кроме того, например, в записи группы области элемента мозаичного изображения (TileRegionGroupEntry) для Track4 (элемент 3 мозаичного изображения (Tile3)), определены GroupID=3, H_offset=0, V_offset=540, H_width=960 и V_height=540. Кроме того, например, в записи группы области элемента мозаичного изображения (TileRegionGroupEntry) для Track5 (элемент 4 мозаичного изображения (Tile4)), определены GroupID=4, H_offset=960, V_offset=540, H_width=960 и V_height=540. В этом случае, все изображение (1920×1080) включает в себя четыре элемента мозаичного изображения (960×540), включающие в себя два элемента мозаичного изображения в вертикальном направлении и два элемента мозаичного изображения в горизонтальном направлении.

Кроме того, в от track2 до tracks, "prnt=1" определен, как ссылка на Track (Track Reference). Это обозначает, что эти от track2 по track5 относятся к Track 1. Таким образом, когда любой (любой элемент мозаичного изображения) от Track2 по Track5 воспроизводят, используя эту ссылку на Track, и выполняют ссылку на информацию Track 1 (такую, как набор параметра).

Синтаксис записи конфигурации декодера элемента мозаичного изображения HEVC Основной синтаксис записи конфигурации декодера HEVC (HEVC Decoder Configuration Record) (поле hvtC), в котором содержится информация конфигурации, требуемая для декодирования только элемента мозаичного изображения HEVC для записи выборки (Sample Entry) на фиг. 27, установлен следующим образом.

Пример 1 синтаксиса HEVCTileDecoderConfigurationRecord

Конкретный пример синтаксиса HEVCTileDecoderConfigurationRecord будет описан ниже. На фиг. 28 показана схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC. Запись конфигурации декодера элемента мозаичного изображения HEVC в Примере 1 составлена, как показано на фиг. 28. Версия конфигурации mcts_tier_flag и mcts_level_idc добавлены в качестве расширения.

configurationVersion обозначает версию записи конфигурации декодера элемента мозаичного изображения HEVC. В HEVC, два типа профилей уровня, имеющая разные скорости передачи битов, определены для одного размера изображения. Таким образом, эти два типа представляют собой основной уровень и высокий уровень. mcts_tier_flag представляет собой флаг, указывающий, какой из уровня представляет собой данный уровень. mcts_level_idc представляет собой уровень, указывающий степень загрузки обработки декодирования частичной области в качестве информации определения загрузки декодирования, которая определяет степень загрузки обработки декодирования частичной области, которая может быть независимо декодирована во временном MCTS SEI (Вспомогательная информация расширения набора элемента мозаичного изображения с временным ограничением движения).

Здесь SEI набора элемента мозаичного изображения с временным ограничением движения (temporal_motion_constrained_tile_sets SEI) будет описан ниже. На фиг. 29 показана схема, иллюстрирующая пример синтаксиса временного MCTS SEI. В синтаксисе временного MCTS SEI, представленном на фиг. 29, содержится различная информация, включающая в себя mcts_tier_flag, mcts_level_idc, max_mcts_tier_flag и max_mcts_level_id.

Следует отметить, что временный MCTS SEI, по существу, является таким же, как MCTS SEI, за исключением наименования. Кроме того, mcts_level_idc на фиг. 28 и фиг. 29 являются, по существу, такими же, как и generals_level_idc, представленный в квадрате 12 на фиг. 8, фиг. 12, фиг. 13, фиг. 17, фиг. 19, фиг. 20, фиг. 25, фиг. 26 и т.п., за исключением наименования.

В примере на фиг. 28, среди параметров, имеющих такую же структуру данных, как и у записи конфигурации decodec HEVC, и сохраненных в temporal_motion_contrained_tile_sets SEI, установлены только параметры, требуемые для определения декодирования элемента мозаичного изображения HEVC, то есть, mcts_tier_flag и mcts_level_idc. В HEVCTileDecoderCorifigurationRecord на фиг. 28, ноль установлен для других элементов, поскольку другие элементы не требуются. В качестве альтернативы, установлено то же значение, что и у записи конфигурации декодера HEVC.

Таким образом, в этом Примере 1, ничего, по существу, не содержится в numOfArrays.

Пример 2 синтаксиса HEVCTileDecoderCorifigurationRecord

На фиг. 30 показана схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC. Запись конфигурации декодера элемента мозаичного изображения HEVC по Примеру 2 составлена так, как представлено на фиг. 30.

Пример 2 на фиг. 30, в основном, имеет такую же конфигурацию, как и у Примера 1 на фиг. 28, за исключением того, что, в то время как в Примере 1, по существу, ничего не содержится в numOfArrays, в Примере 2, temporal_motion_constrained_tile_sets SEI, соответствующий HEVC tile, содержится в numOfArrays.

Пример 3 синтаксиса HEVCTileDecoderConfigurationRecord

На фиг. 31 показана схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC. Запись конфигурации декодера элемента мозаичного изображения HEVC по Примеру 3 составлена так, как представлено на фиг. 31.

Как представлено на фиг. 31, в Примере 3, в отличие от примеров, показанных на фиг. 28 и фиг. 30, вместо расширенной записи конфигурации декодера элемента мозаичного изображения HEVC уникально установлена структура записи конфигурации декодера элемента мозаичного изображения HEVC. Таким образом, в Примере 3, в дополнение к configurationVersion, среди параметров, сохраненных в temporal_motion_constrained_tile_sets SEI, сохранены только mcts_tier_flag и mcts_Ievel_idc, которые представляют собой параметры, требуемые для определения декодирования элемента мозаичного изображения HEVC.

Пример 4 синтаксиса HEVCTileDecoderConfigurationRecord

На фиг. 32 показана схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC. Запись конфигурации декодера элемента мозаичного изображения HEVC по Примеру 4 составлена так, как представлено на фиг. 32.

Как показано на фиг. 32, в Примере 4, в дополнение к configurationVersion, сохранены только mcts_tier_flag, mcts_level_idc, max_mcts_tier_flag и max_mcts_level_id, как параметры, требуемые для определения декодирования элемента мозаичного изображения HEVC, сохраненного в temporal_motion_constrained_tile_sets SEI. max_mcts_tier_flag и max_mcts_level_id, которые, соответственно, обозначают максимальные значения mcts_tier_flag и mcts_level_idc, представляют собой информацию профиля, требуемую для воспроизведения других элементов мозаичного изображения. Таким образом, существует информация для максимального элемента мозаичного изображения во всем потоке. В примере, показанном на фиг.36, который будет описан ниже, это сохранено в другом поле (поле hvte).

Когда размер элемента мозаичного изображения отличается в случае, когда существует множество элементов мозаичного изображения в том же потоке, возникает случай, когда mcts_tier_flag и mcts_level_idc, требуемые для каждого элемента мозаичного изображения, отличаются друг от друга. В этом случае, max_mcts_tier_flag и max_mcts_level_idc, которые представляют собой максимальные значения, сохраняют с mcts_tier_flag и mcts_level_idc для каждого элемента мозаичного изображения, и используются, как информация подсказки обработки декодирования.

Пример 5 синтаксиса HEVCTileDecoderCorifigurationRecord

На фиг. 33 показана схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC. Запись конфигурации декодера элемента мозаичного изображения HEVC в Примере 5 составлена так, как представлено на фиг. 33.

Как показано на фиг. 33, в Примере 5, temporal_motion_constrained_tile_sets SEI, соответствующий элементу мозаичного изображения HEVC, требуемому для определения декодирования элемента мозаичного изображения HEVC, содержится в nalUnit. Поэтому, в NAL_unit_type содержится тип NALunit, указывающий, что тип представляет собой SEI.

Пример 6 синтаксиса HEVCTileDecoderConfigurationRecord

На фиг. 34 показана схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC. Запись конфигурации декодера элемента мозаичного изображения HEVC по Примеру 6 составлена так, как представлено на фиг. 34.

Как показано на фиг. 34, Пример 6 имеет конфигурацию, в которой объединены Пример 3 на фиг. 31 и Пример 5 на фиг. 33. Таким образом, объединены часть от ряда configuration Version до ряда mcts_level_idc в Примере 3 и часть в ряду lengthSizeMinusOne, и после этого, в Примере 5. Другими словами, в дополнение к configurationVersion, сохранены mcts_tier_flag и mcts_level_idc, которые представляют собой параметры, требуемые для определения декодирования элемента мозаичного изображения HEVC, сохраненного в temporal_motion_constrained_tile_sets, SEI, и temporal_motion_constrained_tile_sets SEI, соответствующий элементу мозаичного изображения HEVC, требуемому для определения декодирования элемента мозаичного изображения HEVC.

Пример 7 синтаксиса HEVCTileDecoderConfigurationRecord

На фиг. 35 показана схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC. Запись конфигурации декодера элемента мозаичного изображения HEVC по Примеру 7 составлена так, как представлено на фиг. 35.

Как показано на фиг. 35, Пример 7 имеет конфигурацию, в которой объединены Пример 4 на фиг. 32 и Пример 5 на фиг. 33. Таким образом, объединены часть от ряда configurationVersion до ряда max_mcts_level_idc в Примере 4 и часть в ряду lengthSizeMinusOne, и после того в Примере 5. Другими словами, в дополнение к configurationVersion, сохранены mcts_tier_flag, mcts_level_idc, max_mcts_tier_flag и max_mcts_level_id, которые представляют собой параметры, требуемые для определения декодирования элемента мозаичного изображения HEVC, сохраненного в temporal_motion_constrained_tile_sets, SEI и temporal_motion_constrained_tile_sets SEI, соответствующего элементу мозаичного изображения HEVC, требуемому для определения декодирования элемента мозаичного изображения HEVC.

Файл МР4 (2)

На фиг. 36 показана схема для пояснения примера структуры файла МР4 для элемента мозаичного изображения, которое отличается от фиг. 27. Файл МР4 на фиг. 36, в основном, имеет такую же структуру, как и файл МР4 на фиг. 27, в то время как файл МР4 на фиг. 36 отличается от файла МР4 на фиг. 27 тем, что запись выборки Track 1 имеет поле hvte, в дополнение к hvcCbox.

В файле МР4 на фиг. 36, max_mcts_tier_flag и max_mcts_level_id, которые представляют собой информацию для максимального элемента мозаичного изображения во всем потоке, описанном на фиг. 32, содержатся в поле hvte Track1, который представляет собой основной Track.

На фиг. 37 показана схема для пояснения поля расширения элемента мозаичного изображения HEVC. На фиг. 37 обозначено расширение записи группы визуальной выборки для записи выборки Trackl на фиг. 36, и в дополнение к HEVCConfigurationBox (поле hvcC) добавлено поле HEVCTileExtensionBox 0 (поле hvte). В позиции В на фиг. 37 обозначен синтаксис HEVCTileExtensionBox 0. Как представлено в позиции В на фиг. 37, содержатся max_mcts_tier_flag и max_mcts_level_id.

Поскольку max_mcts_tier_flag и max_mcts_level_id представляют собой информацию для максимального элемента мозаичного изображения во всем потоке, max_mcts_tier_flag, и max_mcts_level_id не содержатся в трек элемента мозаичного изображения (Track2 к Track5) элемента мозаичного изображения и содержится в Track1, который представляет собой основной Track. Это означает, что можно легко получить максимальное значение, требуемое для независимого декодирования произвольного элемента мозаичного изображения.

Файл (3) МР4

На фиг. 38 показана схема для пояснения примера структуры файла МР4 изображения элемента мозаичного изображения. Файл МР4 на фиг. 38 имеет, в основном, такую же структуру, как и у файла МР4 на фиг. 27, за исключением того, что, в то время, как в файле МР4 на фиг. 27, информация конфигурации, требуемая для декодирования только элемента мозаичного изображения HEVC, содержится в hvtCbox записи выборки для от Track2 до Track5, в файле МР4 на фиг. 38, в hvtCbox содержится не только temporal_motion_constrained_tile_sets SEI, но также и VPS, SPS и PPS, требуемые для декодирования только элемента мозаичного изображения HEVC, дополнительно содержатся в hvtCbox, как в примерах, представленных на фиг. 30, фиг. 33, фиг. 34 и фиг. 35.

Это означает, когда воспроизводят любой из Tile2-Tile5, нет необходимости обращаться к информации Track1, которая представляет собой основной трек, для получения его набора параметра.

3. Третий вариант осуществления

Устройство кодирования изображения

Устройство для воплощения настоящей технологии, как описано выше, и его способ будут описаны ниже. На фиг. 39 показана схема, иллюстрирующая изображение устройства кодирования, которое представляет собой один аспект устройства обработки изображений, в котором применяется настоящая технология. Устройство 100 кодирования изображения, представленное на фиг. 39, представляет собой устройство для кодирования входных данных изображения, используя схему кодирования HEVC, и формирования файла, используя формат файла МР4.

Как представлено на фиг. 39, устройство 100 кодирования изображения имеет модуль 101 кодирования изображения, модуль 102 генерирования информации подвыборки и модуль 103 генерирования файла МР4.

Модуль 101 кодирования изображения разделяет все изображение входных данных изображения на частичные изображения, называемые элементами мозаичного изображения (Tile), устанавливает каждый элемент мозаичного изображения, как элемент мозаичного изображения (Tile), поддерживаемый схемой кодирования HEVC, и кодирует данные изображения всего изображения для каждого элемента мозаичного изображения. Таким образом, генерируются потоки битов (потоки битов HEVC) в схеме кодирования HEVC, которые могут быть независимо декодированы для каждого элемента мозаичного изображения.

Модуль 101 кодирования изображения подает полученные потоки битов HEVC в модуль 103 генерирования файла МР4. Кроме того, модуль 101 кодирования изображения подает информацию элемента мозаичного изображения (Tile), относящуюся к тому, как разделяют все изображение, и информацию профиля каждого элемента мозаичного изображения в модуль 102 генерирования информации подвыборки.

Модуль 102 генерирования информации подвыборки генерирует информацию подвыборки (расширенную информацию подвыборки), используя информацию элемента мозаичного изображения и информацию профиля, подаваемую из модуля 101 кодирования изображения, информацию подвыборки, поддерживающую формат файла МР4, и включающую в себя информацию элемента мозаичного изображения и информацию профиля, то есть, включающую в себя информацию подсказки, используемую в качестве ссылки для обработки декодирования подвыборки, которая представляет собой частичную область, которая может быть независимо декодирована во всем изображении. Модуль 102 генерирования информации подвыборки подает сгенерированную расширенную информацию подвыборки в модуль 103 генерирования файла МР4.

Модуль 103 генерирования файла МР4 формирует файл из потоков битов HEVC, подаваемых из модуля 101 кодирования изображения, используя формат файла МР4, и сохраняет расширенную информацию подвыборки, подаваемую из модуля 102 генерирования информации подвыборки в потоках информации управления для управления потоками битов HEVC файла, включающего в себя потоки битов HEVC.

В это время модуль 103 генерирования файла МР4 размещает расширенную информацию подвыборки, в виде поля информации подсказки подвыборки (Subsample Hint Information Box), которое отличается от поля информации подвыборки (Subsample Information Box) для поля таблицы выборки (Sample Table Box) описанной выше информации управления.

В качестве альтернативы, модуль 103 генерирования файла МР4 размещает расширенную информацию подвыборки в поле описания группы выборки (Sample Group Description Box) поля таблицы выборки (Sample Table Box), описанной выше информации управления, в качестве записи группы визуальной выборки (VisualSampleGroupEntry), и размещает информацию, указывающую выборку, для которой должна применяться информация подвыборки в поле выборки для группы (Sample То Group Box).

Следует отметить, что содержание информации подвыборки является таким же, как в любом из примеров, описанных в первом варианте осуществления. Например, в случае Примера 5, расширенная информация подвыборки, генерируемая модулем 102 генерирования информации подвыборки, включает в себя не только информацию подсказки, используемую в качестве ссылки для обработки декодирования подвыборки, которая представляет собой частичную область, которая может быть независимо декодирована во всем изображении, но также и информацию группы отображения (Map Group Entry) для группирования модуля NAL.

Модуль 103 генерирования файла МР4 затем выводит файл МР4, сгенерированный, как описано выше, и передает файл МР4, например, на сторону декодирования через сеть, носитель записи и т.п., или устройство обработки информации, и т.п.

Это означает, что устройство 100 кодирования изображения может более точно распознавать рабочую характеристику, требуемую для декодирования.

Поток обработки кодирования изображения

Поток каждой обработки, выполняемой описанным выше устройством 100 кодирования изображения, будет описан ниже. Пример потока обработки кодирования изображения будет описан со ссылкой на блок-схему последовательности операций, показанную на фиг. 40.

Когда начинается обработка кодирования изображения, модуль 101 кодирования изображения кодирует данные изображения на этапе S101 таким образом, что данные изображения могут быть декодированы для каждой подвыборки (tile).

На этапе S102, модуль 101 кодирования изображения выделяет информацию, относящуюся к элементу мозаичного изображения, такому как, например, информация элемента мозаичного изображения и информация профиля каждого элемента мозаичного изображения.

На этапе S103, модуль 102 генерирования информации подвыборки генерирует расширенную информацию подвыборки, включающую в себя информацию подсказки элемента мозаичного изображения, используя информацию, относящуюся к элементу мозаичного изображения, выделенному на этапе S102.

На этапе S104 модуль 103 генерирования файла МР4 генерирует файл МР4, используя расширенную информацию подвыборки таким образом, что информацию подсказки, используемую в качестве ссылки для обработки декодирования подвыборки, которая представляет собой частичную область, которая может быть независимо декодирована, включают в поле таблицы выборки moov.

Когда обработка на этапе S104 заканчивается, заканчивается обработка кодирования изображения.

В результате выполнения обработки кодирования изображения, как описано выше, устройство 100 кодирования изображения может более точно распознавать рабочую характеристику, требуемую для декодирования.

Четвертый вариант осуществления

Устройство декодирования изображения

Декодирование кодированных данных, которые были кодированы, как описано выше, будет описано ниже. На фиг. 41 показана блок-схема, иллюстрирующая основные компоненты устройства декодирования изображения, соответствующего устройству 100 кодирования изображения, которое представляет собой один аспект устройства обработки изображений, в котором применяется настоящая технология. Устройство 200 декодирования изображения, представленное на фиг. 41, декодирует кодированные данные, сгенерированные устройством 100 кодирования изображения, используя схему декодирования, соответствующую схеме кодирования. Таким образом, устройство 200 декодирования изображения выделяет потоки битов HEVC из файла МР4, декодирует потоки битов HEVC и выводит данные изображения. В это время устройство 200 декодирования изображения может декодировать частичное изображение, включающее в себя один или множество элементов мозаичного изображения (Tile) независимо от других частей, например, используя структуру мозаичного изображения, поддерживаемую HEVC. Затем устройство 200 декодирования изображения может определять, возможно или нет декодирование на основе информации подсказки, используемой в качестве ссылки для обработки декодирования подвыборки, которая представляет собой частичную область, которая может быть независимо декодирована.

Как представлено на фиг. 41, устройство 200 декодирования изображения имеет модуль 201 воспроизведения файла МР4, модуль 202 обработки информации подвыборки и модуль 203 декодирования изображения.

Модуль 201 воспроизведения файла МР4 выполняет обработку определения, возможно или нет воспроизведение введенного файла МР4, выполняет обработку воспроизведения файла МР4 и выполняет обработку ошибки. Модуль 201 воспроизведения файла МР4 выполняет эту обработку, используя модуль 202 обработки информации подвыборки, генерирует потоки битов HEVC частичного изображения (конечно, можно использовать все изображение), включающего в себя один или множество элементов мозаичного изображения, и подает потоки битов HEVC в модуль 203 декодирования изображения.

Модуль 202 обработки информации подвыборки выполняет обработку в отношении информации подвыборки во время обработки определения, возможно или нет воспроизведение, и обработку воспроизведения. Следует отметить, что содержание информации подвыборки является таким же, как в любом из примеров, описанных в первом варианте осуществления. Например, в случае Примера 5, расширенная информация подвыборки, генерируемая модулем 102 генерирования информации подвыборки, включает в себя не только информацию подсказки, используемую в качестве ссылки для обработки декодирования подвыборки, которая представляет собой частичную область, которая может быть независимо декодирована во всем изображении, но также и информацию группы отображения (Map Group Entry) для группирования модуля NAL.

Модуль 203 декодирования изображения декодирует потоки битов HEVC, генерируемые в модуле 201 воспроизведения файла МР4, и выводит данные изображения.

Это означает, что устройство 200 декодирования изображения может более точно распознавать рабочую характеристику, требуемую для декодирования.

Поток обработки декодирования изображения

Далее будет описан поток каждой обработки, выполняемой устройством 200 декодирования изображения, описанным выше. Вначале будет описан пример потока обработки декодирования изображения со ссылкой на блок-схему последовательности операций на фиг. 42.

Когда запускают обработку декодирования изображения, модуль 201 воспроизведения файла МР4 и модуль 202 обработки информации подвыборки устройства 200 декодирования изображения, определяют, может или нет быть воспроизведено частичное изображение, обозначенное пользователем и т.п., для потоков битов HEVC, включенных во входной файл МР4 на этапе S201.

На этапе S202 модуль 201 воспроизведения файла МР4 определяет, следует или нет выполнить воспроизведение на основе результата обработки на этапе S201. Когда определяют, что следует выполнить воспроизведение, обработка переходит на этап S203.

На этапе S203 модуль 201 воспроизведения файла МР4 и модуль 202 обработки информации подвыборки выполняют обработку воспроизведения.

На этапе S204 модуль 203 декодирования изображения декодирует кодированные данные (потоки битов HEVC) частичного изображения, включающего в себя один или множество элементов мозаичного изображения, полученных в результате обработки на этапе S203, и выводит данные изображения для частичного изображения, включающего в себя один или множество элементов мозаичного изображения.

Когда обработка на этапе S204 заканчивается, заканчивается обработка декодирования изображения.

Кроме того, на этапе S202, когда определяют, что не следует выполнять воспроизведение, обработка переходит на этап S205.

На этапе S205, модуль 201 воспроизведения файла МР4 выполняет обработку ошибки, которая представляет собой заданную обработку в случае, когда декодирование не может быть выполнено нормально. Такая обработка ошибки может представлять собой любую обработку. Например, декодирование может быть принудительно закончено (включая в себя прерывание и приостановление), или может быть выработан сигнал предупреждения для пользователя, используя изображение, звук и т.п. Кроме того, например, другой кодированный поток с более низким уровнем может быть снова получен для выполнения декодирования. Также, кроме того, например, кодированный поток может быть принудительно декодирован при допущении генерирования искажений в декодированном изображении.

Когда обработка на этапе S205 заканчивается, заканчивается обработка декодирования изображения.

Поток обработки определения, возможно или нет воспроизведение

Пример потока обработки для определения, возможно или нет воспроизведение, выполняемого на этапе S201 на фиг. 42, будет описан далее со ссылкой на блок-схему последовательности операций на фиг. 43.

Когда начинается обработка определения, возможно или воспроизведение, на этапе S221, модуль 201 воспроизведения файла МР4 получает набор параметров последовательности (SPS) для потоков битов HEVC, включенных в файл МР4, из записи выборки HEVC для поля описания выборки в поле таблицы выборки файла МР4.

На этапе S222 модуль 201 воспроизведения файла МР4 определяет, представляет собой или нет информация профиля, включенная в набор параметра последовательности (SPS), информацию профиля, соответствующую модулю 203 декодирования изображения. Таким образом, модуль 201 воспроизведения файла МР4 определяет, может или нет модуль 203 декодирования изображения декодировать потоки битов HEVC всего изображения, включенного в файл МР4, на основе информации, включенной в набор параметра последовательности (SPS).

Если определяют, что декодирование возможно, обработка переходит на этап S223. На этапе S223, модуль 201 воспроизведения файла МР4 выполняет такое управление, что выполняется воспроизведение. Таким образом, на этапе S202, на фиг. 42 определяют, что следует выполнить воспроизведение.

Когда заканчивается обработка на этапе S223, обработка определения, возможно или нет воспроизведение, заканчивается, и обработка возвращается на фиг. 42.

Кроме того, на этапе S222, когда определяют, что информация профиля не соответствует модулю 203 декодирования изображения, то есть, когда определяют, что модуль 203 декодирования изображения не может декодировать потоки битов HEVC всего изображения, включенного в файл МР4, обработка переходит на этап S224. На этапе S224, модуль 202 обработки информации подвыборки получает информацию подсказки в отношении элементов мозаичного изображения (подвыборок) из поля таблицы выборки файла МР4.

На этапе S225, модуль 202 обработки информации подвыборки определяет, является или нет информация профиля, включенная в информацию подсказки, полученную на этапе S224, информацией профиля, соответствующей модулю 203 декодирования изображения. Таким образом, модуль 202 обработки информации подвыборки определяет, может или нет модуль 203 декодирования изображения декодировать потоки битов HEVC частичного изображения, включающего в себя один или множество элементов мозаичного изображения, включенных в файл МР4.

Если определяют, что декодирование возможно, обработка возвращается на этап S223. Таким образом, также, в этом случае, модуль 201 воспроизведения файла МР4 выполняет управление так, что выполняется воспроизведение.

Кроме того, на этапе S225, когда определяют, что информация профиля не соответствует модулю 203 декодирования изображения, то есть, когда определяют, что модуль 203 декодирования изображения не может декодировать потоки битов HEVC частичного изображения, включенного в файл МР4, обработка, переходит на этап S226.

На этапе S226, модуль 201 воспроизведения файла МР4 выполняет управление таким образом, что выполняется обработка ошибки, как описано выше.

Когда обработка на этапе S226 заканчивается, обработка определения, возможно или нет воспроизведение, заканчивается, и обработка возвращается на фиг. 42.

Поток обработки воспроизведения

Пример потока обработки воспроизведения, выполняемой на этапе S203, на фиг. 42, будет описан ниже со ссылкой на блок-схему последовательности операций, на фиг. 44.

Когда начинается обработка воспроизведения, модуль 201 воспроизведения файла МР4 получает набор параметра последовательности (SPS) и набор параметра изображения из файла МР4 на этапе S241.

На этапе S242, модуль 202 обработки информации подвыборки получает информацию подсказки для элементов мозаичного изображения, предназначенных для воспроизведения, из файла МР4.

На этапе S243, модуль 201 воспроизведения файла МР4 обновляет набор параметра последовательности (SPS), полученный на этапе S241, используя информацию подсказки для элементов мозаичного изображения, полученных на этапе S242. Например, когда информация подсказки представляет собой Пример (А-1) или (А-2) в квадрате 12, модуль 201 воспроизведения файла МР4 перезаписывает эту информацию набора параметра последовательности (SPS), используя информацию (такую как уровень профиля), включенную в информацию подсказки. Кроме того, например, когда информация подсказки представляет собой Пример (В-1) или (В-2) в квадрате 12, модуль 201 воспроизведения файла МР4 заменяет информацию, включенную в информацию подсказки, набором параметра последовательности (SPS).

На этапе S244 модуль 202 обработки информации подвыборки получает данные элементов мозаичного изображения, которые должны быть воспроизведены, из файла МР4. В это время, в случае Примера 1 - Примера 4, модуль 202 обработки информации подвыборки обращается к данным модуля NAL, составляющего подвыборки (tiles) со ссылкой на поле информации подвыборки, и получает данные, как в примере на фиг. 6. Кроме того, в случае Примера 5, модуль 202 обработки информации подвыборки обращается к данным модуля NAL, составляющего подвыборки (tiles), со ссылкой на ассоциацию между модулем NAL и GroupID (структура отображения модуля NAL) (Запись группы отображения), установленную с записью группы визуальной выборки (HEVCNALUMapGroupEntry 0 расширяет VisualSmapleGroupEntry ('hcnm')), в котором модули NAL отображаются на выборку, и получает данные, как в примере, показанном на фиг.24.

На этапе S245, модуль 201 воспроизведения файла МР4 генерирует потоки битов элементов мозаичного изображения (частичного изображения), предназначенные для воспроизведения, используя данные элементов мозаичного изображения, полученные на этапе S244, набор параметра последовательности, обновленный на этапе S243, и т.п.

Когда обработка на этапе S245 заканчивается, обработка возвращается на фиг. 42. Таким образом декодируют генерируемые потоки битов частичного изображения.

В результате выполнения каждой обработки, как описано выше, устройство 200 декодирования изображения может более точно распознавать рабочую характеристику, требуемую для декодирования.

Поток обработки воспроизведения

Другой пример потока обработки воспроизведения, выполняемой на этапе S203, на фиг. 42, будет описан ниже со ссылкой на блок-схему последовательности операций, на фиг. 45.

Когда начинается обработка воспроизведения, модуль 201 воспроизведения файла МР4 получает информацию, относящуюся к местоположению элемента мозаичного изображения (H_offset, V_offset), и информацию, относящуюся к размеру элемента мозаичного изображения (Width, Height) для записи группы визуальной выборки на этапе S261.

На этапе S262 модуль 201 воспроизведения файла МР4 выбирает элемент мозаичного изображения, который предназначен для воспроизведения, на основе полученной информации, относящейся к местоположению элемента мозаичного изображения, и информации, относящейся к размеру элемента мозаичного изображения.

На этапе S263, модуль 202 обработки информации подвыборки получает информацию, относящуюся к структуре отображения модуля NAL, соответствующей выбранному элементу мозаичного изображения (NALU_count, groupID), из записи группы визуальной выборки.

На этапе S264 модуль 202 обработки информации подвыборки получает данные элемента мозаичного изображения на основе информации, относящейся к структуре отображения модуля NAL, полученной на этапе S263.

На этапе S265 модуль 201 воспроизведения файла МР4 воспроизводит потоки битов элемента мозаичного изображения, полученного на этапе S264.

Когда обработка на этапе S265 заканчивается, обработка возвращается на фиг. 42. Таким образом, декодируют потоки битов воспроизводимого частичного изображения.

В результате выполнения каждой обработки, как описано выше, устройство 200 декодирования изображения может более точно распознавать рабочую характеристику, требуемую для декодирования.

Поток обработки воспроизведения

Другой пример потока обработки воспроизведения, выполняемой на этапе S203 на фиг. 42, будет описан далее со ссылкой на блок-схему последовательности операций на фиг. 46.

Когда начинается обработка воспроизведения, модуль 201 воспроизведения файла МР4 получает информацию, относящуюся к местоположению элемента мозаичного изображения (H_offset, V_offset), и информацию, относящуюся к размеру элемента мозаичного изображения (Width, Height) из записи группы визуальной выборки на этапе S281.

На этапе S282 модуль 201 воспроизведения файла МР4 выбирает область, которая требуется для воспроизведения, на основе полученной информации, относящейся к местоположению элемента мозаичного изображения, и информации, относящейся к размеру элемента мозаичного изображения.

На этапе S283 модуль обработки 202 информации подвыборки получает множество GroupIDs на основе TileGroupID, соответствующего области, которая должна быть воспроизведена из записи визуальной группы.

На этапе S284 модуль 202 обработки информации подвыборки получает информацию, относящуюся к структуре отображения модуля NAL, соответствующей элементам мозаичного изображения выбранного множества GroupIDs (NALU_count, groupID) из записи группы визуальной выборки.

На этапе S285 модуль 202 обработки информации подвыборки получает данные каждого элемента мозаичного изображения на основе информации, относящейся к структуре отображения модуля NAL, полученной на этапе S284.

На этапе S286 модуль 201 воспроизведения файла МР4 воспроизводит потоки битов каждого элемента мозаичного изображения, полученного на этапе S285.

Когда обработка на этапе S286 заканчивается, обработка возвращается на фиг. 42. Таким образом, декодируют потоки битов воспроизводимого частичного изображения.

В результате выполнения каждой обработки, как описано выше, устройство 200 декодирования изображения может более точно распознавать рабочую характеристику, требуемую для декодирования.

Поток обработки воспроизведения

Другой пример потока обработки воспроизведения, выполняемой на этапе S203 на фиг. 42, будет описан далее со ссылкой на блок-схему последовательности операций на фиг. 47.

Когда обработка воспроизведения начинается, модуль 201 воспроизведения файла МР4 получает информацию, относящуюся к местоположению элемента мозаичного изображения (H_offset, V_offset), и информацию, относящуюся к размеру элемента мозаичного изображения (Width, Height) из записи группы области элемента мозаичного изображения на этапе S3 01.

На этапе S302 модуль 201 воспроизведения файла МР4 выбирает элемент мозаичного изображения, который требуется воспроизвести, на основе полученной информации, относящейся к местоположению элемента мозаичного изображения, и информации, относящейся к размеру элемента мозаичного изображения.

На этапе S303 модуль 202 обработки информации подвыборки получает треки, соответствующие элементу мозаичного изображения, выбранному на этапе S302.

На этапе S304, модуль 201 воспроизведения файла МР4 воспроизводит потоки битов элементов мозаичного изображения, соответствующие множеству треков, полученных на этапе S303.

Когда обработка на этапе S304 заканчивается, обработка возвращается к фиг. 42. Таким образом декодируют потоки битов воспроизводимого частичного изображения.

В результате выполнения каждой обработки, как описано выше, устройство 200 декодирования изображения может более точно распознавать рабочую характеристику, требуемую для декодирования.

Поток обработки воспроизведения

Другой пример потока обработки воспроизведения, выполняемой на этапе S203 на фиг. 42, будет описан далее со ссылкой на блок-схему последовательности операций на фиг. 48.

Когда начинается обработка, модуль 201 воспроизведения файла МР4 получает информацию, относящуюся к местоположению элемента мозаичного изображения (H_offset, V_offset), и информацию, относящуюся к размеру элемента мозаичного изображения (Ширина, Высота) из записи группы области элемента мозаичного изображения на этапе S321.

На этапе S322 модуль 201 воспроизведения файла МР4 выбирает область, которая предназначена для воспроизведения, на основе полученной информации, относящейся к местоположению элемента мозаичного изображения, и информации, относящейся к размеру элемента мозаичного изображения.

На этапе S323 модуль 202 обработки информации подвыборки получает множество GroupIDs из записи группы области элемента мозаичного изображения на основе TileGroupID, соответствующего области, которая предназначена для воспроизведения.

На этапе S324, модуль 202 обработки информации подвыборки получает треки, соответствующие множеству элементов мозаичного изображения, выбранных на этапе S323.

На этапе S325 модуль 201 воспроизведения файла МР4 воспроизводит потоки битов множества элементов мозаичного изображения, соответствующих множеству треков, полученных на этапе S324.

Когда обработка на этапе S324 заканчивается, обработка возвращается на фиг. 42. Таким образом, декодируют потоки битов воспроизводимого частичного изображения.

В результате выполнения каждой обработки, как описано выше, устройство 200 декодирования изображения может более точно распознать рабочую характеристику, требуемую для декодирования

Настоящая технология может применяться к любому устройству кодирования изображения и устройству декодирования изображения, которые могут кодировать или декодировать частичное изображение.

Кроме того, существующая технология может применяться в устройстве кодирования изображения и в устройстве декодирования изображения, используемым, когда информацию изображения (потоки битов), сжатую в результате ортогонального преобразования, такого, как дискретное косинусное преобразование и компенсация движения, например, в MPEG, Н.26х и т.п., принимают через сетевую среду передачи, такую как спутниковая широковещательная передача, кабельное телевидение, Интернет и мобильный телефон. Кроме того, настоящая технология может применяться в устройстве кодирования изображения и в устройстве декодирования изображения, используемым, когда обработка выполняется для носителя сохранения, такого как оптический диск, магнитный диск и запоминающее устройство флэш.

5. Пятый вариант осуществления

Компьютер

Описанная выше последовательность обработки также может выполняться с использованием аппаратных средств и также может выполняться с использованием программных средств. Когда последовательность обработки выполняется с использованием программных средств, программу для программного обеспечения устанавливают в компьютере. Здесь компьютер включает в себя компьютер, встроенный в специализированные аппаратные средства, и, например, персональный компьютер общего назначения, выполненный с возможностью выполнения различных функций посредством установки различных программ.

На фиг. 49 показана блок-схема, иллюстрирующая пример аппаратной конфигурации компьютера, выполняющего описанную выше последовательность обработки, в соответствии с программой.

В компьютере 900, представленном на фиг. 49, центральное процессорное устройство (CPU) 901, постоянное запоминающее устройство (ROM) 902 и оперативное запоминающее устройство (RAM) 903 взаимно соединены через шину 904.

Интерфейс 910 ввода и вывода также соединен с шиной 904. Модуль 911 ввода, модуль 912 вывода, модуль 913 сохранения, модуль 914 передачи данных и привод 915 соединены с интерфейсом 910 ввода и вывода.

Модуль 911 ввода сформирован, например, из клавиатуры, "мыши", микрофона, сенсорной панели или терминала ввода. Модуль 912 вывода сформирован, например, из дисплея, громкоговорителя или выходного терминала. Модуль 913 сохранения сформирован, например, из жесткого диска, диска RAM или энергонезависимого запоминающего устройства. Модуль 914 передачи данных сформирован, например, из сетевого интерфейса. Привод 915 выполняет привод съемного носителя 921 записи, такого как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.

В компьютере, имеющем описанную выше конфигурацию, например, CPU 901 выполняет описанную выше обработку, путем загрузки программы, содержащейся в модуле 913 сохранения, в RAM 903, через интерфейс 910 ввода и вывода, и шину 904, и выполняет программу. RAM 903 также соответствующим образом сохраняет данные, необходимые для CPU 901, для выполнения различной обработки.

Например, программа, выполняемая компьютером (CPU 901), может быть записана на съемном носителе 921 записи, таком как пакетный носитель, предназначенный для применения. В этом случае, в результате установке съемного носителя 921 в привод 915, программа может быть установлена в модуль 913 сохранения через интерфейс 910 ввода и вывода.

Программа также может быть передана через проводную или беспроводную среду передачи данных, такую как локальная вычислительная сеть, Интернет или цифровая спутниковая широковещательная передача. В этом случае программа может быть принята модулем 914 передачи данных для установки в модуле 913 хранения.

Кроме того, программа также может быть установлена заранее в ROM 902 или в модуле 913 хранения.

Программы, выполняемые компьютером, могут представлять собой программы, которые выполняют обработку хронологически в порядке, описанном в настоящем описании, или могут представлять собой программы, которые выполняют обработку, например, в необходимые моменты времени, параллельно или по вызову.

В настоящем описании этапы, описывающие программу, записанную на носителе записи, включают в себя не только обработку, которая выполняется хронологически в описанном порядке, но также и обработку, которая выполняется параллельно или индивидуально, но не хронологически.

В настоящем описании система означает набор из множества составляющих элементов (устройств, модулей (компонентов), и т.п.), и все из составляющих элементов могут быть включены или могут не быть включены в один и тот же корпус. В соответствии с этим, множество устройств, размещенных в отдельных корпусах и соединенных через сеть, и отдельные устройства, в которых размещено множество модулей в одном корпусе, все представляют собой системы.

Конфигурация, описанная выше, как отельное устройство (или модуль обработки) может быть разделена и может быть выполнена, как множество устройств (или модулей обработки). В отличие от этого, конфигурация, описанная выше, как множество устройств (или модулей обработки) может быть объединена и может быть выполнена, как одно устройство (или модуль обработки). Другие конфигурации, кроме описанных выше конфигураций, конечно, могут быть добавлены к конфигурациям устройств (или модулям обработки). Кроме того, если только конфигурации или операции являются, по существу, такими же, как во всей системе, части конфигураций определенных устройств (или модулей обработки) могут быть включены в конфигурации других устройств (или других модулей обработки).

Предпочтительные варианты осуществления настоящего раскрытия были описаны выше со ссылкой на приложенные чертежи, в то время, как настоящее раскрытие, конечно, не ограничено представленными выше примерами. Специалист в данной области техники может выполнить различные изменения и модификации в пределах объема приложенной формулы изобретения, и должно быть понятно, что они, естественно, попадают в пределы технического объема настоящего раскрытия.

Например, в настоящей технологии можно реализовать "облачную" компьютерную конфигурацию, в которой одна функция распределена и обрабатывается совместно множеством устройств через сеть.

Каждый этап, описанный в представленных выше блок-схемах последовательности операций, может выполняться отдельным устройством и также может быть распределен и может выполняться множеством устройств.

Когда множество обработок включено в один этап, множество обработок, включенных в один этап, может быть выполнено одним устройством и также может быть распределено и может выполняться множеством устройств.

Устройство кодирования изображения и устройство декодирования изображения, в соответствии с описанными выше вариантами осуществления, могут применяться в различных электронных устройствах, таких как передатчик или приемник, при доставке с использованием спутниковой широковещательной передачи, проводной широковещательной передачи, такой как кабельное телевидение или Интернет, и при доставке в терминал с использованием сотовой передачи данных, записи с помощью устройства, записывающего изображение на носителе информации, таком как оптический диск, магнитный диск или запоминающее устройство флэш, или на устройстве воспроизведения, воспроизводящем изображение с носителя хранения.

Настоящая технология не ограничена этим, и может быть воплощена, как любая конфигурация, установленная в устройствах или устройствах, составляющих системы, например, процессоры в форме системных больших интегральных схем (LSI), модули, которые используют множество процессоров, модули, в которых используется множество модулей, наборы, полученные путем дополнительного добавления других функций к модулям (то есть частичная конфигурация устройств), и т.п.

В настоящем описании были описаны примеры, в которых различные виды информации мультиплексируют в кодированном потоке и передают со стороны кодирования на сторону декодирования. Однако способы передачи информации не ограничены этими примерами. Например, информация может быть передана или записана, как отдельные части данных, ассоциированные с кодированным потоком битов, без мультиплексирования в кодированном потоке битов. Здесь термин "ассоциированный" означает, что изображение (которое может представлять собой часть изображения, такого как срез или блок), включенное в поток битов, и информация, соответствующая изображению, могут быть связаны во время декодирования. Таким образом, информация может быть передана вдоль другого пути передачи, чем изображение (или поток битов). Информация может быть записана на другом носителе записи (или в другой области записи того же носителя записи), чем изображение (или поток битов). Кроме того, информация и изображение (или поток битов) могут быть взаимно ассоциированы, например, в любом модуле, таком как множество кадров, один кадр или части кадра.

Кроме того, настоящая технология также может быть выполнена так, как представлено ниже.

(1) Устройство кодирования изображения, включающее в себя:

модуль кодирования, выполненный с возможностью кодирования данных изображения;

модуль генерирования информации подвыборки, выполненный с возможностью генерирования информации подвыборки изображения для данных изображения, при этом информация подвыборки включает в себя информацию подсказки, используемую в качестве ссылки на обработку декодирования подвыборки, представляющей собой частичную область, которая может быть независимо декодирована; и

модуль генерирования файла, выполненный с возможностью генерирования файла, включающего в себя кодированные данные для данных изображения, генерируемых модулем кодирования, и информации управления кодированными данными, и размещения информации подвыборки, сгенерированной модулем генерирования информации подвыборки, в информации управления.

(2) Устройство кодирования изображения по любому из (1) и (3)-(15),

в котором модуль генерирования информации подвыборки выполнен с возможностью генерирования информации подвыборки, включающей в себя тип данных подсказки, указывающий тип информации подсказки, включенной в информацию подвыборки, величину подсчета выборки, указывающую количество непрерывных выборок, ассоциированных с информацией подвыборки, и информацию подсказки.

(3) Устройство кодирования изображения по любому из (1), (2) и (4)-(15),

в котором информация подсказки включает в себя уровень, указывающий степень загрузки при обработке декодирования подвыборки.

(4) Устройство кодирования изображения по любому из (1)-(3) и (5)-(15),

в котором информация подсказки включает в себя информацию заголовка кодированных данных подвыборки.

(5) Устройство кодирования изображения по любому из (1)-(4) и (6)-(15),

в котором модуль генерирования информации подвыборки выполнен с возможностью генерирования информации подвыборки, включающей в себя тип данных подсказки, указывающий тип информации подсказки, включенной в информацию подвыборки, величину подсчета выборки, указывающую количество непрерывных выборок, ассоциированных с информацией подвыборки, и информацию идентификации группы, которой принадлежит подвыборка.

(6) Устройство кодирования изображения по любому из (1)-(5) и (7)-(15),

в котором модуль генерирования информации подвыборки дополнительно выполнен с возможностью генерирования информации подвыборки, включающей в себя тип данных подсказки, указывающий тип информации подсказки, включенной в информацию подвыборки, величину подсчета выборки, указывающую количество непрерывных выборок, ассоциированных с информацией подвыборки, и информацию подсказки, включающую в себя уровень, указывающий степень нагрузки при обработке декодирования группы подвыборки.

(7) Устройство кодирования изображения по любому из (1)-(6) и (8)-(15),

в котором модуль генерирования информации подвыборки дополнительно выполнен с возможностью генерирования информации подвыборки, включающей в себя тип данных подсказки, указывающий тип информации подсказки, включенной в информацию подвыборки, величину подсчета выборки, указывающую количество непрерывных выборок, ассоциированных с информацией подвыборки, и информацию подсказки, включающую в себя информацию заголовка кодированных данных группы подвыборки.

(8) Устройство кодирования изображения по любому из (1)-(7) и (9)-(15),

в котором модуль генерирования информации подвыборки выполнен с возможностью генерирования информации подвыборки, включающей в себя тип данных подсказки, указывающий тип информации подсказки, включенной в информацию подвыборки, величину подсчета, указывающую количество непрерывных выборок, ассоциированных с информацией подвыборки, информацию идентификации подвыборки, принадлежащую группе, и информацию подсказки группы.

(9) Устройство кодирования изображения по любому из (1)-(8) и (10)-(15),

в котором информация подсказки включает в себя уровень, указывающий степень загрузки обработки декодирования группы.

(10) Устройство кодирования изображения по любому из (1)-(9) и (11)-(15),

в котором информация подсказки включает в себя информацию заголовка кодированных данных группы.

(11) Устройство кодирования изображения по любому из (1)-(10) и (12)-(15),

в котором модуль генерирования информации подвыборки выполнен с возможностью генерирования информации подвыборки, включающей в себя информацию, указывающую размер и местоположение подвыборки.

(12) Устройство кодирования изображения по любому из (1)-(11) и (13)-(15),

в котором модуль генерирования информации подвыборки выполнен с возможностью генерирования информации подвыборки, включающей в себя информацию, указывающую, что подвыборка может быть независимо декодирована.

(13) Устройство кодирования изображения по любому из (1)-(12), (14) и (15),

в котором модуль генерирования информации подвыборки выполнен с возможностью генерирования информации подвыборки, включающей в себя информацию для группирования модулей NAL, составляющих выборку.

(14) Устройство кодирования изображения по любому из (1)-(13) и (15),

в котором модуль генерирования файла выполнен с возможностью размещения информации подвыборки, в качестве поля информации подсказки подвыборки (SubsampleHint Information Box), отличного от поля информации подвыборки (Subsample Information Box) поля таблицы выборки (Sample Table Box) информации управления.

(15) Устройство кодирования изображения по любому из (1)-(14),

в котором модуль генерирования файла выполнен с возможностью размещения информации подвыборки в модуле описания группы выборки (Sample Group Description Box) поля таблицы выборки (Sample Table Box) информации управления, в качестве записи группы визуальной выборки (VisualSampleGroupEntry), и размещения информации, указывающую выборку, в которой применяется информация подвыборки в поле выборки для группы (Sample То Group Box).

(16) Устройство кодирования изображения по любому из (1)-(15), в котором модуль генерирования файла выполнен с возможностью размещения информации подвыборки, требуемой для декодирования только частичного изображения в записи выборки (Sample Entry) поля описания группы выборки (Sample Group Description Box) поля таблицы выборки (Sample Table Box) в информации управления трека, имеющего частичное изображение.

(17) Устройство кодирования изображения по любому из (1)-(16), в котором информация подвыборки представляет собой параметр, требуемый для определения декодирования элемента мозаичного изображения HEVC, сохраненного в наборе элемента мозаичного изображения с временным ограничением движения SEI (temporal_motion_constrained_tile_sets SEI) в той же структуре данных, что и структура записи конфигурации декодека HEVC.

(18) Устройство кодирования изображения по любому из (1)-(17), в котором параметр включает в себя флаг разрыва mcts (mcts_tear_flag) и idc уровня mcts (mcts_level_idc).

(19) Устройство кодирования изображения по любому из (1)-(18), в котором информация частичного изображения дополнительно включает в себя набор элемента мозаичного изображения с временным ограничением движения SEI (temporal_motion_constrained_tile_sets SEI), соответствующий элементу мозаичного изображения HEVC.

(20) Устройство кодирования изображения по любому из (1)-(19), в котором информация подвыборки дополнительно включает в себя максимальный флаг разрыва mcts (max_mcts_tear_flag) и максимальный idc уровня mcts (max_mcts_lewel_idc).

(21) Устройство кодирования изображения по любому из (1) - (20), дополнительно включающее в себя набор элемента мозаичного изображения с временным ограничением движения SEI (temporal_motion_constrained_tile_sets SEI), соответствующий элементу мозаичного изображения HEVC, требуемому для определения декодирования элемента мозаичного изображения HEVC.

(22) Устройство кодирования изображения по любому из (1)-(21), в котором максимальный флаг разрыва mcts (max_mcts_tear_flag) и максимальный idc уровня mcts (max_mcts_level_idc) размещены в основном треке.

(23) Способ кодирования изображения, включающий в себя этапы, на которых: кодируют данные изображения;

генерируют информацию подвыборки, включающую в себя информацию подсказки, используемую в качестве ссылки, для обработки декодирования подвыборки, которая представляет собой частичную область, которая может быть независимо декодирована от изображения данных изображения; и

генерируют файл, включающий в себя сгенерированные кодированные данные данных изображения и информацию управления кодированными данными и размещают сгенерированную информацию подвыборки в информации управления.

(24) Устройство декодирования изображения, включающее в себя:

модуль получения, выполненный с возможностью получения файла, включающего в себя кодированные данные для данных изображения, и информацию управления кодированными данными, в которой размещена информация подвыборки изображения данных изображения, при этом информация подвыборки включает в себя информацию подсказки, используемую в качестве ссылки на обработку декодирования подвыборки, которая представляет собой частичную область, которая может быть независимо декодирована;

модуль анализа информации подвыборки, выполненный с возможностью анализа информации подвыборки, включенной в файл, полученный модулем получения;

модуль управления, выполненный с возможностью управления декодированием кодированных данных на основе результата анализа информации подвыборки модулем анализа информации подвыборки;

модуль генерирования кодированных данных, выполненный с возможностью генерирования кодированных данных подвыборки из кодированных данных, включенных в файл, полученный модулем получения, в соответствии с управлением модулем управления; и

модуль декодирования, выполненный с возможностью декодирования кодированных данных подвыборки, генерируемые модулем генерирования кодированных данных, в соответствии с управлением модулем управления.

(25) Устройство декодирования изображения по (24), в котором модуль управления выполнен с возможностью определения, может ли модуль декодирования декодировать кодированные данные подвыборки, на основе информации подсказки информации подвыборки, и выполнения управления для декодирования кодированных данных подвыборки, когда кодированные данные могут быть декодированы.

(26) Устройство декодирования изображения по (24) или (25), в котором модуль генерирования кодированных данных выполнен с возможностью обновления информации заголовка кодированных данных подвыборки на основе информации подвыборки.

(27) Способ декодирования изображения, включающий в себя этапы, на которых: получают файл, включающий в себя кодированные данные для данных изображения

и информацию управления кодированными данными, в которой размещена информация подвыборки изображения данных изображения, информация подвыборки, включающая в себя информацию подсказки, используемую в качестве ссылки для обработки декодирования подвыборки, которая представляет собой частичную область, которая может быть независимо декодирована;

анализируют информацию подвыборки, включенную в полученный файл;

управляют декодированием кодированных данных на основе результата анализа информации подвыборки;

генерируют кодированные данные подвыборки из кодированных данных, включенных в полученный файл, в соответствии с управлением; и

декодируют сгенерированные кодированные данные подвыборки в соответствии с управлением.

(31) Устройство обработки информации, включающее в себя:

модуль генерирования файла, выполненный с возможностью генерирования файла в формате файла МР4, при этом информация, определяющая множество модулей NAL, соответствующих частичному изображению, которое может быть независимо декодировано во всем изображении, содержится в moov, а кодированное частичное изображение содержится в mdat; и

модуль передачи, выполненный с возможностью передачи файла, генерируемого модулем генерирования файла.

(32) Устройство обработки информации по (31),

в котором информация, определяющая множество модулей NAL, включает в себя информацию, указывающую группу множества модулей NAL, соответствующих частичному изображению.

(33) Устройство обработки информации по (31) или (32),

в котором информация, определяющая множество модулей NAL, включает в себя информацию, указывающую количество множества модулей NAL, соответствующих частичному изображению.

(34) Устройство обработки информации по любому из (31)-(33),

в котором информация, определяющая множество модулей NAL, включает в себя информацию, указывающую первый модуль NAL из модулей NAL, соответствующих частичному изображению.

(35) Устройство обработки информации по любому из (31)-(34),

в котором информация, определяющая множество модулей NAL, включает в себя информацию, указывающую все модули NAL, соответствующие частичному изображению.

(36) Устройство обработки информации по любому из (31)-(35),

в котором информация, определяющая множество модулей NAL, определена, используя VisualSampleGroupEntry в moov.

(37) Устройство обработки информации по любому из (31)-(36),

в котором, в файле дополнительно содержатся множество частей информации для отображения множества модулей NAL.

(38) Устройство обработки информации по любому из (31)-(37),

в котором частичное изображение представляет собой элемент мозаичного изображения Tile при высокоэффективном кодировании видеоданных (HEVC).

(39) Способ обработки информации, включающий в себя этапы, на которых:

генерируют файл в формате файла МР4, в котором информация, определяющая множество модулей NAL, соответствующих частичному изображению, которые могут быть независимо декодированы во всем изображении, содержится в moov, и кодированное частичное изображение содержится в mdat; и

передают сгенерированный файл.

(40) Устройство обработки информации, включающее в себя:

модуль воспроизведения файла, выполненный с возможностью воспроизведения файла в формате файла МР4, при этом информация, определяющая множество модулей NAL, соответствующих частичному изображению, которые могут быть независимо декодированы во всем изображении, содержится в moov, и кодированное частичное изображение содержится в mdat.

(41) Устройство обработки информации по (40),

в котором информация, определяющая множество модулей NAL, включает в себя информацию, указывающую группу из множества модулей NAL, соответствующих частичному изображению.

(42) Устройство обработки информации по (40) или (41),

в котором информация, определяющая множество модулей NAL, включает в себя информацию, указывающую количество множества модулей NAL, соответствующих частичному изображению.

(43) Устройство обработки информации по любому из (40)-(42),

в котором информация, определяющая множество модулей NAL, включает в себя информацию, указывающую первый модуль NAL среди модулей NAL, соответствующих частичному изображению.

(44) Устройство обработки информации по любому из (40)-(43),

в котором информация, определяющая множество модулей NAL, включает в себя информацию, указывающую все модули NAL, соответствующие частичному изображению.

(45) Устройство обработки информации по любому из (40)-(44),

в котором информация, определяющая множество модулей NAL, определена, используя VisualSampleGroupEntry в moov.

(46) Устройство обработки информации по любому из (40)-(45),

в котором, в файле, дополнительно содержится множество частей информации для отображения множества модулей NAL.

(47) Устройство обработки информации по любому из (40)-(46),

в котором частичное изображение представляет собой элемент мозаичного изображения Tile при высокоэффективном кодировании видеоданных (HEVC).

(48) Устройство обработки информации по любому из (40)- (47),

в котором, в файле информация, указывающая местоположение частичного изображения во всем изображении, информация, указывающая размер частичного изображения, и информация, определяющая множество модулей NAL, содержится в VisualSampleGroupEntry, при этом

модуль воспроизведения файла выполнен с возможностью

выбора частичного изображения, которое требуется воспроизвести, на основе информации, указывающей местоположение частичного изображения во всем изображении, и информации, указывающей размер частичного изображения, и

получения данных частичного изображения, подлежащих воспроизведению, на основе информации, определяющей множество модулей NAL, и генерирования потока битов.

(49) Устройство обработки информации по любому из (40)-(48),

в котором, в файле, информация, указывающая местоположение частичного изображения во всем изображении, информация, указывающая размер частичного изображения, и информация, определяющая множество модулей NAL, содержатся в VisualSampleGroupEntry, при этом

модуль воспроизведения файла выполнен с возможностью

выбора области, подлежащей воспроизведению, на основе информации, указывающей местоположение частичного изображения во всем изображении, и информации, указывающей размер частичного изображения, и

получения данных о частичном изображении, соответствующем области, подлежащей воспроизведению, на основе информации, определяющей множество модулей NAL, и генерирования потока битов.

(50) Устройство обработки информации по любому из (40)-(49),

в котором, в файле, информация, указывающая местоположение частичного изображения во всем изображении, информация, указывающая размер частичного изображения, и информации, определяющая множество модулей NAL, содержатся в TileRegionGroupEntry, при этом

модуль воспроизведения файла выполнен с возможностью

выбора элемента мозаичного изображения, подлежащего воспроизведению, на основе информации, указывающей местоположение частичного изображения во всем изображении, и информации, указывающей размер частичного изображения,

получения трека, соответствующего выбранному элементу мозаичного изображения, подлежащего воспроизведению, на основе информации, устанавливающей множество модулей NAL, и

генерирования потока битов частичного изображения, соответствующего полученному треку.

(51) Устройство обработки информации по любому из (40)-(50),

в котором, в файле, информация, указывающая местоположение частичного изображения во всем изображении, информация, указывающая размер частичного изображения, и информация, определяющая множество модулей NAL, содержатся в TileRegionGroupEntry, при этом

модуль воспроизведения файла выполнен с возможностью

выбора области, подлежащей воспроизведению, на основе информации, указывающей местоположению частичного изображения во всем изображении, и информации, указывающей размер частичного изображения,

получения множества треков, соответствующих выбранной области, подлежащей воспроизведению, на основе информации, определяющей множество модулей NAL, и

генерирования потока битов частичного изображения, соответствующего полученному множеству треков.

(52) Устройство обработки информации по любому из (40)-(51), дополнительно включающее в себя:

модуль декодирования, выполненный с возможностью декодирования потока битов частичного изображения, воспроизводимого и генерируемого модулем воспроизведения файла.

(53) Способ обработки информации, включающий в себя этапы, на которых: воспроизводят файл в формате файла МР4, при этом информация, определяющая

множество модулей NAL, соответствующих частичному изображению, которые могут быть независимо декодированы во всем изображении, содержится в moov, и кодированное частичное изображение содержится в mdat.

Список номеров ссылочных позиций