УСТРОЙСТВО ОБРАБОТКИ ИНФОРМАЦИИ И СПОСОБ ОБРАБОТКИ ИНФОРМАЦИИ

Область техники, к которой относится изобретение

Настоящее раскрываемое изобретение относится к устройству обработки информации и способу обработки информации, и, в частности, к устройству обработки информации и способу обработки информации, которые способны воспроизводить контент (информационно значимое содержимое) на основе монтажного листа в случае, при котором время начала воспроизведения контента, содержащегося в файле в формате MP4 Фрагментированного фильма, позже, чем время начала воспроизведения по временно́й шкале фильма.

Уровень техники

Господствующей тенденцией сервиса потоковой передачи данных в Интернете становится OTT-V (Видеоданные с избыточностью). В качестве основополагающей технологии начинает широко применяться MPEG-DASH (этап развития стандарта MPEG (Экспертной группы по вопросам движущегося изображения)) - Динамическая адаптивная потоковая передача данных посредством HTTP-протокола (Протокола передачи гипертекста)) (смотри, например, Непатентный документ 1).

В MPEG-DASH, поставляющий сервер подготавливает для контента одного фильма группу закодированных потоков данных, имеющих различные размеры экранного изображения и скорости кодирования, а оконечное устройство воспроизведения запрашивает закодированный поток данных, имеющий оптимальный размер экранного изображения и оптимальную скорость кодирования, в зависимости от состояния тракта передачи, тем самым добиваясь адаптивной потоковой доставки данных.

В MPEG-DASH, закодированный поток данных хранится в файле в формате MP4 Фрагментированного фильма. Кроме того, поле moov файла в формате MP4 Фрагментированного фильма не включает в себя никакого соответствующего поля mdat, и в поле moov описывается монтажный лист закодированного потока данных, помещенный в поле mdat, управляемое полем moof. Монтажный лист представляет собой список, полученный посредством установления ассоциативной связи начальной позиции воспроизведения закодированного потока данных контента, содержащегося в контенте фильма, с продолжительностью времени воспроизведения закодированного потока данных, воспроизводимого от начальной позиции воспроизведения, в порядке воспроизведения.

Список упоминаемых документов

Непатентный документ

Непатентный документ 1: MPEG-DASH (Динамическая адаптивная потоковая передача данных посредством HTTP-протокола (Протокола передачи гипертекста)) (URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)

Раскрытие сущности изобретения

Техническая задача

Однако когда создается поле moov файла в формате MP4 Фрагментированного фильма, в некоторых случаях бывает трудно узнать продолжительность времени воспроизведения закодированного потока данных помещенных в поле mdat, управляемое полем moof после него. В этом случае, трудно сгенерировать монтажный лист, и устройство воспроизведения не может воспроизводить контент фильма на основе монтажного листа.

Настоящее раскрываемое изобретение было сделано ввиду вышеизложенных обстоятельств, для обеспечения воспроизведения контента на основе монтажного листа в случае, когда время начала воспроизведения контента, содержащегося в файле в формате MP4 Фрагментированного фильма, позже, чем время начала воспроизведения по временно́й шкале фильма.

Решение задачи

Устройство обработки информации, соответствующее первому аспекту настоящего раскрываемого изобретения, представляет собой устройство обработки информации, включающее в себя: блок генерирования монтажного листа, для регистрации, когда время начала воспроизведения контента позже, чем время начала воспроизведения контента по временно́й шкале фильма, в монтажном листе верхней позиции контента в качестве начальной позиции воспроизведения контента и заданное значение в качестве продолжительности времени воспроизведения контента, причем монтажный лист устанавливает ассоциативную связь начальной позиции воспроизведения контента с продолжительностью времени воспроизведения контента, воспроизводимого от начальной позиции воспроизведения; и блок генерирования файла для генерирования файла в формате MP4 Фрагментированного фильма, причем файл содержит монтажный лист, сгенерированный блоком генерирования монтажного листа, и контент.

Способ обработки информации, соответствующий первому аспекту настоящего раскрываемого изобретения, соответствует устройству обработки информации, по первому аспекту настоящего раскрываемого изобретения.

В первом аспекте настоящего раскрываемого изобретения, в случае, когда время начала воспроизведения контента позже, чем время начала воспроизведения контента по временно́й шкале фильма, верхнюю позицию контента и заданное значение записывают в монтажный лист, соответственно, как начальную позицию воспроизведения контента и как продолжительность времени воспроизведения контента, причем монтажный лист устанавливает ассоциативную связь начальной позиции воспроизведения контента с продолжительностью времени воспроизведения контента, воспроизводимого от начальной позиции воспроизведения; и генерируют файл в формате MP4 Фрагментированного фильма, причем файл содержит монтажный лист, сгенерированный при обработке данных на этапе генерирования монтажного листа, и контент.

Устройство обработки информации, соответствующее второму аспекту настоящего раскрываемого изобретения, представляет собой устройство обработки информации, включающее в себя: извлекающий блок для извлечения монтажного листа из файла в формате MP4 Фрагментированного фильма, причем файл содержит монтажный лист и контент, при этом, в монтажном листе, когда время начала воспроизведения контента позже, чем время начала воспроизведения контента по временно́й шкале фильма, верхняя позиция контента и заданное значение записаны, соответственно, в качестве начальной позиции воспроизведения контента и продолжительности времени воспроизведения контента, воспроизводимого от начальной позиции воспроизведения, а монтажный лист устанавливает ассоциативную связь начальной позиции воспроизведения контента с продолжительностью времени воспроизведения контента; и блок воспроизведения для воспроизведения, когда время начала воспроизведения контента позже, чем время начала воспроизведения контента по временно́й шкале фильма, контента во время, которое позже, чем время начала воспроизведения по временно́й шкале фильма, на разницу между временем начала воспроизведения контента и временем начала воспроизведения по временно́й шкале фильма, на основе монтажного листа, извлеченного извлекающим модулем.

Способ обработки информации, по второму аспекту настоящего раскрываемого изобретения, соответствует устройству обработки информации, соответствующему второму аспекту настоящего раскрываемого изобретения.

Во втором аспекте настоящего раскрываемого изобретения, монтажный лист извлекается из файла в формате MP4 Фрагментированного фильма, причем файл содержит монтажный лист и контент, в монтажном листе, когда время начала воспроизведения контента позже, чем время начала воспроизведения контента по временно́й шкале фильма, верхняя позиция контента и заданное значение записаны, соответственно, в качестве начальной позиции воспроизведения контента и продолжительности времени воспроизведения контента, воспроизводимого от начальной позиции воспроизведения, при этом монтажный лист устанавливает ассоциативную связь начальной позиции воспроизведения контента с продолжительностью времени воспроизведения контента; и когда время начала воспроизведения контента позже, чем время начала воспроизведения контента по временно́й шкале фильма, контент воспроизводится во время, которое позже, чем время начала воспроизведения по временно́й шкале фильма, на разницу между временем начала воспроизведения контента и временем начала воспроизведения по временно́й шкале фильма, на основе монтажного листа, извлеченного извлекающим модулем.

Отметим, что устройства обработки информации, соответствующие первому и второму аспектам, можно реализовать, посредством исполнения компьютером программы.

Кроме того, программа, исполняемая компьютером для реализации устройств обработки информации, соответствующих первому и второму аспектам, может быть предоставлена, будучи переданной через передающую среду или будучи записанной на носитель записи.

Полезные результаты изобретения

В соответствии с первым аспектом настоящего раскрываемого изобретения, имеется возможность сгенерировать монтажный лист. В частности, имеется возможность генерировать монтажный лист в случае, при котором время начала воспроизведения контента, содержащегося в файле в формате MP4 Фрагментированного фильма, позже чем время начала воспроизведения по временно́й шкале фильма.

В соответствии со вторым аспектом настоящего раскрываемого изобретения, имеется возможность воспроизводить контент на основе монтажного листа. В частности, имеется возможность воспроизводить контент на основе монтажного листа в случае, при котором время начала воспроизведения контента, содержащегося в файле в формате MP4 Фрагментированного фильма, позже чем время начала воспроизведения по временно́й шкале фильма.

Следует отметить, что описанный здесь результат не является обязательно ограничивающим и может иметь место любой результат, описываемый в настоящем раскрытии.

Краткое описание чертежей

Фиг. 1 - схема, на которой описывается общий вид некоторого первого варианта воплощения системы обработки информации, в которой применено настоящее раскрываемое изобретение.

Фиг. 2 - схема, на которой показан пример конфигурации Фрагментированного файла MP4.

Фиг. 3 - схема, на которой показан пример конфигурации поля moov, показанного на фиг. 2.

Фиг. 4 - схема, на которой показан пример конфигурации фильма.

Фиг. 5 - схема, на которой показан пример конфигурации монтажного листа.

Фиг. 6 - схема, на которой описывается воспроизведение на основе монтажного листа, показанного на фиг. 5.

Фиг. 7 - схема, на которой показан пример времени начала воспроизведения медиапотока.

Фиг. 8 - схема, на которой показан пример медиапотока при создании Композиционного смещения.

Фиг. 9 - схема, на которой показан пример монтажного листа при создании Композиционного смещения.

Фиг. 10 - схема, на которой показан пример медиапотока при генерировании Начального смещения.

Фиг. 11 - схема, на которой показан пример монтажного листа файла MP4 в формате, отличном от формата Фрагментированного фильма, при генерировании Начального смещения.

Фиг. 12 - схема, на которой описывается первый пример монтажного листа Фрагментированного файла MP4 при генерировании Начального смещения.

Фиг. 13 - схема, на которой показан первый пример монтажного листа Фрагментированного файла MP4 при генерировании Начального смещения.

Фиг. 14 - схема, на которой описывается второй пример монтажного листа Фрагментированного файла MP4 при генерировании Начального смещения.

Фиг. 15 - схема, на которой показан второй пример монтажного листа Фрагментированного файла MP4 при генерировании Начального смещения.

Фиг. 16 - структурная схема, на которой показан пример конфигурации блока генерирования файла MP4.

Фиг. 17 - блок-схема алгоритма, на которой описывается обработка данных при генерировании Фрагментированного файла MP4, выполняемая блоком генерирования файла, показанным на фиг. 16.

Фиг. 18 - структурная схема, на которой показан пример конфигурации блока потокового воспроизведения.

Фиг. 19 - блок-схема алгоритма, на которой описывается обработка данных при воспроизведении, выполняемая блоком потокового воспроизведения, показанным на фиг. 18.

Фиг. 20 - структурная схема, на которой показан пример конфигурации блока генерирования файла, соответствующий второму варианту воплощения системы обработки информации, в которой (системе) применено настоящее раскрываемое изобретение.

Фиг. 21 - блок-схема алгоритма, на которой описывается обработка данных при генерировании Фрагментированного файла MP4, выполняемая блоком генерирования файла, показанным на фиг. 20.

Фиг. 22 - структурная схема, на которой показан пример конфигурации блока генерирования файла, соответствующий третьему варианту воплощения системы обработки информации, в которой (системе) применено настоящее раскрываемое изобретение.

Фиг. 23 - блок-схема алгоритма, на которой описывается обработка данных при генерировании Фрагментированного файла MP4, выполняемая блоком генерирования файла, показанным на фиг. 22.

Фиг. 24 - структурная схема, на которой показан пример конфигурации блока генерирования файла, соответствующий четвертому варианту воплощения системы обработки информации, в которой (системе) применено настоящее раскрываемое изобретение.

Фиг. 25 - блок-схема алгоритма, на которой описывается обработка данных при генерировании файла MP4, выполняемая блоком генерирования файла, показанным на фиг. 24.

Фиг. 26 - структурная схема, на которой показан пример конфигурации аппаратного обеспечения компьютера.

Способ(ы) для осуществления изобретения

Далее будут описаны предпосылка настоящего раскрываемого изобретения варианты для осуществления настоящего раскрываемого изобретения (именуемые в дальнейшем вариантами воплощения изобретения). Отметим, что описания будут приведены в следующем порядке:

1. Первый вариант воплощения изобретения: система обработки информации (фиг. 1 - фиг. 19)

2. Второй вариант воплощения изобретения: система обработки информации (фиг. 20 и фиг. 21)

3. Третий вариант воплощения изобретения: система обработки информации (фиг. 22 и фиг. 23)

4. Четвертый вариант воплощения изобретения: система обработки информации (фиг. 24 и фиг. 25)

5. Пятый вариант воплощения изобретения: компьютер (фиг. 26)

Первый вариант воплощения изобретения

Общий вид первого варианта воплощения системы обработки информации

Фиг. 1 представляет собой схему, на которой описывается общий вид некоторого первого варианта воплощения системы обработки информации, в которой применено настоящее раскрываемое изобретение.

Web-сервер 12, соединенный с устройством 11 генерирования файлов, соединен воспроизводящим фильм оконечным устройством 14 посредством сети "Интернет" 13, образуя, таким образом, систему 10 обработки информации, показанную на фиг. 1.

В системе 10 обработки информации, web-сервер 12 поставляет файл в формате MP4 Фрагментированного (разбитого на фрагменты) фильма, содержащий контент фильма, (в дальнейшем, именуемый просто как Фрагментированный файл MP4), который генерируется устройством 11 генерирования файлов, на воспроизводящее фильм оконечное устройство 14 способом, соответствующим стандарту MPEG-DASH.

В частности, устройство 11 генерирования файлов (устройство обработки информации) кодирует данные, такие как данные изображений и аудиоданные контента фильма с множеством скоростей кодирования для того, чтобы сгенерировать закодированный поток данных. Для каждой скорости кодирования, устройство 11 генерирования файлов разделяет сгенерированный закодированный поток данных на временны́е интервалы, составляющие приблизительно от нескольких секунд до 10 секунд, именуемые сегментами. Устройство 11 генерирования файлов генерирует, для каждого сегмента, Фрагментированный файл MP4, который включает в себя закодированный поток данных, монтажный лист и тому подобное, и передает этот файл на web-сервер 12.

Отметим, что, хотя здесь генерируются закодированные потоки данных, имеющие различные скорости кодирования, закодированные потоки данных могут генерироваться в соответствии с другим условием, отличным от скорости кодирования, (например, в соответствии с размером изображения). Кроме того, может также иметься возможность генерировать закодированные потоки данных в соответствии с двумя или более различными условиями.

Устройство 11 генерирования файлов генерирует также MPD-файл (файл описания воспроизведения медиа (аудио/визуальных данных)) для управления Фрагментированным файлом MP4 и тому подобным. Устройство 11 генерирования файлов загружает MPD-файл на Web-сервер 12.

Web-сервер 12 хранит Фрагментированный файл MP4 и MPD-файл, загруженные устройством 11 генерирования файлов. В примере, показанном на фиг. 1, имеется три вида скоростей кодирования, и Фрагментированные файлы MP4 в соответствующих сегментах хранятся для каждой из трех скоростей кодирования. Web-сервер 12 передает хранящийся Фрагментированный файл MP4 и хранящийся MPD-файл на воспроизводящее фильм оконечное устройство 14 в ответ на запрос от этого воспроизводящего фильм оконечного устройства 14.

Воспроизводящее фильм оконечное устройство 14 (устройство обработки информации) исполняет программное обеспечение для управления потоковыми данными (в дальнейшем именуемое как управляющее программное обеспечение) 21, программное обеспечение 22 воспроизведения фильма и клиентское программное обеспечение для доступа по Протоколу передачи гипертекста (HTTP-протоколу) (в дальнейшем, именуемое как программное обеспечение доступа) 23, и тому подобное.

Управляющее программное обеспечение 21 представляет собой программное обеспечение для управления данными, потоковая передача которых осуществляется с Web-сервера 12. В частности, управляющее программное обеспечение 21 вызывает получение воспроизводящим фильм оконечным устройством 14 MPD-файла с Web-сервера 12. Кроме того, управляющее программное обеспечение 21 выдает программному обеспечению 23 доступа запрос на передачу Фрагментированного файла MP4, подлежащего воспроизведению, на основе MPD-файла и информации об объекте воспроизведения, которая представляет время воспроизведения и тому подобное для объекта воспроизведения, который указан программным обеспечением 22 воспроизведения фильма.

Программное обеспечение 22 воспроизведения фильма представляет собой программное обеспечение для воспроизведения закодированного потока данных, получаемого от Web-сервера 12. В частности, программное обеспечение 22 воспроизведения фильма указывает, для управляющего программного обеспечения 21, информацию об объекте воспроизведения. Кроме того, приняв от программного обеспечения 23 доступа уведомление о начале приема, программное обеспечение 22 воспроизведения фильма декодирует закодированный поток данных, содержащийся во Фрагментированном файле MP4, на основе монтажного листа, содержащегося во Фрагментированном файле MP4, принятым оконечным устройством 14 воспроизведения фильма. Программное обеспечение 22 воспроизведения фильма выводит данные изображений и аудиоданные, полученные в результате декодирования.

Программное обеспечение 23 доступа представляет собой программное обеспечение для управления связью с использованием HTTP (Протокола передачи гипертекста) с web-сервером 12 через сеть "Интернет" 13. В частности, программное обеспечение 23 доступа заставляет воспроизводящее фильм оконечное устройство 14, в ответ на запрос от управляющего программного обеспечения 21, передавать запрос на передачу Фрагментированного файла MP4. Кроме того, программное обеспечение 23 доступа заставляет воспроизводящее фильм оконечное устройство 14 начинать прием Фрагментированного файла MP4, передаваемого с web-сервера 12 в ответ на запрос о передаче, и подает программному обеспечению 22 воспроизведения фильма уведомление о начале приема.

Пример конфигурации Фрагментированного файла MP4

Фиг. 2 представляет собой схему, на которой показан пример конфигурации Фрагментированного файла MP4.

Фрагментированный файл MP4 имеет состоящую из полей структуру и включает в себя сегмент инициализации и один или более медиасегментов (сегментов медиаданных).

Сегмент инициализации включает в себя поле ftyp (поле "Тип файла") и поле moov (поле "Фильм") из числа полей, входящих в состав Фрагментированного файла MP4.

Поле ftyp представляет собой поле, помещенное вверху файла, и тип формата файла описывается в поле ftyp посредством четырехсимвольного кода. Здесь, в поле ftyp, описан "dash", в качестве четырехсимвольного кода, представляющего, в качестве формата файла, например, формат MPEG-DASH.

В поле moov описываются метаданные фильма ("Метаданные фильма"), содержащие одну или более дорожек (подробности этого будут описаны позже), воспроизводимых в одно и то же время. Поскольку формат Фрагментированного файла MP4 представляет собой формат Фрагментированного фильма, то поле moov не включает в себя никакого поля mdat.

Медиасегмент включает в себя поле styp (поле "Тип файла сегмента"), поле sidx (поле "Индекс сегмента для поля Фрагментов фильма") и один или более Фрагментов фильма.

В поле styp, формат сегмента описывается посредством четырехсимвольного кода. Здесь, в поле styp, описан, например, "msdh", как четырехсимвольный код, представляющий в качестве формата сегмента медиасегмент.

В поле sidx, описана, например, информация о позиции, представляющая позицию в Фрагментированном файле MP4, занимаемую под-сегментлм (подсегментом), содержащим один или более фрагментов фильма.

Фрагмент фильма включает в себя поле moof (поле "Фрагмент фильма") и поле mdat (поле "Медиаданные"). В поле moof описываются информация управления временем и информация управления адресами закодированного потока данных, помещенного в поле mdat. В поле mdat помещен, для каждого "сэмпла", закодированный поток данных, имеющий произвольную продолжительность. "Сэмпл" представляет собой минимальный элемент доступа в закодированном потоке данных, и соответствует, например, одному кадру.

Поскольку, как было описано выше, нет поля mdat, соответствующего полю moov, то закодированный поток данных верхнего "сэмпла", помещенного в поле mdat, соответствующем полю moof, представляет собой закодированный поток данных "сэмпла" вверху Фрагментированного файла MP4.

Пример конфигурационный поля Moov

Фиг. 3 представляет собой схему, на которой показан пример конфигурации поля moov, показанного на фиг. 2.

Как показано на фиг. 3, в поле moov помещено поле mvhd (поле "Заголовок фильма"). В поле "Заголовок фильма" описываются информация для задания временно́й шкалы фильма, информация об увеличении и уменьшении данных изображения фильма и повороте фильма, информация о скорости воспроизведения фильма и тому подобное. Временна́я шкала фильма представляет собой ось продолжительности времени воспроизведения, обычно используемую для фильма.

В поле "Фильм" также помещено поле Trak (поле "Дорожка") для каждой дорожки. Дорожка представляет собой элемент управления закодированным потоком данных контента фильма, и группу "сэмплов" одного и того же вида (изображение, аудио и тому подобное). В поле Trak описывается управляющая информация, относящаяся к соответствующей дорожке.

В частности, в поле Trak помещены поле tkhd (поле "Заголовок дорожки"), поле edts (поле "Монтаж") и поле mdia (поле "Медиа"). В поле tkhd, в случае, при котором дорожка представляет собой группу "сэмплов" изображения, описывается информация объединения экранного изображения, содержащая положение изображения на отображаемом экранном изображении. Кроме того, в поле tkhd также описывается информация о дорожке, такая как информация, представляющая взаимосвязь между дорожками.

В поле edts описывается монтажный лист дорожки. Монтажный лист ассоциативно связывает начальную позицию воспроизведения закодированного потока данных контента с продолжительностью времени воспроизведения закодированного потока данных, воспроизводимого от этой позиции воспроизведения, то есть по порядку от времени начала воспроизведения на временно́й шкале фильма, как было описано выше. В частности, монтажный лист представляет собой информацию для управления воспроизведением дорожек во всем фильме.

Отметим, что нет необходимости обязательно описывать монтажный лист в поле edts. В этом случае, контент воспроизводится со времени начала воспроизведения по временно́й шкале фильма, как времени начала воспроизведения контента, соответствующего полю edts, то есть, времени начала воспроизведения по медийной временно́й шкале (временно́й шкале медиа (аудио / визуальных данных)), которая будет описана позже.

В поле mdia помещены поле mdhd (поле "Заголовок медиа"), поле hdlr (поле "Обработчик медиа") и поле minf (поле "Информация о медиа"), в котором описывается информация о медиапотоке (Медиа), как закодированном потоке данных дорожки.

В поле mdhd и поле hdlr описываются информация, представляющая вид данных медиапотока, информация для настройки медийной временно́й шкалы, которая представляет собой ось продолжительности времени воспроизведения, выраженную в элементах медиа (в элементах дорожек), и тому подобное. В случае, при котором медиапоток представляет собой закодированный поток аудиоданных, в поле mdhd и поле hdlr также описывается информация, представляющая язык аудиоданных.

В поле minf помещены поле dinf (поле "Информация о данных") и поле stbl (поле "Таблица сэмплов"). Кроме того, в случае, при котором медиапоток представляет собой закодированный поток данных изображения, в поле "Информация о медиа" также помещено поле vmhd (поле "Заголовок видеоданных медиа").

В поле dinf, описываются место хранения медиапотока и способ ссылки. Поле stbl включает в себя поле stsd (поле "Описание сэмпла"), поле stts (поле "Время для сэмпла"), поле stsz (поле "Размер сэмпла"), поле stsc (поле "Связь сэмпла с чанком") и поле stco (поле "Смещение чанка").

В поле stsd даются одна или более записей о "сэмплах", содержащих информацию о конфигурации кодека, применяемого к этому медиапотоку. Каждой записи о "сэмпле" присвоен идентификатор, индивидуальный для этой записи о "сэмпле", и на этот идентификатор осуществляется ссылка в поле stsc. Информация о конфигурации кодека представляет собой информацию, относящуюся к кодированию, такую как способ кодирования.

В поле stts описывается продолжительность времени по медийной временно́й шкале медиапотока каждого образца. В частности, в поле stts описывается таблица, в которой эта продолжительность времени ассоциативно связана с количеством следующих друг за другом медиаданных, выраженным в единицах "сэмплов", в течение этой продолжительности времени в порядке от верхнего "сэмпла".

В поле stsz описывается размер данных медиапотока каждого "сэмпла" в порядке от верхнего "сэмпла". В поле stsc описывается количество "сэмплов", содержащихся в каждом "чанке" медиапотока, и идентификатор записи о "сэмпле" этого "чанка" в порядке от верхнего "чанка". "Чанк" ("порция") представляет собой управляемый по адресу элемент медиапотока.

В поле stco описывается смещение файла каждой колоды медиапотока описано в порядке от верхнего "чанка".

Пример конфигурации фильма

Фиг. 4 представляет собой схему, на которой показан пример конфигурации фильма.

В примере, показанном на фиг. 4, фильм (Фильм) включает в себя дорожку изображений (Видеоданные) и дорожку аудиоданных (Аудиоданные). Тракт изображений включает в себя множество "сэмплов" 41, а тракт аудиоданных включает в себя множество "сэмплов" 42.

Описание монтажного листа

Фиг. 5 представляет собой схему, на которой показан пример конфигурации монтажного листа. Фиг. 6 представляет собой схему, на которой описывается воспроизведение на основе монтажного листа, показанного на фиг. 5.

Как показано на фиг. 5, в монтажном листе, Продолжительность сегмента, Медийное время и Медийная скорость ассоциативно связаны друг с другом, как информация монтажного листа, в порядке со времени начала воспроизведения по временно́й шкале фильма. Медийное время представляет собой время по медийной временно́й шкале, которое представляет начальную позицию воспроизведения медиапотока, соответствующее полю edts, содержащему это медийное время. Продолжительность сегмента представляет собой продолжительность времени воспроизведения медиапотока, воспроизводимого от начальной позиции воспроизведения по временно́й шкале фильма, которое представлено соответствующим Медийным временем. Медийная скорость представляет собой скорость воспроизведения медиапотока, подлежащего воспроизведению.

Отметим, что в примере, показанном на фиг. 5, 1 секунда по временно́й шкале фильма составляет 90000, а 1 секунда по медийной временно́й шкале составляет 30000.

В монтажном листе, показанном на фиг. 5, в качестве верхней информации монтажного листа записаны: Продолжительность сегмента "90000 (1 сек)", Медийное время" -1 (Пустое)" и Медийная скорость "1,0". Отметим, что Медийное время"-1 (Пустое)" является информацией, представляющей то, что ничего не воспроизводится. Следовательно, как показано на фиг. 6, в течение времени: с 0_-ой секунды по 1_-ую секунду по временно́й шкале фильма, ничего не воспроизводится в качестве дорожки, соответствующей монтажному листу на фиг. 5.

В монтажном листе на фиг. 5, в качестве второй информации монтажного листа записаны: Продолжительность сегмента "180000 (2 сек)," Медийное время" 0 (0-ая сек)" и Медийная скорость "1,0". Следовательно, как показано на фиг. 6, медиапоток воспроизводится со скоростью 1x в течение времени: с 1-ой секунды по 3-ю секунду по временно́й шкале фильма, и в течение 2 секунд с 0_-ой секунды по медийной временно́й шкале.

В монтажном листе на фиг. 5, в качестве третьей информации монтажного листа записаны: Продолжительность сегмента "90000 (1 сек)," Медийное время" 90000 (3-я сек)" и Медийная скорость "1,0". Следовательно, как показано на фиг. 6, медиапоток воспроизводится со скоростью 1x в течение времени: с 3-ей секунды по 4-ую секунду по временно́й шкале фильма, и в течение 1 секунды с 3-ей секунды по медийной временно́й шкале.

Как было описано выше, в соответствии с монтажным листом на фиг. 5, имеется возможность последовательно воспроизводить медиапоток с 0-ой секунды по 2-ую секунду по медийной временно́й шкале и медиапоток с 3-ей секунды по 4-ую секунду по медийной временно́й шкале со скоростью 1x после 1 секунды от времени начала воспроизведения по временно́й шкале фильма.

Как было описано выше, в соответствии с этим монтажным листом, имеется возможность управлять временем начала воспроизведения медиапотока по временно́й шкале фильма, соответствующей монтажному листу и порядку воспроизведения. Таким образом, посредством этого монтажного листа, можно выполнять неразрушающий монтаж (нелинейный монтаж).

Пример времени начала воспроизведения медиапотока

Фиг. 7 представляет собой схему, на которой показан пример времени начала воспроизведения медиапотока.

Время начала воспроизведения медиапотока позже, чем время начала воспроизведения по временно́й шкале фильма, на некоторое Начальное смещение, как это показано в верхней части фиг. 7, является тем же самым, что и время начала воспроизведения по временно́й шкале фильма, как это показано в средней части фиг. 7, или раньше чем время начала воспроизведения по временно́й шкале фильма, на некоторое Композиционное смещение, как это показано в нижней части фиг. 7. Начальное и Композиционное смещение, каждое, представляют разность между временем начала воспроизведения медиапотока и временем начала по временно́й шкале фильма.

В случае, при котором время начала воспроизведения медиапотока позже, чем время начала воспроизведения по временно́й шкале фильма, на Начальное смещение, как это показано в верхней части фиг. 7, в монтажный лист записывается информация монтажного листа, содержащая Медийное время "-1", как информация "пустого" монтажа. Кроме того, поскольку в стандартах MP4 запрещен монтажный лист, содержащий только информацию "пустого" монтажа, то в монтажный лист записывается также информация монтажного листа, отличная от информации "пустого" монтажа.

В случае, при котором время начала воспроизведения медиапотока является тем же самым, что и время начала воспроизведения по временно́й шкале фильма, как это показано в средней части фиг. 7, необходимость генерировать монтажный лист отсутствует.

В случае, при котором время начала воспроизведения медиапотока раньше, чем время начала воспроизведения по временно́й шкале фильма, на Композиционное смещение, как это показано в нижней части фиг. 7, то есть, верхняя часть медиапотока не воспроизводится, в монтажный лист как информация "непустого" монтажа записывается информация монтажного листа, содержащая в качестве Медийного времени время Композиционного смещения по медийной временно́й шкале.

Описание монтажного листа при создании Композиционного смещения

Фиг. 8 представляет собой схему, на которой показан пример медиапотока при создании Композиционного смещения. Фиг. 9 представляет собой схему, на которой показан пример монтажного листа при создании Композиционного смещения, которое показано на фиг. 8.

Отметим, что в примерах на фиг. 8 и фиг. 9, 1 секунда по временно́й шкале фильма составляет 90000, и 1 секунда по медийной временно́й шкале составляет 30000. Кроме того, скорость воспроизведения медиапотока составляет 1x.

В случае, при котором время Композиционного смещения по медийной временно́й шкале составляет 3000 (0,1 сек) и время медиапотока по временно́й шкале фильма составляет 90000 (10 сек), как это показано на фиг. 8, необходимо сгенерировать монтажный лист, который показан в части А на фиг. 9 в случае файла MP4 в формате, отличном от формата Фрагментированного фильма.

В частности, как показано в части А на фиг. 9, необходимо в качестве Продолжительности сегмента, Медийного времени и Медийной скорости в монтажном листе записать, соответственно, "900000 (10 сек)", которые представляют собой время медиапотока по временно́й шкале фильма, "3000 (0,1 сек)", которые представляют собой время Композиционного смещения по медийной временно́й шкале, и "1,0".

С другой стороны, во Фрагментированном файле MP4, "0" определен как информация, представляющая то, что это Продолжительность сегмента информации "непустого" монтажа. Следовательно, в случае, при котором время начала воспроизведения медиапотока раньше, чем время начала воспроизведения по временно́й шкале фильма, на Композиционное смещение, необходимо лишь записать "0" в качестве Продолжительности сегмента информации "непустого" монтажа независимо от времени медиапотока по временно́й шкале фильма.

Соответственно, имеется возможность записывать информацию "непустого" монтажа даже в случае, при котором при генерировании поля moov нельзя узнать продолжительность времени медиапотока, помещенного в поле mdat, соответствующее полю moof.

Описание монтажного листа файла MP4 в формате, отличном от формата фрагментированного фильма, при создании начального смещения

Фиг. 10 представляет собой схему, на которой показан пример медиапотока при создании Начального смещения. Фиг. 11 представляет собой схему, на которой показан пример монтажного листа файла MP4 в формате, отличном от формата Фрагментированного фильма, при создании Начального смещения, которое показано на фиг. 10.

Отметим, что в примерах, показанных на фиг. 10 и фиг. 11, 1 секунда по временно́й шкале фильма составляет 90000, и скорость воспроизведения медиапотока составляет 1x.

В случае, при котором время Начального смещения по временно́й шкале фильма составляет 9000 (0,1 сек) и время медиапотока по временно́й шкале фильма составляет Tx, как это показано на фиг. 10, необходимо сгенерировать монтажный лист, который показан на фиг. 11, в файле MP4 в формате, отличном от формата Фрагментированного фильма.

В частности, как показано на фиг. 11, сначала в монтажном листе записывается информация "пустого" монтажа, содержащая в качестве Медийного времени, Продолжительности сегмента и Медийной скорости, соответственно, "-1 (Пустое)", представляющее то, что ничего не воспроизводится, "9000 (0,1 сек)", которые представляют собой время Начального смещения по временно́й шкале фильма, и "1,0".

Затем, поскольку необходимо также записать информацию монтажного листа, отличную от информации "пустого" монтажа, в монтажный лист записывается монтажная информация, содержащая, в качестве Продолжительности сегмента, "Tx", которая представляет собой время медиапотока по временно́й шкале фильма, в качестве информации неизменяемого монтажа. Медийное время информации неизменяемого монтажа представляет собой "0", который представляет время начала воспроизведения по медийной временно́й шкале, а Медийная скорость составляет "1.0".

Однако, в Фрагментированном файле MP4, нет поля mdat, соответствующего полю moov, и продолжительность времени медиапотока, помещенного в поле mdat, соответствующее полю moof, нельзя в некоторых случаях узнать при генерировании поля moov. Например, в случае, при котором медиапоток представляет собой закодированный поток видеоданных в прямом эфире, продолжительность времени медиапотока неизвестна до тех пор, пока не закончена съемка.

Кроме того, хотя в случае, при котором создается Композиционное смещение, нет необходимости узнавать продолжительность времени медиапотока, в случае, при котором создается Начальное смещение, узнать продолжительность времени медиапотока необходимо. Следовательно, обработка данных при генерировании монтажного листа является сложной. В частности, обработка данных при генерировании монтажного листа является сложной по причине того, что способ генерирования монтажного листа отличается для типа смещения.

Следовательно, в настоящем раскрытии, монтажный лист Фрагментированного файла MP4 при создании Начального смещения генерируется таким образом, чтобы отличаться от монтажного листа файла MP4 в формате, отличном от формата Фрагментированного фильма.

Описание первого примера монтажного листа Фрагментированного файла MP4 при создании Начального смещения

Фиг. 12 и фиг. 13, каждая, представляют собой схему, на которой описывается первый пример монтажного листа Фрагментированного файла MP4 при создании Начального смещения, которое показано на фиг. 10.

Как показано на фиг. 12 и фиг. 13, в монтажном листе Фрагментированного файла MP4, например, записана информация "непустого" монтажа, в которой Медийное время представляет собой "0", как некоторая фиктивная информация монтажного листа, вместо информации неизменяемого монтажа, показанной на фиг. 11.

В частности, как показано на фиг. 13, в монтажном листе записана информация "пустого" монтажа, аналогично случаю, показанному на фиг. 11. Однако, в качестве Продолжительности сегмента, относящейся к информации монтажного листа, отличной от информации "пустого" монтажа, записывается "0", который представляет то, что это-Продолжительность сегмента, относящейся к фиктивной информации монтажного листа для того, чтобы записать в этот монтажный лист информацию "пустого" монтажа.

Кроме того, в корреспонденции с этой Продолжительностью сегмента, составляющей "0", записываются, в качестве Медийного времени и Медийной скорости, соответственно, время по медийной временно́й шкале, которое представляет верхнюю позицию в медиапотоке, то есть, "0", который представляет время начала воспроизведения по медийной временно́й шкале, и "1,0".

Описание второго примера монтажного листа Фрагментированного файла MP4 при создании Начального смещения

Фиг. 14 и фиг. 15, каждая, представляют собой схему, на которой описывается второй пример монтажного листа Фрагментированного файла MP4 при создании Начального смещения, которое показано на фиг. 10.

Как показано на фиг. 14 и фиг. 15, в монтажном листе Фрагментированного файла MP4, например, записана информация неопределенного монтажа, в которой Медийное время представляет собой значение "0xFFFFFFFF", представляющее то, что это - неопределенное значение, как фиктивная информация монтажного листа, вместо неизменяемого монтажа, показанного на фиг. 11.

В частности, как показано на фиг. 15, в монтажном листе записана информация "пустого" монтажа, аналогично случаю, показанному на фиг. 11. Однако, в качестве Продолжительности сегмента, относящейся к информации монтажного листа, отличной от информации "пустого" монтажа, записывается значение "0xFFFFFFFF", в котором все разряды представляют собой 1, которое представляет то, что это-Продолжительность сегмента, относящаяся к фиктивной информации монтажного листа для того, чтобы записать в этот монтажный лист информацию "пустого" монтажа.

Кроме того, в корреспонденции с этой Продолжительностью сегмента, составляющей "0xFFFFFFFF", записываются, в качестве Медийного времени и Медийной скорости, соответственно, время по медийной временно́й шкале, которое представляет верхнюю позицию в медиапотоке, то есть, "0", который представляет время начала воспроизведения по медийной временно́й шкале, и "1,0".

Как было описано выше, в настоящем раскрытии, в качестве Продолжительности сегмента, относящейся к информации монтажного листа, отличной от информации "пустого" монтажа, записывается значение, представляющее то, что это - фиктивная информация монтажного листа для того, чтобы записать в этот монтажный лист информацию "пустого" монтажа.

Следовательно, имеется возможность записывать информацию "пустого" монтажа даже в случае, при котором при генерировании поля moov нельзя узнать продолжительность времени медиапотока, помещенного в поле mdat, соответствующее полю moof,. Кроме того, поскольку монтажный лист можно сгенерировать, не узнавая продолжительность времени медиапотока, эффективность создания этого листа повышается.

Кроме того, даже в случае, при котором создается Начальное смещение, нет необходимости узнавать продолжительность времени медиапотока, аналогично случаю, при котором создается Композиционное смещение. Кроме того, на обработку данных при генерировании монтажного листа не влияет никакое поле кроме поля moov. Следовательно, обработка обработку данных при генерировании монтажного листа упростилась.

Кроме того, поскольку в монтажный лист, описанный на фиг. 12-15, записывается информация монтажного листа, отличная от информации "пустого" монтажа, то это не нарушает стандарты MP4.

Пример конфигурации блока генерирования файла MP4

Фиг. 16 представляет собой структурную схему, на которой показан пример конфигурации блока генерирования файла MP4 в устройстве 11 генерирования файлов, показанном на фиг. 1, который генерирует Фрагментированный файл MP4.

Блок 60 генерирования файла, показанный на фиг. 16, включает в себя: кодирующий блок 61, блок 62 генерирования монтажного листа, мультиплексор 63 и загружающий блок 64.

Кодирующий блок 61, входящий в состав блока 60 генерирования файла, получает данные, такие как данные изображений и аудиоданные контента фильма. Кодирующий блок 61 кодирует полученные данные с множеством скоростей кодирования для того, чтобы сгенерировать закодированный поток данных. Кодирующий блок 61 разделяет закодированный поток данных на элементы-сегменты для каждой скорости кодирования, и подает его на мультиплексор 63.

Кроме того, кодирующий блок 61 генерирует, для каждого медиапотока, информацию Композиционного смещения, которая, например, представляет в качестве Композиционного смещения разницу во времени отображения между изображением вверху в порядке отображения закодированных потоков данных в элементах сегментов и I-изображением вверху в порядке отображения. Кодирующий блок 61 подает сгенерированную информацию Композиционного смещения каждого медиапотока в блок 62 генерирования монтажного листа.

Блок 62 генерирования монтажного листа генерирует монтажный лист, для каждого медиапотока, на основе информации Композиционного смещения, подаваемой из кодирующего блока 61 и информации Начального смещения, которая представляет Начальное смещение в элементах сегментов, вводимых пользователем или тому подобным извне.

В частности, блок 62 генерирования монтажного листа, основываясь на информации Композиционного смещения, записывает, для каждого медиапотока, в качестве Медийного времени монтажного листа, Продолжительности сегмента и Медийной скорости, соответственно, время Композиционного смещения по медийной временно́й шкале, "0" и скорость воспроизведения медиапотока. Кроме того, блок 62 генерирования монтажного листа, основываясь на информации Начального смещения, записывает, для каждого медиапотока, в качестве Медийного времени монтажного листа, Продолжительности сегмента и Медийной скорости, соответственно, время "0", "0" или "0xFFFFFFFF" и скорость воспроизведения медиапотока. Блок 62 генерирования монтажного листа подает сгенерированный монтажный лист каждого медиапотока на мультиплексор 63.

Мультиплексор 63 (блок генерирования файла) генерирует Фрагментированный файл MP4, содержащий закодированный поток в элементах сегментов и монтажный лист каждого медиапотока, соответствующего сегменту, для каждой скорости кодирования. В частности, мультиплексор 63 помещает закодированный поток данных в элементы сегментов в поле mdat, и монтажный лист каждого медиапотока - в поле moov, генерируя Фрагментированный файл MP4. Мультиплексор 63 подает сгенерированный Фрагментированный файл MP4 в загружающий блок 64.

Загружающий блок 64 загружает Фрагментированный файл MP4, подаваемый из мультиплексора 63, на web-сервер 12, показанный на фиг. 1.

Описание обработки данных в блоке генерирования файла

Фиг. 17 представляет собой блок-схему алгоритма, на которой описывается обработка данных при генерировании Фрагментированного файла MP4, выполняемая блоком 60 генерирования файла, показанным на фиг. 16.

На этапе S11 на фиг. 17, кодирующий блок 61, входящий в состав блока 60 генерирования файла, получает данные, такие как данные изображений и аудиоданные контента фильма. На этапе S12, блок 62 генерирования монтажного листа получает информацию Начального смещения, вводимую пользователем или тому подобным извне.

На этапе S13, кодирующий блок 61 кодирует полученные данные с множеством скоростей кодирования для того, чтобы сгенерировать закодированный поток данных. Кодирующий блок 61 разделяет закодированный поток данных на элементы-сегменты для каждой скорости кодирования, и подает его на мультиплексор 63.

На этапе S14, кодирующий блок 61 генерирует, для каждого медиапотока, информацию Композиционного смещения и подает ее в блок 62 генерирования монтажного листа.

На этапе S15, блок 62 генерирования монтажного листа генерирует, для каждого медиапотока, монтажный лист на основе полученной информации Начального смещения и информации Композиционного смещения, поданной из кодирующего блока 61.

На этапе S16, мультиплексор 63 генерирует Фрагментированный файл MP4, содержащий закодированный поток данных в элементах сегментов, и монтажный лист каждого медиапотока, соответствующего сегменту, для каждой скорости кодирования. Мультиплексор 63 подает сгенерированный Фрагментированный файл MP4 в загружающий блок 64.

На этапе S17, загружающий блок 64 загружает Фрагментированный файл MP4, подаваемый из мультиплексора 63, на web-сервер 12, показанный на фиг. 1.

Как было описано выше, устройство 11 генерирования файлов, в случае, при котором создается Начальное смещение, записывает в качестве Медийного времени и Продолжительности сегмента в монтажном листе, соответственно, "0" и "0" или "0xFFFFFFFF". Следовательно, имеется возможность сгенерировать монтажный лист даже в случае, при котором нельзя узнать продолжительность времени медиапотока. В результате этого, воспроизводящее фильм оконечное устройство 14 способно на основе монтажного листа воспроизводить медиапоток со времени, которое позже, чем время начала воспроизведения по временно́й шкале фильма, на Начальное смещение.

Кроме того, поскольку кодирующему блоку 61 в случае, при котором создается Композиционное смещение, нет необходимости узнавать продолжительность времени медиапотока и подавать ее в блок 62 генерирования монтажного листа, то эффективность обработки данных в кодирующем блоке 61 является превосходной. Кроме того, поскольку в случае, при котором создается Начальное смещение, пользователю нет необходимости узнавать продолжительность времени медиапотока и подавать ее в блок 62 генерирования монтажного листа, эффективность создания монтажного листа является превосходной.

Пример функциональной структуры воспроизводящего фильм оконечного устройства

Фиг. 18 представляет собой структурную схему, на которой показан пример конфигурации блока потокового воспроизведения, реализуемый воспроизводящим фильм оконечным устройством 14 на фиг. 1, исполняющим управляющее программное обеспечение 21, программное обеспечение 22 воспроизведения фильма и программное обеспечение 23 доступа.

Блок 80 потокового воспроизведения включает в себя демультиплексор 81, декодирующий блок 82, блок 83 генерирования информации смещения и блок 84 воспроизведения.

В демультиплексор 81, входящий в состав блока 80 потокового воспроизведения, вводится Фрагментированный файл MP4, подлежащий воспроизведению. Это Фрагментированный файл MP4 получают с web-сервера 12 на основе URL (Универсального указателя ресурса) Фрагментированного файла MP4, подлежащего воспроизведению, который получен воспроизводящим фильм оконечным устройством 14 при анализе MPD-файла, полученного с web-сервера 12.

Демультиплексор (извлекающий блок) 81 извлекает из поля moov Фрагментированного файла MP4 монтажный лист каждого медиапотока, и подает его в блок 83 генерирования информации смещения. Кроме того, демультиплексор 81 извлекает закодированный поток данных, помещенный в поле mdat Фрагментированного файла MP4, и подает его в декодирующий блок 82.

Декодирующий блок 82 декодирует закодированный поток данных, поданный из демультиплексора 81, и генерирует данные, такие как данные изображений и аудиоданные контента фильма. Декодирующий блок 82 подает сгенерированные данные, такие как данные изображений и аудиоданные в блок 84 воспроизведения.

Блок 83 генерирования информации смещения генерирует, для каждого медиапотока, информацию смещения, содержащую информацию Начального смещения и информацию Композиционного смещения, на основе монтажного листа, поданного из демультиплексора 81. В частности, блок 83 генерирования информации смещения генерирует, для каждого медиапотока, информацию смещения со временем, представленным Медийным временем, как Композиционное смещение на основе информации Non_empty ("непустого") монтажа, в которой Продолжительность сегмента представляет собой "0", а Медийное время не является "0", которая записана в монтажном листе.

Кроме того, блок 83 генерирования информации смещения генерирует, для каждого медиапотока, информацию смещения со временем, представленным Продолжительностью сегмента, как Начальное смещение на основе информации "пустого" монтажа, записанной в монтажном листе. Кроме того, блок 83 генерирования информации смещения игнорирует информацию монтажа, в которой Продолжительность сегмента представляет собой "0" или "0xFFFFFFFF" и Медийное время представляет собой "0", которая записана в монтажном листе. Блок 83 генерирования информации смещения подает сгенерированную информацию смещения каждого медиапотока в блок 84 воспроизведения.

Блок 84 воспроизведения воспроизводит (выводит), для каждого медиапотка, данные, подаваемые из декодирующего блока 82, основываясь на информации смещения, поданной из блока 83 генерирования информации смещения. В частности, на основе информации Начального смещения блок 84 воспроизведения воспроизводит (выводит), для каждого медиапотока, данные со времени, которое позже, чем время начала по временно́й шкале фильма, на Начальное смешение. Отметим, что начальная позиция воспроизведения данных представляет собой позицию с отставанием от верхней позиции данных на Композиционное смещение, представленное информацией Композиционного смещения.

Данные изображений и аудиоданные из числа данных, воспроизводимых блоком 84 воспроизведения, подаются, соответственно, в блок отображения, такой как устройство отображения (не показанное на чертеже), и в громкоговоритель (не показанный на чертеже).

Описание обработки данных в блоке потокового воспроизведения

Фиг. 19 представляет собой блок-схему алгоритма, на которой описывается обработка данных при воспроизведении, выполняемая блоком 80 потокового воспроизведения, показанным на фиг. 18.

На этапе S31 на фиг. 19, демультиплексор 81, входящий в состав блока 80 потокового воспроизведения, получает с web-сервера 12 Фрагментированный файл MP4, подлежащий воспроизведению. На этапе S32, демультиплексор 81 извлекает из Фрагментированного файла MP4 закодированный поток данных и монтажный лист каждого медиапотока. Демультиплексор 81 подает монтажный лист каждого медиапотока в блок 83 генерирования информации смещения, а закодированный поток данных в декодирующий блок 82.

На этапе S33, блок 83 генерирования информации смещения генерирует, на основе монтажного листа, поданного из демультиплексора 81, информацию смещения для каждого медиапотока, и подает ее в блок 84 воспроизведения.

На этапе S34, декодирующий блок 82 декодирует закодированный поток данных, поданный из демультиплексора 81, и генерирует данные, такие как данные изображений и аудиоданных контента фильма. Декодирующий блок 82 подает сгенерированные данные, такие как данные изображений и аудиоданные, в блок 84 воспроизведения.

На этапе S35, блок 84 воспроизведения воспроизводит, для каждого медиапотока, данные, подаваемые из декодирующего блока 82, основываясь на информации смещения, поданной из блока 83 генерирования информации смещения. После этого, обработка данных завершается.

Как было описано выше, воспроизводящее фильм оконечное устройство 14 в случае, при котором создается Начальное смещение, воспроизводит данные со времени, которое позже, чем время начала воспроизведения по временно́й шкале фильма, на Начальное смещение на основе монтажного листа.

Второй вариант воплощения изобретения

Пример конфигурации блока генерирования файла, соответствующий второму варианту воплощения системы обработки информации

Конфигурация второго варианта воплощения системы обработки информации, в которой (системе) применено настоящее раскрываемое изобретение, является такой же, как конфигурация системы 10 обработки информации, показанная на фиг. 1, за исключением блока генерирования файла устройства 11 генерирования файлов. Поэтому, ниже будет описываться только блок генерирования файла.

Фиг. 20 представляет собой структурную схему, на которой показан пример конфигурации блока генерирования файла, соответствующий второму варианту воплощения системы обработки информации, в которой (системе) применено настоящее раскрываемое изобретение.

Из компонентов, показанных на фиг. 20, компоненты, одинаковые с теми, что показаны на фиг. 16, обозначены теми же самыми ссылочными позициями. Совпадающее описание будет, соответственно, опущено.

Конфигурация блока 100 генерирования файла, показанная на фиг. 20, отличается от конфигурации блока 60 генерирования файла, показанной на фиг. 16, тем, что вместо кодирующего блока 61 и блока 62 генерирования монтажного листа предусмотрены демультиплексор 101 и блок 102 генерирования монтажного листа. В блок 100 генерирования файла вводятся не данные контента фильма перед кодированием, но TS-файл (файл Транспортного потока) в элементах сегментов по стандартам MPEG2 (стандартам Экспертной группа по вопросам движущегося изображения, стадии 2), который был закодирован с каждой скоростью кодирования.

Демультиплексор 101, входящий в состав блока 100 генерирования файла, получает TS-файл каждой дорожки контента фильма. Демультиплексор 101 извлекает из TS-файла каждой дорожки транспортный поток и подает его на мультиплексор 63 как закодированный поток данных.

Кроме того, демультиплексор 101, на основе времени воспроизведения и тому подобном, содержащемся в TS-файле каждой дорожки контента фильма, определяет информацию Начального смещения каждой дорожки. Демультиплексор 101, на основе способа кодирования и тому подобного TS-файла каждой дорожки, определяет информацию Композиционного смещения каждой дорожки. Демультиплексор 101 подает, для каждой дорожки, информацию смещения, содержащую эту определенную информацию Начального смещения и это определенное Композиционное смещение, в блок 102 генерирования монтажного листа.

Блок 102 генерирования монтажного листа генерирует монтажный лист на основе информации смещения, поданной из демультиплексора 101, аналогично блоку 62 генерирования монтажного листа, показанному на фиг. 16, и подает его на мультиплексор 63.

Как было описано выше, блок 100 генерирования файла генерирует Фрагментированный файл MP4, без перекодирования TS-файла каждой дорожки введенного контента фильма.

Описание обработки данных в блоке генерирования файла

Фиг. 21 представляет собой блок-схему алгоритма, на которой описывается обработка данных при генерировании Фрагментированного файла MP4, выполняемая блоком 100 генерирования файла, показанным на фиг. 20.

На этапе S51 на фиг. 21, демультиплексор 101, входящий в состав блока 100 генерирования файла, получает TS-файл каждой дорожки контента фильма.

На этапе S52, демультиплексор 101 извлекает из TS-файла каждой дорожки транспортный поток, и подает его на мультиплексор 63. На этапе S53, демультиплексор 101 генерирует на основе TS-файла каждой дорожки информацию смещения, и подает эту информацию в блок 102 генерирования монтажного листа.

На этапе S54, блок 102 генерирования монтажного листа генерирует монтажный лист на основе информации смещения, поданной из демультиплексора 101, и подает его на мультиплексор 63.

Поскольку обработка данных на этапах S55 и S56 является одинаковой с обработкой данных на этапах S16 и S17, показанных на фиг. 17, то ее описание будет опущено.

Третий вариант воплощения изобретения

Пример конфигурации блока генерирования файла, соответствующий третьему варианту воплощения системы обработки информации

Конфигурация третьего варианта воплощения системы обработки информации, в которой применено настоящее раскрываемое изобретение, является такой же, как конфигурация системы 10 обработки информации, показанная на фиг. 1, за исключением блока генерирования файла устройства 11 генерирования файлов. Поэтому, ниже будет описываться только блок генерирования файла.

Фиг. 22 представляет собой структурную схему, на которой показан пример конфигурации блока генерирования файла, соответствующий третьему варианту воплощения системы обработки информации, в которой применено настоящее раскрываемое изобретение.

Из компонентов, показанных на фиг. 22, компоненты, одинаковые с теми, что показаны на фиг. 20, обозначены теми же самыми ссылочными позициями. Совпадающее описание будет, соответственно, опущено.

Конфигурация блока 120 генерирования файла, показанная на фиг. 22, отличается от конфигурации блока 100 генерирования файла, показанной на фиг. 20, тем, что вместо демультиплексора 101 дополнительно предусмотрен блок 121 обработки данных при монтаже и предусмотрен демультиплексор 122. Блок 120 генерирования файла исполняет вырезающий монтаж в отношении TS-файла в элементах сегментов по стандартам MPEG2, который был закодирован с каждой скоростью кодирования, и генерирует Фрагментированный файл MP4.

В частности, блок 121 обработки данных при монтаже, входящий в состав блока 120 генерирования файла, получает TS-файл каждой дорожки контента фильма. Блок 121 обработки данных при монтаже выполняет вырезающий монтаж, при котором часть впереди или сзади контента фильма удаляется на основе ввода данных пользователем и тому подобного. В частности, блок 121 обработки данных при монтаже генерирует монтажную временну́ю информацию, которая представляет время начала воспроизведения (PTS (Временно́й ярлык представления)) и время конца воспроизведения контента фильма после вырезающего монтажа. Блок 121 обработки данных при монтаже подает TS-файл каждой дорожки и монтажную временну́ю информацию на демультиплексор 122.

Демультиплексор 122 извлекает, для каждой дорожки, из транспортных потоков, хранящихся в TS-файле, поданном из блока 121 обработки данных при монтаже, транспортный поток от времени начала воспроизведения до времени конца воспроизведения, представленных монтажной временно́й информацией, как транспортный поток после вырезающего монтажа. При этом, поскольку элемент управления временем различается для каждой дорожки, создаются Начальное смещение и Композиционное смещение. Следовательно, демультиплексор 122 генерирует информацию Начального смещения и информацию Композиционного смещения для каждой дорожки, и подает их, как информацию смещения, в блок 102 генерирования монтажного листа. Кроме того, демультиплексор 122 подает транспортный поток после вырезающего монтажа, как закодированный поток данных, на мультиплексор 63.

Как было описано выше, блок 120 генерирования файла выполняет вырезающий монтаж в отношении TS-файла каждой дорожки вводимого контента фильма, без перекодирования этого файла, и генерирует Фрагментированный файл MP4 контента фильма после вырезающего монтажа.

Описание обработки данных в блоке генерирования файла

Фиг. 23 представляет собой блок-схему алгоритма, на которой описывается обработка данных при генерировании Фрагментированного файла MP4, выполняемая блоком 120 генерирования файла, показанным на фиг. 22.

На этапе S71 на фиг. 23, блок 121 обработки данных при монтаже, входящий в состав блока 120 генерирования файла получает TS-файл каждой дорожки контента фильма. На этапе S72, блок 121 обработки данных при монтаже выполняет вырезающий монтаж, генерируя монтажную временну́ю информацию на основе ввода данных пользователем и тому подобного. Блок 121 обработки данных при монтаже подает TS-файл каждой дорожки и монтажную временну́ю информацию на демультиплексор 122.

На этапе S73, на основе монтажной временно́й информации демультиплексор 122 извлекает, для каждой дорожки, из транспортных потоков, хранящихся в TS-файле, поданном из блока 121 обработки данных при монтаже, транспортный поток после вырезающего монтажа. Демультиплексор 122 подает транспортный поток после вырезающего монтажа, как закодированный поток данных, на мультиплексор 63.

На этапе S74, демультиплексор 122 генерирует информацию Начального смещения и информацию Композиционного смещения для каждой дорожки, сгенерированной посредством вырезающего монтажа, как информацию смещения, и подает ее в блок 102 генерирования монтажного листа.

Поскольку обработка данных на этапах: с S75 по S77, является одинаковой с обработкой данных на этапах: с S54 по S56, показанных на фиг. 21, то ее описание будет опущено.

Пример конфигурации блока генерирования файла, соответствующий четвертому варианту воплощения системы обработки информации

Конфигурация четвертого варианта воплощения системы обработки информации, в которой (системе) применено настоящее раскрываемое изобретение, является такой же, как конфигурация системы 10 обработки информации, показанная на фиг. 1, за исключением блока генерирования файла устройства 11 генерирования файлов. Поэтому, ниже будет описываться только блок генерирования файла.

Фиг. 24 представляет собой структурную схему, на которой показан пример конфигурации блока генерирования файла, соответствующий четвертому варианту воплощения системы обработки информации, в которой (системе) применено настоящее раскрываемое изобретение.

Из компонентов, показанных на фиг. 24, компоненты, одинаковые с теми, что показаны на фиг. 22, обозначены теми же самыми ссылочными позициями. Совпадающее описание будет, соответственно, опущено.

Конфигурация блока 140 генерирования файла, показанная на фиг. 24, отличается от конфигурации блока 120 генерирования файла, показанной на фиг. 22, тем, что вместо блока 121 обработки данных при монтаже, блока 102 генерирования монтажного листа и мультиплексора 63 предусмотрены блок 141 обработки данных при монтаже, блок 142 генерирования монтажного листа и мультиплексор 143, а демультиплексор 122 не предусмотрен.

В блок 140 генерирования файла вводится Фрагментированный файл MP4 контента фильма. Блок 140 генерирования файла добавляет, в качестве объекта воспроизведения, дорожку, которая хранится во Фрагментированном файле MP4 и не является объектом воспроизведения.

В частности, блок 141 обработки данных при монтаже, входящий в состав блока 140 генерирования файла, получает Фрагментированный файл MP4 контента фильма, и подает этот файл на мультиплексор 143. Кроме того, блок 141 обработки данных при монтаже выполняет дополнительный монтаж, при котором, на основе ввода данных пользователем и тому подобного, дорожка, которая содержится во Фрагментированном файле MP4 и не является объектом воспроизведения, добавляется в качестве объекта воспроизведения.

В частности, блок 141 обработки данных при монтаже генерирует информацию смещения на основе способа кодирования дорожки, добавленной в качестве объекта воспроизведения, времени начала воспроизведения и тому подобного. Блок 141 обработки данных при монтаже подает эту определенную информацию смещения блоку 102 генерирования монтажного листа.

Блок 142 генерирования монтажного листа генерирует, на основе информации смещения, поданной из блока 141 обработки данных при монтаже, монтажный лист дорожки, добавленной в качестве объекта воспроизведения, аналогично блоку 62 генерирования монтажного листа, показанному на фиг. 16, и подает его на мультиплексор 143.

Мультиплексор 143 заменяет монтажный лист дорожки, добавленной в качестве объекта воспроизведения, содержащийся в поле moov Фрагментированного файла MP4, поданного из блока 141 обработки данных при монтаже, на монтажный лист, поданный из блока 142 генерирования монтажного листа. Мультиплексор 143 подает Фрагментированный файл MP4, в котором был заменен монтажный лист, в загружающий блок 64.

Как было описано выше, блок 140 генерирования файла способен выполнять дополнительный монтаж без выполнения перекодирования. Следовательно, например, имеется возможность с легкостью сгенерировать из Фрагментированного файла MP4, объектом воспроизведения которого являются дорожки изображений и аудиоданных только на английском языке, Фрагментированный файл MP4, объектом воспроизведения которого являются дорожки изображений, аудиоданных на английском языке, и аудиоданных на японском языке.

Описание обработки данных в блоке генерирования файла

Фиг. 25 представляет собой блок-схему алгоритма, на которой описывается обработка данных при генерировании файла MP4, выполняемая блоком 140 генерирования файла, показанным на фиг. 24.

На этапе S91 на фиг. 25, блок 121 обработки данных при монтаже, входящий в состав блока 140 генерирования файла, получает Фрагментированный файл MP4 контента фильма и подает его на мультиплексор 143. На этапе S92, блок 141 обработки данных при монтаже выполняет, на основе ввода данных пользователем и тому подобного, дополнительный монтаж в отношении Фрагментированного файле MP4 и генерирует информацию смещения для дорожки, добавленной в качестве объекта воспроизведения. Блок 141 обработки данных при монтаже подает эту определенную информацию смещения блоку 102 генерирования монтажного листа.

На этапе S93, блок 142 генерирования монтажного листа генерирует, на основе информации смещения, поданной из блока 141 обработки данных при монтаже, монтажный лист дорожки, добавленной в качестве объекта воспроизведения, и подает его на мультиплексор 143.

На этапе S94, мультиплексор 143 обновляет монтажный лист дорожки, добавленной в качестве объекта воспроизведения, содержащийся в поле moov Фрагментированного файла MP4, поданного из блока 141 обработки данных при монтаже, посредством монтажного листа, поданного из блока 142 генерирования монтажного листа. Мультиплексор 143 подает полученный в результате этого Фрагментированный файл MP4 в загружающий блок 64.

На этапе S95, загружающий блок 64 загружает Фрагментированный файл MP4, поданный из мультиплексора 143, на web-серверу 12, показанный на фиг. 1, и эта обработка данных завершается.

Пятый вариант воплощения изобретения

Описание компьютера, к которому применяется настоящее раскрываемое изобретение

Описанная выше последовательность обработки данных, может быть исполнена посредством либо аппаратного обеспечения, либо программного обеспечения. При исполнении этой последовательности обработки данных посредством программного обеспечения, программа, составляющая программное обеспечение, устанавливается на компьютер. Здесь, примеры компьютера включают в себя компьютер, встроенный в специализированное аппаратное обеспечение, и компьютер, способный исполнять разнообразные функции при установке на него разнообразных программ, такой как универсальный персональный компьютер.

Фиг. 26 представляет собой структурную схему, на которой показан пример конфигурации аппаратного обеспечения компьютера, который по программе исполняет описанную выше последовательность обработки данных.

В компьютере 200, центральный процессор (CPU) 201, постоянное запоминающее устройство (ROM) (202) и оперативное запоминающее устройство (RAM) 203 соединены друг с другом посредством шины 204.

Также с шиной 204 соединен интерфейс 205 ввода/вывода. С интерфейсом 205 ввода/вывода соединены входной блок 206, выходной блок 207, записывающий блок 208, блок 209 связи и накопитель 210.

Входной блок 206 составлен из клавиатуры, "мыши", микрофона и тому подобного. Выходной блок 207 составлен из устройства отображения, громкоговорителя и тому подобного. Записывающий блок 208 составлен из жёсткого магнитного диска, энергонезависимого запоминающего устройства и тому подобного. Блок 209 связи составлен из сетевого интерфейса и тому подобного. Накопитель 210 приводит в действие съемный носитель 211 информации, такой как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.

В компьютере 200, сконфигурированном так, как это описано выше, центральный процессор 201, например, загружает программу, хранящуюся в записывающей секции 208 в оперативном запоминающем устройстве 203 через интерфейс 205 ввода/вывода и шину 204, и исполняет эту программу для того, чтобы выполнить описанных выше последовательность обработки данных.

Программа, исполняемая компьютером 200 (центральным процессором 201), может быть записана на съемный носитель 211 информации, как, например, компактный носитель информации, и предоставлена. Помимо этого, программа может быть предоставлена через проводную или беспроводную передающую среду, такую как локальная сеть, сеть "Интернет" и цифровое спутниковое вещание.

В компьютере 200, при загрузке съемного носителя 211 в накопитель 210, программа может быть установлена в записывающую секцию 208 через интерфейс 205 ввода/вывода. Программа также может быть принята секцией 209 связи через проводную или беспроводную передающую среду и установлена в записывающую секцию 208. В качестве альтернативы, программа может быть установлена заранее в постоянное запоминающее устройство (202) или записывающую секцию 208.

Отметим, что программа, подлежащая исполнению компьютером 200, может представлять собой программу, в которой обработка данных выполняется последовательно во времени в порядке, описанной в этой спецификации, или программу, в которой обработка данных выполняется параллельно или в нужные моменты времени, когда, например, она запускается.

Кроме того, в этой спецификации, термин "система" относится к группе из множества составляющих элементов (аппарат, модуль (компонент) и так далее), и не имеет значение то, предусматриваются ли все компоненты расположенными в одном и том же корпусе. Следовательно, как множество аппаратов, которые размещены в различных корпусах и соединены через сеть, таки и один аппарат, в котором множество модулей размещены в едином корпусе, именуются как система.

Отметим, что результаты, описанные в настоящем раскрытии, являются просто примерами и не ограничены, и могут быть обеспечены дополнительные результаты.

Кроме того, варианты воплощения настоящей технологии не ограничены вышеупомянутыми вариантами воплощения изобретения, и можно внести разнообразные изменения, не выходя при этом за рамки сути настоящей технологии.

Например, Медийное время, составляющее фиктивную информацию монтажного листа, может представлять собой значение, отличное от "0" и "0xFFFFFFFF".

Следует отметить, что настоящая технология может принимать следующие конфигурации.

(1) Устройство обработки информации, включающее в себя:

блок генерирования монтажного листа для регистрации, когда время начала воспроизведения контента позже, чем время начала воспроизведения контента по временно́й шкале фильма, в монтажном листе верхней позиции контента в качестве начальной позиции воспроизведения контента и заданного значения в качестве продолжительности времени воспроизведения контента, причем монтажный лист устанавливает ассоциативную связь начальной позиции воспроизведения контента с продолжительностью времени воспроизведения контента, воспроизводимого от начальной позиции воспроизведения; и

блок генерирования файла для генерирования файла в формате MP4 Фрагментированного фильма, причем файл содержит монтажный лист, сгенерированный блоком генерирования монтажного листа, и контент.

(2) Устройство обработки информации по (1), в котором

блок генерирования монтажного листа выполнен с возможностью регистрации, когда время начала воспроизведения контента позже, чем время начала воспроизведения контента по временно́й шкале фильма, в монтажном листе, в качестве начальной позиции воспроизведения контента, информации, указывающей, что ничего не воспроизводится, а в качестве продолжительности времени воспроизведения контента разницы между временем начала воспроизведения контента и временем начала воспроизведения по временно́й шкале фильма.

(3) Устройство обработки информации по (1) или (2), в котором

блок генерирования файла выполнен с возможностью помещения монтажного листа в поле moov указанного файла.

(4) Устройство обработки информации по любому из (1) - (3), в котором

указанное заданное значение представляет собой 0.

(5) Устройство обработки информации по любому из (1) - (3), в котором

все базы указанного заданного значения представляют собой 1.

(6) Способ обработки информации, включающий в себя:

этап генерирования монтажного листа, на котором регистрируют, с помощью устройства обработки информации, когда время начала воспроизведения контента позже, чем время начала воспроизведения контента по временно́й шкале фильма, в монтажном листе, верхнюю позицию контента в качестве начальной позиции воспроизведения контента и заданное значение в качестве продолжительности времени воспроизведения контента, причем монтажный лист устанавливает ассоциативную связь начальной позиции воспроизведения контента с продолжительностью времени воспроизведения контента, воспроизводимого от начальной позиции воспроизведения; и

этап генерирования файла, на котором генерируют, с помощью устройства обработки информации, файл в формате MP4 Фрагментированного фильма, причем файл содержит монтажный лист, сгенерированный при обработке данных на этапе генерирования монтажного листа, и контент.

(7) Устройство обработки информации, включающее в себя:

извлекающий блок для извлечения монтажного листа из файла в формате MP4 Фрагментированного фильма, причем файл содержит монтажный лист и контент, при этом в монтажном листе, когда время начала воспроизведения контента позже, чем время начала воспроизведения контента по временно́й шкале фильма, верхняя позиция контента и заданное значение записаны, соответственно, в качестве начальной позиции воспроизведения контента и продолжительности времени воспроизведения контента, воспроизводимого от начальной позиции воспроизведения, при этом монтажный лист устанавливает ассоциативную связь начальной позиции воспроизведения контента с продолжительностью времени воспроизведения контента; и

блок воспроизведения для воспроизведения, когда время начала воспроизведения контента позже, чем время начала воспроизведения контента по временно́й шкале фильма, контента во время, которое позже, чем время начала воспроизведения по временно́й шкале фильма, на разницу между временем начала воспроизведения контента и временем начала воспроизведения по временно́й шкале фильма, на основе монтажного листа, извлеченного извлекающим модулем.

(8) Устройство обработки информации по (7), в котором

когда время начала воспроизведения контента позже, чем время начала воспроизведения контента по временно́й шкале фильма, в монтажный лист записаны в качестве начальной позиции воспроизведения контента и в качестве продолжительности времени воспроизведения контента, соответственно, информация, представляющая то, что ничего не воспроизводится, и указанная разница.

(9) Устройство обработки информации по (7) или (8), в котором

монтажный лист помещен в поле moov указанного файла.

(10) Устройство обработки информации, соответствующее любому из (7) - (9), в котором

указанное заданное значение представляет собой 0.

(11) Устройство обработки информации по любому из (7) - (9), в котором

все биты указанного заданного значения представляют собой 1.

(12) Способ обработки информации, включающий в себя:

этап извлечения, на котором извлекают, с помощью устройства обработки информации, монтажный лист из файла в формате MP4 Фрагментированного фильма, причем файл содержит монтажный лист и контент, в монтажном листе, когда время начала воспроизведения контента позже, чем время начала воспроизведения контента по временно́й шкале фильма, верхняя позиция контента и заданное значение записаны, соответственно, в качестве начальной позиции воспроизведения контента и продолжительности времени воспроизведения контента, воспроизводимого от начальной позиции воспроизведения, при этом монтажный лист устанавливает ассоциативную связь начальной позиции воспроизведения контента с продолжительностью времени воспроизведения контента; и

этап воспроизведения, на котором воспроизводят, с помощью устройства обработки информации, когда время начала воспроизведения контента позже, чем время начала воспроизведения контента по временно́й шкале фильма, контент во время, которое позже, чем время начала воспроизведения по временно́й шкале фильма, на разницу между временем начала воспроизведения контента и временем начала воспроизведения по временно́й шкале фильма, на основе монтажного листа, извлеченного извлекающим модулем.

Перечень ссылочных позиций

11 - устройство генерирования файлов, 14 - воспроизводящее фильм оконечное устройство, 62 - блок генерирования монтажного листа, 63 - мультиплексор, 81 - демультиплексор, 84 - блок воспроизведения.