УСТРОЙСТВО ОБРАБОТКИ ИНФОРМАЦИИ, СПОСОБ ОБРАБОТКИ ИНФОРМАЦИИ И ПРОГРАММА

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству обработки информации, способу обработки информации и программе.

Уровень техники

В настоящее время постоянно повышается потребность к передаче мультимедийных данных с малой задержкой через Интернет или по другому пути передачи. Такая потребность заметно повысилась, например, в областях дистанционного управления камерой и в игорном бизнесе, в дистанционном медицинском обслуживании и т.п.

Различные технологии используются для достижения передачи потокового типа с малой задержкой. Например, транспортный протокол реального времени (RTP), предписанный в IETF RFC3550, используется как Интернет-технология, пригодная для системы передачи потокового типа. Однако, поскольку RTP или протокол пользовательских дейтаграмм (UDP) не гарантируют качество видеоизображения при передаче по сети, может потребоваться управление качеством обслуживания (QoS). В соответствии с этим, для управления QoS, в последние годы была разработана технология, относящаяся к системе прямой коррекции ошибок (FEC).

Например, технология, относящаяся к FEC, для достижения передачи с малой задержкой, раскрыта в Патентной литературе 1.

Список литературы

Патентная литература

Патентная литература 1: JP 2011 -211616А

Раскрытие изобретения

Однако если рассматривать описанные выше обстоятельства, желательно, чтобы была дополнительно улучшена технология, относящаяся к FEC, для обеспечения передачи данных с малой задержкой.

В соответствии с этим, в настоящем раскрытии предложены новое и улучшенные устройство обработки информации, способ обработки информации и программа, позволяющая улучшить технологии, относящиеся к FEC, для достижения передачи с малой задержкой.

В соответствии с настоящим раскрытием, обеспечивается устройство обработки информации, включающее в себя: модуль размещения, выполненный с возможностью размещения дейтаграмм в числе заданного размера матрицы или меньше, по меньшей мере в части матрицы заданного размера, посредством повторного размещения дейтаграмм по порядку вдоль первого направления в соответствии со вторым направлением; и модуль генерирования, выполненный с возможностью генерирования избыточной дейтаграммы для прямой коррекции ошибок, для каждой из дейтаграмм, принадлежащих одному ряду, и для каждой из дейтаграмм, принадлежащих одному столбцу матрицы, размещенной модулем размещения.

В соответствии с настоящим раскрытием, предусмотрен способ обработки информации, включающий в себя этапы, на которых: размещают дейтаграммы в числе заданного размера матриц или меньше, по меньшей мере в части матрицы заданного размера путем повторяющегося размещения дейтаграмм по порядку вдоль первого направления, в соответствии со вторым направлением; и генерируют избыточную дейтаграмму для прямой коррекции ошибок, для каждой из дейтаграмм, принадлежащих одному ряду, и для каждой из дейтаграмм, принадлежащих одному столбцу размещенной матрицы.

В соответствии с настоящим раскрытием, обеспечивается программа для обеспечения выполнения компьютером функций: модуля размещения, выполненного с возможностью размещения дейтаграмм в числе заданного размера матрицы или меньше в по меньшей мере части матрицы заданного размера посредством повторения размещения дейтаграмм в порядке вдоль первого направления, в соответствии со вторым направлением; и модуля генерирования, выполненного с возможностью генерирования избыточной дейтаграммы для прямой коррекции ошибок, для каждой из дейтаграмм, принадлежащих одному ряду, и для каждой из дейтаграмм, принадлежащих одному столбцу матрицы, размещенной модулем размещения.

Предпочтительные эффекты изобретения

В соответствии с настоящим раскрытием, как описано выше, возможно улучшить технологию, относящуюся к FEC, для обеспечения передачи с малой задержкой.

Краткое описание чертежей

На фиг. 1 показана пояснительная схема, которая представляет общий обзор системы передачи в соответствии с вариантом осуществления настоящего раскрытия.

На фиг. 2 показана фигура для описания кодирования FEC устройством передачи в соответствии с настоящим вариантом выполнения.

На фиг. 3 показана фигура для описания кодирования FEC в соответствии с системой XOR.

На фиг. 4 показана фигура для описания кодирования FEC в соответствии с двумерной системой XOR.

На фиг. 5 показана фигура, на которой представлен пример декодирования FEC в соответствии с системой XOR.

На фиг. 6 показана фигура для описания кодирования FEC для системы кода РТС.

На фиг. 7 показана пояснительная схема, представляющая формат пакета RTP в соответствии с вариантом осуществления настоящего раскрытия.

На фиг. 8 показана пояснительная схема, представляющая формат заголовка RTP в соответствии с вариантом осуществления настоящего раскрытия.

На фиг. 9 показана фигура для описания кодирования мультимедийной дейтаграммы в FEC для системы XOR.

На фиг. 10 показана фигура для описания декодирования мультимедийной дейтаграммы в FEC для системы XOR.

На фиг. 11 показана фигура для описания кодирования мультимедийной дейтаграммы в FEC для кодовой системы РТС.

На фиг. 12 показана фигура для описания декодирования мультимедийной дейтаграммы в FEC для кодовой системы РТС.

На фиг. 13 показана блок-схема, которая представляет конфигурацию системы передачи в соответствии с первым вариантом осуществления.

На фиг. 14 показана блок-схема, которая представляет конфигурацию модуля кодирования FEC в соответствии с первым вариантом осуществления.

На фиг. 15 показана фигура для описания кодирования модулем кодирования FEC в соответствии с первым вариантом осуществления.

На фиг. 16 показана фигура для описания генерирование дейтаграммы FEC модулем генерирования в соответствии с первым вариантом осуществления.

На фиг. 17 показана фигура для описания определение порядка передачи модулем определения в соответствии с первым вариантом осуществления.

На фиг. 18 показана фигура, на которой представлен пример порядка передачи, определенного модулем определения, в соответствии с первым вариантом осуществления.

На фиг. 19 показана фигура для описания предоставления флагов LAST модулем определения в соответствии с первым вариантом осуществления.

На фиг. 20 показана фигура для описания декодирования FEC модулем декодирования FEC в соответствии с первым вариантом осуществления.

На фиг. 21 показана блок-схема последовательности операций, на которой представлены операции устройства передачи в соответствии с первым вариантом осуществления.

На фиг. 22 показана фигура для описания общего обзора системы передачи в соответствии со вторым вариантом осуществления.

На фиг. 23 показана таблица для сравнения рабочих характеристик FEC для системы XOR и кодовой системы РТС.

На фиг. 24 показана таблица, которая представляет проблемы системы XOR и системы кода РТС.

На фиг. 25 показана блок-схема, которая представляет конфигурацию системы передачи в соответствии со вторым вариантом осуществления.

На фиг. 26 показана блок-схема, которая представляет конфигурацию модуля определения использования FEC в соответствии со вторым вариантом осуществления.

На фиг. 27 показана блок-схема последовательности операций, на которой представлены операции устройства передачи в соответствии со вторым вариантом осуществления.

Осуществление изобретения

Ниже будет подробно описан предпочтительный вариант (варианты) осуществления, в соответствии с настоящим раскрытием, со ссылкой на приложенные чертежи. В этом описании и на приложенных чертежах, конструктивные элементы, которые имеют, по существу, одинаковую функцию и структуру, обозначены одинаковыми номерами ссылочных позиций, и повторное пояснение этих конструктивных элементов исключено.

Описание будет представлено в следующем порядке.

1. Общий обзор системы передачи в соответствии с вариантом осуществления настоящего раскрытия

2. Варианты осуществления

2-1. Основная технология

2-1-1. Технология FEC

2-1-2. Формат

2-1-3. Кодирование и декодирование

2-2. Первый вариант осуществления

2-2-1. Общий обзор

2-2-2. Конфигурация

2-2-3. Обработка операций

2-3. Второй вариант осуществления

2-3-1. Общий обзор

2-3-2. Конфигурация

2-3-3. Обработка операции

3. Заключение

1. Общий обзор системы передачи в соответствии с вариантом осуществления настоящего раскрытия>

Вначале, со ссылкой на фиг. 1, будет описан общий обзор системы передачи в соответствии с вариантом осуществления настоящего раскрытия.

На фиг. 1 показана пояснительная схема, на которой представлен общий обзор системы передачи в соответствии с вариантом осуществления настоящего раскрытия. Как показано на фиг. 1, система передачи в соответствии с вариантом осуществления настоящего раскрытия имеет камеры 100А, 100В и 100С, устройства 200А, 200В и 200С редактирования и устройство 1 передачи (устройство обработки информации), и устройство 2 приема, соединенные по сети 3. Ниже, в случае, когда не требуется, в частности, различать камеры 100А, 100В и 100С, они совместно называются камерой 100, и аналогично, в случае, когда не требуется, в частности, различать устройства 200А, 200В и 200С редактирования, они будут совместно называться устройством 200 редактирования.

Устройство 1 передачи передает содержание, собранное множеством камер 100, в устройство 2 приема путем кодирования, формирования пакетов и кодирования FEC. Устройство 2 приема выводит данные, принятые из устройства 1 передачи, во множество устройств 200 редактирования с использованием декодирования FEC, разбора пакетов и декодирования. При этом предполагается, что система передачи в соответствии с настоящим вариантом осуществления используется на месте производства для сбора/редактирования содержания в режиме реального времени, используя множество камер 100 и устройство 200 редактирования, такое, как показано на фиг. 1. Требование к такому месту производства представляет собой малую задержку при передаче, и улучшение технологии, относящейся к кодированию/декодированию, используя FEC, для достижения малой задержки при передаче.

Соответственно, системы передачи рассмотрены в соответствии с каждым из вариантов осуществления настоящего раскрытия, фокусируясь на упомянутых обстоятельствах. Система передачи в соответствии с каждым из описанных выше вариантов осуществления настоящего раскрытия может быть получена с малой задержкой передачи. Ниже будет подробно описана система передачи, в соответствии с каждым из вариантов осуществления настоящего раскрытия.

Кроме того, устройство 1 передачи может не только передавать видеоданные, используя камеру 100, но также и аудиоданные через микрофон, который не представлен, или метаданные, в устройство 2 приема. Кроме того, устройство 2 приема может выводить принятые данные не только в устройство 200 редактирования, но также и в выходное устройство, такое как дисплей или громкоговоритель, который не представлен.

2. Варианты осуществления

2-1. Основная технология

Вначале будет описана основная технология, совместно используемая в каждом из вариантов осуществления.

2-1-1. Технология FEC

Устройство 1 передачи выполняет управление QoS, для достижения стабильного качества передачи и высокого качества ощущений пользователя, в соответствии с состоянием сети 3, таким как частота потерь пакетов, задержка передачи или степень перемешивания (перегрузки). В частности, устройство 1 передачи кодирует данные передачи в соответствии с FEC. FEC представляет собой технологию восстановления потерянных пакетов, используя избыточные пакеты. Ниже кодирование в соответствии с FEC будет описано со ссылкой на фиг. 2.

На фиг. 2 представлена фигура для описания кодирования FEC, выполняемого устройством 1 передачи, в соответствии с настоящим вариантом осуществления. Как показано на фиг. 2, устройство 1 передачи передает пакеты данных и избыточные пакеты в устройство 2 приема путем генерирования избыточных пакетов из исходных пакетов данных, в качестве подготовки к потере пакетов. В результате использования таких принятых исходных пакетов и избыточных пакетов, в случае, когда происходит потеря пакета во время передачи, устройство 2 приема может восстановить потерянный пакет так, как показано на фиг. 2.

В качестве системы, которая, в основном, используется как система кодирования FEC, применяется система, в которой используются расчеты на основе функции исключающее ИЛИ (XOR: exclusive OR), и 2 системы с определенной формой использования кода Рида-Соломона (RS). В качестве системы XOR, существуют GenericFEC (IETF RFC5109), LDPC (RFC5170) и Pro-MPEG FEC (SMPTE 2022-1-2007, 2022-5). Кроме того, в отношении LDPC существует описание большого размера блока в RFC5170, и задержка блока FEC становится длительной. Кроме того, используется Pro MPEG FEC для стандарта IPTV (широковещательная передача данных через Интернет), такого как IPTV Forum, Open IPTV forum или DVB-IP. Также Pro-MPEG FEC ID представляет собой стандарт, который генерирует избыточные пакеты XOR в вертикальном направлении, и Pro-MPEG FEC 2D представляет собой стандарт, который генерирует избыточные пакеты XOR в 2 направлениях, вертикальном и горизонтальном. Детали таких стандартов представлены в SMPTE 2022-1-2007, "Forward Error Correction for Real-Time Video/Audio Transport over IP Networks", 2007, SMPTE 2022-5-2012. Двумерная система FEC системы XOR часто используется для передачи видеоданных. Вначале, со ссылкой на фиг. 3 - фиг. 5, будет описана система кодирования/декодирования FEC в соответствии с XOR.

На фиг. 3 показана фигура для описания кодирования FEC в соответствии с системой XOR. Более конкретно, на фиг. 3А показан пример генерирования избыточного пакета, и на фиг. 3В показан пример генерирования потока. Как показано на фиг. 3А, сторона передачи генерирует избыточный пакет, используя расчеты XOR каждого из битов мультимедийных пакетов RTP, составляющих содержание. Кроме того, как показано на фиг. 3В, сторона передачи передает мультимедийные пакеты RTP, мультимедийный поток пакетов RTP и передает избыточные пакеты, как избыточный поток. Здесь набор пакетов, составленных из мультимедийных пакетов RTP, используемых для генерирования избыточного пакета, и избыточный пакет будут ниже называться блоком FEC. В случае, когда сторона передачи выполняет кодирование FEC в соответствии с системой XOR, сторона приема может выполнять восстановление вплоть до потери одного пакета в пределах блока FEC.

На фиг. 4 представлена фигура для описания кодирования FEC в двумерной системе XOR. Как показано на фиг. 4, сторона передачи генерирует дейтаграммы FEC (избыточные пакеты), используя расчеты XOR по модулю ряда или модулю столбца для мультимедийных дейтаграмм (datagrams), расположенных в виде двумерной матрицы 4×4. В настоящем раскрытии дейтаграммы FEC генерируются, используя матрицу мультимедийной дейтаграммы с L столбцами и D рядами (матрица с заданным размером матрицы), путем установки размера матрицы блока FEC, равным L столбцам и D рядам. Кроме того, Media Dgrm на фиг. 4 представляет мультимедийную дейтаграмму, Row FEC Dgram представляет собой дейтаграмму FEC с модулем ряда, и Col FEC Dgram представляет дейтаграмму FEC модуля столбца. Кроме того, номера ссылочных позиций (k, j), показанные в каждой мультимедийной дейтаграмме и каждой дейтаграмме FEC представляют, что эта дейтаграмма расположена в k столбце и j ряду.

Здесь, в то время как повышается избыточность по сравнению с кодированием FEC одномерной системой XOR, кодирование FEC двумерной системы XOR, имеющей свойство частоты восстановления, также улучшается. Более конкретно, в случае двумерной системы XOR, в то время, как также существуют структуры, которые не могут быть восстановлены, восстановление возможно для 2 потерь пакетов в случае, когда они, в основном, находятся в пределах одного ряда или столбца. Этот момент будет описан со ссылкой на фиг. 5. На фиг. 5 показана фигура, на которой представлен пример декодирования FEC системы XOR. Более конкретно, на фиг. 5А показана фигура, которая представляет пример декодирования данных, кодированных одномерной системой XOR (Pro-MEPG FEC ID) в вертикальном направлении. На фиг. 5В показана фигура, которая представляет пример декодирования данных, кодированных двумерной системой XOR (Pro-MEPG FEC 2D) в вертикальном направлении и в горизонтальном направлении.

На фиг. 5А показан случай, в котором мультимедийные пакеты RTP (мультимедийная дейтаграмма) для номеров последовательности 1, 2, 3 и 4 имеют последовательные потерянные пакеты. Здесь пакет для последовательности номер 1 может быть восстановлен в результате расчетов XOR в вертикальном направлении. Это связано с тем, что произошла потеря 1 пакета в пределах одного и того же столбца. Пакеты с номерами последовательности 3 и 4 могут быть восстановлены аналогично. С другой стороны, поскольку пакеты с номерами последовательности 2 и 10 представляют собой 2 потери пакета в одном и том же столбце, они не могут быть восстановлены. В отличие от этого, как представлено на фиг. 5В, поскольку устойчивость к потере множества пакетов улучшается, данные, кодированные в двумерной системе XOR, могут восстанавливать потерянный пакет в таком случае. Более конкретно, поскольку существует потеря 1 пакета в пределах одного и того же ряда, пакет с номером 10 последовательности может быть восстановлен в результате расчетов XOR в горизонтальном направлении. Таким образом, пакет с номером 10 последовательности восстанавливается, и после этого пакет с номером 2 последовательности становится потерянным пакетом 1, в пределах одного и того же столбца, и, таким образом, он может быть восстановлен при расчете XOR в вертикальном направлении. Кроме того, при Pro-MEPG FEC сторона передачи, в общем, передает мультимедийные макеты RTP и избыточные пакеты через отдельные порты.

Выше было описано кодирование/декодирование FEC в соответствии с системой XOR. Далее, со ссылкой на фиг. 6, будет описано кодирование/декодирование FEC для системы кода RS.

На фиг. 6 показана фигура для описания кодирования FEC для системы кода RS. Как показано на фиг. 6, в случае, когда используется код RS (n, k), сторона передачи генерирует блок FEC по n-k избыточным пакетам для к мультимедийных пакетов RTR Кроме того, сторона передачи передает мультимедийные пакеты RTP и избыточные пакеты, как поток мультимедийных/избыточных пакетов. В случае, когда сторона передачи выполняет кодирование FEC в соответствии с системой кода RS, сторона приема может выполнить восстановление для произвольной потери n-k пакетов (количество избыточных пакетов) в пределах блока FEC. Поскольку существует ограничение для структуры потерь, которые могут быть восстановлены в системе XOR, можно сказать, что система кода RS, которая не имеет ограничения в отношении потери пакетов, является исключительной.

Выше была описана технология FEC. Далее, со ссылкой к на фиг. 7 - фиг. 12, будет описан формат мультимедийной дейтаграммы и дейтаграммы FEC.

2-1-2. Формат

На фиг. 7 показана пояснительная схема, на которой представлен формат пакета RTP в соответствии с вариантом осуществления настоящего раскрытия. Более конкретно, на фиг.7А показан формат мультимедийной дейтаграммы, и на фиг. 7В показан формат дейтаграммы FEC. Как представлено на фиг. 7А, мультимедийная дейтаграмма состоит из заголовка RTP, заголовка FEC, мультимедийного заголовка и мультимедийной полезной нагрузки. Кроме того, как показано на фиг. 7В, дейтаграмма FEC состоит из заголовка RTP, заголовка FEC и полезной нагрузки FEC.

По меньшей мере, одни из видеоданных, аудиоданных и метаданных, составляющих содержание, содержатся в мультимедийной полезной нагрузке. Кроме того, данные, которые представляют избыточные символы, генерируемые в результате кодирования FEC, содержатся в полезной нагрузке FEC. Далее будут подробно описаны заголовок RTP, заголовок FEC и мультимедийный заголовок.

Заголовок RTP

На фиг. 8 показан формат заголовка RTP. На фиг. 8 показана пояснительная схема, на которой представлен формат заголовка RTP, в соответствии с вариантом осуществления настоящего раскрытия. Как показано на фиг. 8, в настоящем варианте осуществления, используется заголовок RTP на основе спецификации RFC 3550.

Заголовок FEC в случае системы XOR

Далее будет описана конфигурация поля заголовка FEC в случае системы XOR.

Заголовок FEC, в случае системы XOR, имеет Frame Count, FEC Type, Packet Type, FEC Block LAST, L Max, D Max, L Count, D Count и FEC Block ID.

* Frame Count

В данном поле содержится значение, уникальное для блока FEC. В дейтаграмме FEC содержится значение такое же, как и в мультимедийной дейтаграмме, принадлежащей тому же блоку FEC.

* FEC Туре

В данном поле содержится значение, которое показывает тип используемой системы FEC, такой как система XOR или система кода RS.

* Packet Туре

В данном поле содержится значение, которое представляет тип дейтаграммы, такой как мультимедийная дейтаграмма, дейтаграмма FEC модуля ряда или дейтаграмма FEC модуля столбца.

* FEC Block LAST

В случае блока FEC по структуре 2, заданные флаги (LAST flags) для идентификации, что это представляет собой последнюю мультимедийную дейтаграмму, последнюю дейтаграмму FEC в модуле ряда и последнюю дейтаграмму FEC модуля столбца, сохраняются в настоящем поле.

* L Max

Значение количества L столбцов мультимедийных дейтаграмм из L столбцов и D рядов блока FEC содержится в настоящем поле. В случае блока FEC по структуре 2, содержится то же значение, что и в случае блока FEC по структуре 1, независимо от количества мультимедийных дейтаграмм, включенных в блок FEC.

* D Мах

Значение количества рядов D мультимедийных дейтаграмм из L столбцов и D рядов блока FEC содержится в настоящем поле. В случае блока FEC по структуре 2 содержится такое значение, как и в случае блока FEC по структуре 1, независимо от количества мультимедийных дейтаграмм, включенных в блок FEC.

* L Count

Количевство рядов мультимедийной дейтаграммы или дейтаграммы FEC содержатся в настоящем поле. В частности, содержится значение от 0 вплоть до количества L столбцов матрицы мультимедийной дейтаграммы, включенной в блок FEC. В то время, как значение становится равным L, в случае дейтаграммы FEC в модулях ряда, возникают случаи, когда другое значение установлено в случае структуры 2.

* D Count

Количество столбцов мультимедийной дейтаграммы или дейтаграммы FEC содержится в настоящем поле. В частности, содержится значение от 0 вплоть до количества D рядов матрицы мультимедийной дейтаграммы, включенной в блок FEC. В то время, как значение становится D в случае дейтаграммы FEC в модуле столбца, возникают случаи, когда другое значение установлено в случае структуры 2.

* FEC Block ID

Значение, уникальное для блока FEC, содержится в настоящем поле. Настоящее поле представляет собой значение, которое подвергают последовательному приращению, например, каждый раз, когда генерируется блок FEC.

Заголовок FEC в случае системы кода RS

Выше была описана конфигурация поля заголовка FEC в случае системы XOR. Далее будет описана конфигурация поля заголовка FEC в случае системы кода RS. Заголовок FEC, в случае системы кода RS, имеет фрейм Count, FEC Type, Media Datagram Number, FEC Datagram Number и FEC Block ID. Далее будут описаны только поля, отличные от полей системы XOR.

* Media Datagram Number

Значение, которое представляет общее количество мультимедийных дейтаграмм в принадлежащем блоке FEC, содержится в настоящем поле. Более конкретно, содержатся к значений кода RS (n, k).

* FEC Datagram Number

Значение, которое представляет общее количество дейтаграмм FEC в принадлежащем FEC блоке, содержится в настоящем поле. Более конкретно, содержится n-k значений кода RS (n, k).

Поэтому, выше была описана конфигурация поля заголовка FEC в случае системы кода RS. Далее будет описано кодирование и декодирование мультимедийных дейтаграмм, которые имеют форма, описанный со ссылкой на фиг. 7.

2-1-3. Кодирование и декодирование

Вначале, со ссылкой на фиг. 9 и фиг. 10, будут описаны кодирование и декодирование в системе XOR, в соответствии с настоящим вариантом осуществления. На фиг. 9 показана фигура для описания кодирования мультимедийных дейтаграмм в FEC, в соответствии с системой XOR. На фиг. 10 показана фигура для описания декодирования мультимедийной дейтаграммы в FEC, в соответствии с системой XOR.

Как показано на фиг. 9, устройство 1 передачи генерирует полезную нагрузку FEC для дейтаграммы FEC путем расчета битов XOR в одном и том же положении, для мультимедийного заголовка и мультимедийной полезной нагрузки, для каждой мультимедийной дейтаграммы. В случае, когда существует потеря пакета в мультимедийной дейтаграмме, устройство 2 приема восстанавливает мультимедийную дейтаграмму с потерей пакета с помощью способа, показанного на фиг. 10. Более конкретно, устройство 2 приема восстанавливает мультимедийную дейтаграмму с потерей пакета, используя расчет битов по XOR в том же положении для мультимедийного заголовка и мультимедийной полезной нагрузки принятой мультимедийной дейтаграммы и дейтаграммы FEC для полезной нагрузки FEC.

Выше были описаны кодирование и декодирование в системе XOR, в соответствии с настоящим вариантом осуществления. Далее, со ссылкой на фиг. 11 и фиг. 13, будет описано кодирование и декодирование в системе кода RS, в соответствии с настоящим вариантом осуществления. На фиг. 11 представлена фигура для описания кодирования мультимедийной дейтаграммы в FEC для системы кода RS. На фиг. 12 представлена фигура для описания декодирования мультимедийной дейтаграммы в FEC для системы кода RS.

Как показано на фиг. 11, устройство 1 передачи генерирует полезную нагрузку FEC дейтаграмм n-k FEC каждые 8 битов путем кодирования 8 битов в одном и том же положении с использованием кода RS, мультимедийного заголовка и мультимедийной полезной нагрузки к мультимедийных дейтаграмм. В случае, когда присутствует потеря пакета в мультимедийной дейтаграмме, устройство 2 приема восстанавливает мультимедийную дейтаграмму с потерей пакета с помощью способа, показанного на фиг. 12. Более конкретно, устройство 2 приема восстанавливает мультимедийную дейтаграмму с потерей пакета путем декодирования 8 битов в одном и том же положении, как код RS, мультимедийного заголовка и мультимедийной полезной нагрузки принятой мультимедийной дейтаграммы, и полезной нагрузки дейтаграммы FEC. Выше было описано кодирование и декодирование в системе кода RS, в соответствии с настоящим вариантом осуществления.

2-2. Первый вариант осуществления

2-2-1. Общий обзор

В настоящем варианте осуществления достигается передача данных с малой задержкой, в соответствии с системой FEC, на основе разрывов фрейма видеоданных. Вначале будет описан общий обзор настоящего варианта осуществления.

Система передачи, в соответствии с настоящим вариантом осуществления, применяется в системе, которая запрашивает малую задержку фрейма или меньше, в дополнение к обработке в отношении фрейма, такой как место производства содержания или дистанционное управление, или непрерывное переключение видеоданных. В такой системе, поскольку также присутствует влияние на задержку в соответствии с количеством пакетов, запрашивается простая идентификация сегментация фреймов, формируемых в результате переключения видеоданных и т.п., и для идентификации сегментации фрейма с высокой скоростью.

Здесь, в случае, когда применяется FEC для двумерной системы XOR, обычно используется прямоугольный блок FEC размером L×R, и, таким образом, возникает следующая проблема в FEC для двумерной системы XOR. Во-первых, существует предел по количеству пакетов, избыточности и т.п. блока FEC для поддержания прямоугольника L×R. Во-вторых, поскольку заполнение для поддержания прямоугольника выполняется фиктивными пакетами в случае, когда количества пакетов недостаточно, происходит расточительная передача пакетов. В-третьих, в случае, когда обработка на основе разрывов блока FEC и фрейма видеоданных не выполняется вообще, возникает задержка при обработке модулей фрейма. Более конкретно, поскольку сегменты на стороне передачи блока FEC содержат разрывы фрейма и поддерживают прямоугольник блока FEC, используя фиктивные пакеты, происходит расточительная передача пакетов.

В соответствии с этим, в настоящем варианте осуществления, в случае, когда может потребоваться обрабатывать видеоданные в виде модулей поля фрейма, система FEC достигается на основе полей фрейма. Более конкретно, устройство 1 передачи, в соответствии с настоящим вариантом осуществления, обеспечивает генерирование блока FEC до конца в середине, без поддержания прямоугольника, в случае сегментации фрейма. Кроме того, устройство 1 передачи, в соответствии с настоящим вариантом осуществления, сокращает время восстановления в устройстве 2 приема, путем регулирования временных характеристик передачи избыточных пакетов. Кроме того, устройство 1 передачи, в соответствии с настоящим вариантом осуществления, определяет множество флагов LAST, и устройство 2 приема определяет положения сегментации фрейма с малой задержкой.

Выше был описан общий обзор настоящего варианта осуществления. Далее, со ссылкой на фиг. 13 - фиг. 19, будет описана конфигурация системы передачи в соответствии с настоящим вариантом осуществления.

2-2-2. Конфигурация

На фиг. 13 показана блок-схема, которая представляет конфигурацию системы передачи в соответствии с первым вариантом осуществления. Как показано на фиг. 13, устройство 1 передачи и устройство 2 приема соединены по сети 3.

Устройство 1 передачи

Как показано на фиг. 13, устройство 1 передачи имеет модуль 11 захвата, кодер 12, модуль 13 формирования пакетов, модуль 14 кодирования FEC и модуль 15 передачи RTP.

* Модуль 11 захвата

Модуль 11 захвата имеет функцию, которая захватывает данные содержания (содержание движущегося изображения), подаваемых извне. Более конкретно, модуль 11 захвата выполняет захват видеоданных, подаваемых из камеры 100, аудиоданных, используя микрофон, или метаданных. Модуль 11 захвата выводит захваченные данные содержания в кодер 12. Здесь, в случае, когда может не требоваться выполнять кодирование со сжатием в кодере 12 (в случае, когда передают данные RAW), модуль 11 захвата может выводить снятые данные содержания в модуль 13 формирования пакетов в том виде, как они есть, без сжатия.

* Кодер 12

Кодер 12 выполняет кодирование со сжатием данных содержания, подаваемых из модуля 11 захвата. Кодер 12 выводит кодированные со сжатием данные в модуль 13 формирования пакетов.

* Модуль 13 формирования пакетов

Модуль 13 формирования пакетов выполняет формирование пакетов из данных, подаваемых из модуля 11 захвата или кодера 12, в пакеты RTP (мультимедийные дейтаграммы). Кроме того, модуль 13 формирования пакетов функционирует, как модуль ввода, который вводит мультимедийные дейтаграммы, составляющие данные содержания модулей фрейма, в модуль 14 кодирования FEC. Более конкретно, модуль 13 формирования пакетов выводит данные, подаваемые из модуля 11 захвата или кодера 12, в модуль 14 кодирования FEC для каждой сегментации фрейма. Кроме того, помимо сегментации фрейма, модуль 13 формирования пакетов может подавать мультимедийные дейтаграммы в модуль 14 кодирования FEC путем сегментации данных содержания в соответствии со временем ожидания.

* Модуль 14 кодирования FEC

Модуль 14 кодирования FEC выполняет кодирование FEC для пакетов, подаваемых из модуля 13 формирования пакетов. При кодировании FEC пакеты кодируют с избыточностью, используя код прямой коррекции ошибок системы XOR, систему кода RS и т.п. В настоящем варианте осуществления модуль 13 формирования пакетов выполняет кодирование FEC, используя двумерную систему XOR. Подробная конфигурация модуля 14 кодирования FEC будет описана со ссылкой на фиг. 14.

На фиг. 14 показана блок-схема, которая представляет конфигурацию модуля 14 кодирования FEC в соответствии с первым вариантом осуществления. Как показано на фиг.14, модуль 14 кодирования FEC выполняет функцию модуля 141 деления, модуля 142 размещения, модуля 143 генерирования и модуля 144 определения.

- Модуль 141 деления

Модуль 141 деления имеет функцию, которая делит данные модулей фрейма (1 или больше мультимедийных дейтаграмм), подаваемых из модуля 13 формирования пакетов, на группы по числу размера матрицы (заданный размер матрицы) блока FEC. Например, в случае, когда выполняется кодирование FEC системы XOR, используя двумерную матрицу 4x4, модуль 141 деления делит мультимедийные дейтаграммы на 16. Модуль 141 деления выводит мультимедийные дейтаграммы в модуль 142 размещения для каждой группы.

Здесь, в случае, когда количество мультимедийных дейтаграмм, подаваемых из модуля 14 кодирования FEC, не делится на число размера матрицы блока FEC, может быть получена группа, которая имеет мультимедийные дейтаграммы число, которых не заполняет размер матрицы блока FEC. Далее группа, которая имеет мультимедийные дейтаграммы с числом размера матрицы блока FEC, будет называться группой по структуре 1, и группа, которая имеет мультимедийные дейтаграммы с числом, которое не соответствует числу матрицы блока FEC, будет называться группой по структуре 2.

- Модуль 142 размещения

Модуль 142 размещения имеет функцию, которая размещает мультимедийные дейтаграммы в числе размеров матрицы или меньше блока FEC, по меньшей мере, в одной части блока FEC, путем повторного размещения мультимедийных дейтаграмм по порядку вдоль горизонтального направления (первого направления), в соответствии с вертикальным направлением (вторым направлением). Пример размещения мультимедийных дейтаграмм модулем 142 размещения будет описан со ссылкой на фиг. 15.

На фиг. 15 представлена фигура для описания кодирования, выполняемого модулем 14 кодирования FEC, в соответствии с первым вариантом осуществления. Более конкретно, на фиг. 15 показан пример кодирования FEC в случае, когда 1 фрейм генерируют из 22 пакетов, и модуль 14 кодирования FEC генерирует 2 блока FEC для блока FEC, показанного на фиг. 15А, и блока FEC, показанного на фиг. 15В. На фиг. 15А показано кодирование FEC для группы по структуре 1, и на фиг. 15В показано кодирование FEC для группы по структуре 2. Кроме того, в то время как на фиг. 15 показан пример, в котором размер матрицы блока FEC установлен равным 4 ряда и 4 столбца, модуль 14 кодирования FEC может устанавливать размер матрицы блока FEC с другим произвольным размером матрицы.

Как показано на фиг. 15, модуль 142 размещения последовательно размещает мультимедийные дейтаграммы в последовательном порядке, в горизонтальном направлении, в порядке мультимедийной дейтаграммы с последовательным номером 1 в 0 столбце и 0 ряду, и мультимедийную дейтаграмму с последовательным номером 2 в 1 столбце и 1 ряду. Кроме того, в случае, когда размер столбца (4 на фиг. 15) блока FEC заполнен, модуль 142 размещения размещает мультимедийные дейтаграммы в блоке FEC, путем повторения одной и той же компоновки в 1-ом ряду, 2-ом ряду и в 3-ьем ряду. Поэтому, как показано на фиг. 15А, в случае группы структуры 1, модуль 142 размещения размещает мультимедийные дейтаграммы в числе размера матрицы блока FEC, разделенного модулем 141 деления, во всем блоке FEC. Кроме того, как показано на фиг. 15В, в случае группы по структуре 2, модуль 142 размещения размещает мультимедийные дейтаграммы по числу или меньше размера матрицы блока FEC, разделенного модулем 141 деления, в части блока FEC.

- Модуль 143 генерирования

Модуль 143 генерирования имеет функцию, которая генерирует дейтаграммы FEC (избыточные дейтаграммы) для прямой коррекции ошибок, для мультимедийных дейтаграмм, которые принадлежат одному ряду, и для мультимедийных дейтаграмм, которые принадлежат одному столбцу, матрицы, размещенной модулем 142 размещения. Модуль 143 генерирования генерирует дейтаграммы FEC, используя расчет XOR мультимедийных дейтаграмм, которые принадлежат одному ряду или столбцу. Здесь генерирование дейтаграмм FEC в группе по структуре 2 будет описано со ссылкой на фиг. 16.

На фиг. 16 представлена фигура для описания генерирования дейтаграмм FEC модулем 143 генерирования, в соответствии с первым вариантом осуществления. Как показано на фиг. 16, модуль 143 генерирования генерирует дейтаграмму FEC в j-ом ряду, из L мультимедийных дейтаграмм, которые принадлежат j-ому ряду. Кроме того, модуль 143 генерирования генерирует дейтаграмму FEC из k-ого столбца, из менее чем L мультимедийных дейтаграмм, которые принадлежат k-ому столбцу. Таким образом, модуль 143 генерирования, в соответствии с настоящим вариантом осуществления, генерирует дейтаграммы FEC без заполнения фиктивными пакетами для сохранения прямоугольника. В соответствии с этим, поскольку может не потребоваться передавать фиктивные пакеты, устройство 1 передачи, в соответствии с настоящим вариантом осуществления, может предотвращать расточительное использование полосы.

- Модуль 144 определения

Модуль 144 определения имеет функцию, которая определяет порядок передачи мультимедийных дейтаграмм и дейтаграмм FEC. Более конкретно, модуль 144 определения повторяет определение порядка передачи для передачи мультимедийной дейтаграммы в последовательном порядке, в горизонтальном направлении (первое направление) и следующей по порядку дейтаграммы FEC, генерируемой для мультимедийных дейтаграмм, которые принадлежат этому направлению, вдоль вертикального направления (второго направления). Определение порядка передачи модулем 144 определения будет описано со ссылкой на фиг. 17 и фиг. 18.

На фиг. 17 представлена фигура для описания определения порядка передачи модулем 144 определения в соответствии с первым вариантом осуществления. На фиг. 17 представлен порядок передачи блоков FEC, показанных на фиг. 15. Как показано на фиг. 17А, модуль 144 определения, соответственно, определяет число 0, число 1, число 2 и число 3 мультимедийных дейтаграмм 0-ого столбца, 2-ого столбца и 3-ьего столбца 0-ого ряда и затем определяет число 4 для дейтаграммы FEC, генерируемой для мультимедийных дейтаграмм 0-ого ряда. Модуль 144 определения аналогично определяет порядок передачи для от 1-ого ряда по 4-ый ряд.

Здесь, в случае группы по структуре 2, мультимедийные дейтаграммы часто не присутствуют при выполнении определения порядка передачи. В примере, показанном на фиг. 17В, мультимедийные дейтаграммы не присутствуют после мультимедийной дейтаграммы порядка 6 передачи. В этом случае, модуль 144 определения определяет порядок передачи так, чтобы передавать дейтаграммы FEC для мультимедийных дейтаграмм, которые принадлежат вертикальному направлению (второму направлению), положений мультимедийных дейтаграмм, которые не присутствуют. Таким образом, модуль 144 определения определяет порядок 7 передачи, в дейтаграмме F4 FEC модуля столбца, в положении N1 мультимедийной дейтаграммы, которая не присутствует. Затем модуль 144 определения определяет порядок 8 передачи, в дейтаграмме F5 FEC модуля столбца, в положении N2 мультимедийной дейтаграммы, которая не присутствует. Затем модуль 144 определения определяет порядок 9 передачи в дейтаграмме F1 FEC. Затем модуль 144 определения определяет порядок 10 передачи в дейтаграмме F2 FEC модуля столбца для положения N3 мультимедийной дейтаграммы, которая не присутствует. Затем модуль 144 определения определяет порядок 11 передачи в дейтаграмме F2 FEC модуля столбца в положении N4 мультимедийной дейтаграммы, которая не присутствует.

Таким образом, модуль 144 определения определяет порядок передачи для группы по структуре 2. F4 и F5 принимают с помощью устройства 2 приема перед дейтаграммами F1, F2 и F3 FEC, в результате определения модулем 144 определения описанного выше порядка передачи для группы по структуре 2. В соответствии с этим, в случае, когда мультимедийные дейтаграммы для порядков 2 или 3 передачи, показанные на фиг. 17В, потеряны, например, устройство 2 приема может восстанавливать потерянные мультимедийные дейтаграммы по дейтаграммам F4 и F5 FEC перед приемом дейтаграмм F1, F2 и F3 FEC. Кроме того, в случае, когда потеряна мультимедийная дейтаграмма для любого из порядков 2 и 3 передачи, устройство 2 приема может восстанавливать потерянную мультимедийную дейтаграмму с помощью вычислений XOR горизонтального направления, после приема дейтаграммы FEC порядка 4 передачи, и до приема дейтаграмм FEC F4 и F5.

На фиг. 18 представлена фигура, которая представляет пример порядка передачи, определенного модулем 144 определения, в соответствии с первым вариантом осуществления. Более конкретно, на фиг. 18 показан порядок передачи блоков FEC, представленных на фиг. 15. Цифры в скобках о в каждой мультимедийной дейтаграмме и в каждой дейтаграмме FEC представляют порядок передачи, определенный модулем 144 определения. Например, в случае, когда потеряны пакеты порядков 27 и 28 передачи, устройство приема 2 может быстро восстановить пакет порядка 27 передачи после приема пакета порядка передачи 32, и может быстро восстановить пакет порядка 28 передачи после приема пакета порядка передачи 33. Кроме того, в случае когда потерян пакет любого из порядков 27 и 28 передачи, устройство приема 2 может быстро восстановить потерянный пакет с помощью вычислений XOR горизонтального направления, после приема пакета порядка 29 передачи.

Здесь, как показано на фиг. 18, в настоящем варианте осуществления, возникают случаи, когда мультимедийные дейтаграммы, в которых содержатся видеоданные (видеоданные), аудиоданные (аудиоданные) и метаданные (метаданные), смешаны вместе в одном блоке FEC. Это связано с тем, что ввод выполняют в модуль 13 формирования пакетов в порядке от данных, для которых закончена подготовка к передаче, и выполняется формирование пакетов RTR Таким образом, в системе передачи, в соответствии с настоящим вариантом осуществления, может не быть необходимым выполнять передачу после сохранения данных для каждых видеоданных, каждых аудиоданных или каждых метаданных. В соответствии с этим, в системе передачи, в соответствии с настоящим вариантом осуществления, может достигаться малая задержка передачи.

Кроме того, модуль 144 определения предоставляет флаг LAST в последнюю мультимедийную дейтаграмму по порядку передачи, и дейтаграммы FEC, генерируемые для мультимедийных дейтаграмм, которые принадлежат вертикальному направлению и горизонтальному направлению для этой мультимедийной дейтаграммы. Более конкретно, модуль 144 определения предоставляет флаги LAST в мультимедийную дейтаграмму разрыва фрейма, и дейтаграммы FEC модуля ряда и модуля столбца, которым принадлежат эти мультимедийные дейтаграммы. Предоставление флагов LAST модулем 144 определения будет описано со ссылкой на фиг. 19.

На фиг. 19 представлена фигура для описания предоставления флагов LAST модулем 144 определения в соответствии с первым вариантом осуществления. Как показано на фиг. 19, модуль 144 определения предоставляет флаг LAST в мультимедийную дейтаграмму M1 с номером 22 последовательности, в которой порядок передачи среди мультимедийных дейтаграмм носителя становится последним. Кроме того, модуль 144 определения предоставляет флаг LAST в дейтаграмму F6 FEC модуля ряда 1-ого ряда, которому принадлежит мультимедийная дейтаграмма M1, и дейтаграмма F7 FEC модуля столбца 1-ого столбца, которому принадлежит мультимедийная дейтаграмма M1. Поскольку сегментация фрейма может быть идентифицирована флагом LAST, предоставляемым мультимедийной дейтаграммой, даже без приема следующего блока FEC, устройство 2 приема может сокращать обработку фрейма. Кроме того, поскольку флаги LAST также предусмотрены для дейтаграмм FEC, устройство 2 приема может идентифицировать сегментацию фрейма дейтаграммами FEC, которым были предоставлены флаги LAST, даже в случае, когда последняя мультимедийная дейтаграмма потеряна.

Выше была описана конфигурация модуля 14 кодирования FEC. Далее будет представлено описание для конфигурации системы передачи, в соответствии с настоящим вариантом осуществления, с возвратом на фиг. 13.

* Модуль 15 передачи RTP

Модуль 15 передачи RTP передает пакеты RTP FEC, кодированные модулем 14 кодирования FEC в устройство 2 приема. Более конкретно, модуль 15 передачи RTP функционирует, как модуль передачи, который передает мультимедийные дейтаграммы, и дейтаграммы FEC, генерируемые модулем 14 кодирования FEC, в устройство 2 приема, в соответствии с порядком передачи, определяемым модулем 144 определения.

* Дополнительная информация

В настоящем варианте осуществления, в то время, как описание было выполнено путем установки первого направления, как горизонтального направления, и второго направления, как вертикального направления, настоящее раскрытие не ограничено таким примером. Например, первое направление может быть установлено, как вертикальное направление, и второе направление может быть установлено, как горизонтальное направление. Таким образом, модуль 142 размещения может размещать мультимедийные дейтаграммы в, по меньшей мере, части блока FEC, повторяя размещение мультимедийных дейтаграмм по порядку вдоль вертикального направления, в соответствии с горизонтальным направлением. Кроме того, модуль 144 определения может определять порядок передачи путем повторения определения порядка передачи для передачи мультимедийных дейтаграмм в последовательном порядке, в вертикальном направлении, и далее в порядке дейтаграммы FEC, генерируемой для мультимедийных дейтаграмм, которые принадлежат этому направлению, вдоль горизонтального направления. Кроме того, в случае группы по структуре 2, модуль 144 определения может определять порядок передачи, для передачи дейтаграммы FEC для мультимедийных дейтаграмм, которые принадлежат горизонтальному направлению, для положений мультимедийных дейтаграмм, которые не присутствуют.

Устройство 2 приема

Как показано на фиг. 13, устройство 2 приема имеет модуль 21 приема RTP, модуль 22 декодирования FEC, модуль 23 разборки пакетов, декодер 24 и модуль 25 вывода.

* Модуль 21 приема RTP

Модуль 21 приема RTP принимает пакеты RTP из устройства 1 передачи через сеть 3. В случае, когда происходит потеря пакета, модуль 21 приема RTP выводит принятые пакеты RTP в модуль 22 декодирования FEC. С другой стороны, в случае, когда нет потери пакета, модуль 21 приема RTP выводит принятые пакеты RTP в модуль 23 разборки пакетов.

* Модуль 22 декодирования FEC

В модуль 22 декодирования FEC подают кодированные пакеты FEC из модуля 21 приема RTP, и он имеет функцию, которая выполняет декодирование FEC. Здесь пример декодирования блока FEC по структуре 2 будет описан со ссылкой на фиг. 20.

На фиг. 20 показана фигура для описания декодирования FEC, используя модуль 22 декодирования FEC, в соответствии с первым вариантом осуществления. На фиг. 20 показан пример, в котором модуль 22 декодирования FEC декодирует блок FEC по структуре 2 с размером матрицы 3×3, и N на фигуре показывает порядок передачи. Как показано на фиг. 20А, в то время как устройство 1 передачи выполняет передачу, используя кодирование 7 FEC мультимедийных дейтаграмм, мультимедийные дейтаграммы в порядке передачи 2, 3, 5, 6 и 9 и дейтаграмма FEC в порядке передачи 4 потеряны.

Вначале, как показано на фиг. 20В, модуль 22 декодирования FEC восстанавливает мультимедийную дейтаграмму в порядке передачи 9, используя расчеты XOR дейтаграммы FEC в порядке передачи 12. Кроме того, поскольку флаг LAST предусмотрен для мультимедийной дейтаграммы порядка передачи 9, восстанавливаемым в это время, устройство 2 приема может идентифицировать сегментацию фрейма.

Затем, как показано на фиг. 20С, модуль 22 декодирования FEC восстанавливает мультимедийную дейтаграмму для порядка передачи 5, используя расчеты XOR мультимедийных дейтаграмм для порядков передачи 1 и 9 и дейтаграммы FEC для порядка передачи 13. Кроме того, модуль 22 декодирования FEC восстанавливает мультимедийную дейтаграмму для порядка передачи 3, используя расчет XOR мультимедийной дейтаграммы для порядка передачи 7 и дейтаграммы FEC для порядка передачи 11.

Затем, как показано на фиг. 20D, модуль 22 декодирования FEC восстанавливает мультимедийную дейтаграмму для порядка передачи 6, используя расчет XOR мультимедийных дейтаграмм порядков передачи 5 и 7 и дейтаграмму FEC для порядка передачи 8.

Далее, как показано на фиг. 20Е, модуль 22 декодирования FEC восстанавливает мультимедийную дейтаграмму для порядка передачи 2, используя расчет XOR мультимедийной дейтаграммы для порядка передачи 6 и дейтаграмму FEC для порядка передачи 10.

Используя описанное выше декодирование FEC, как показано на фиг. 20F, модуль 22 декодирования FEC может восстанавливать все мультимедийные дейтаграммы, даже если они поступают в блок FEC, в котором большинство мультимедийных дейтаграмм потеряно. Кроме того, даже в случае, когда последняя мультимедийная дейтаграмма потеряна, как показано на фиг. 20В, устройство 2 приема может идентифицировать сегментацию фрейма, если мультимедийная дейтаграмма для порядка передачи 9, для которого был предусмотрен флаг LAST, может быть восстановлена. В соответствии с этим, устройство 2 приема может обеспечивать обработку модулей фрейма с малой задержкой.

Выше было описано декодирование FEC модулем 22 декодирования FEC. Далее будет представлено описание конфигурации системы передачи в соответствии с настоящим вариантом осуществления, с возвратом на фиг. 13.

* Модуль 23 разборки пакетов

Модуль 23 разборки пакетов 23 выполняет разборку пакетов RTP, подаваемых из модуля 21 приема RTP или из модуля 22 декодирования FEC. Модуль 23 разборки пакетов 23 выводит данные содержания в декодер 24, в случае, когда данные содержания представляют собой сжатые данные, и выводит данные содержания в модуль 25 вывода, в случае отсутствия сжатия.,

* Декодер 24

Декодер 24 декодирует сжатые данные, подаваемые из модуля 23 разборки пакетов, и выводит их в модуль 25 вывода.

* Устройство 25 вывода

Модуль 25 вывода выводит несжатые данные содержания из модулей фрейма, подаваемые из модуля 23 разборки пакетов или декодера 24 в устройство вывода, такое как устройство 200 редактирования, устройство отображения или громкоговоритель.

Сеть 3

Сеть 3 представляет собой проводной или беспроводный путь передачи информации, передаваемой из устройств, подключенных к сети 3. Сеть 3 состоит из Интернет, специализированной линии передачи, виртуальной частной сети - протокола Интернет (IP-VPN) и т.п.

Выше была описана конфигурация системы передачи в соответствии с настоящим вариантом осуществления. Далее, со ссылкой на фиг. 21, будет описана обработка операции системы передачи, соответствии с настоящим вариантом осуществления.

2-2-3. Обработка операции

На фиг. 21 представлена блок-схема последовательности операций, в которой показаны операции устройства 1 передачи, в соответствии с первым вариантом осуществления. Вначале, на этапе S102, устройство 1 передачи вводит мультимедийную дейтаграмму модулей фреймов в модуль 14 кодирования FEC. Более конкретно, устройство 1 передачи выводит мультимедийную дейтаграмму модулей фрейма в модуль 14 кодирования FEC путем захвата данных содержания модулем 11 захвата, выполняющем кодирование сжатия с помощью кодера 12 и выполняющим формирование пакетов с помощью модуля 13 формирования пакетов.

Затем, на этапе S104, модуль 141 деления делит входные мультимедийные дейтаграммы модулей фрейма по числу размера матрицы блока FEC. Например, в случае, когда выполняется кодирование FEC, в соответствии с системой XOR для двумерной матрицы 4×4, модуль 141 деления делит входные мультимедийные дейтаграммы модулей фрейма на группы для каждой из 16 мультимедийных дейтаграмм.

Затем, на этапе S106, модуль 142 размещения размещает мультимедийные дейтаграммы в блоке FEC. Более конкретно, модуль 142 размещения размещает мультимедийные дейтаграммы каждой группы, разделенные модулем 141 деления в блоке FEC. Здесь, в случае группы по структуре 1, модуль 142 размещения размещает мультимедийные дейтаграммы по числу размера матрицы блока FEC, разделенной модулем 141 деления, во всем блоке FEC. Кроме того, в случае группы по структуре 2, модуль 142 размещения размещает мультимедийные дейтаграммы по числу или меньше, чем размер матрицы блока FEC, разделенный модулем деления 141, в части блока FEC.

Затем, на этапе S108, модуль 143 генерирования генерирует дейтаграммы FEC. Более конкретно, модуль 143 генерирования генерирует дейтаграмму FEC с помощью расчетов XOR для каждой из мультимедийных дейтаграмм, которые принадлежат одному ряду, и для каждой из мультимедийных дейтаграмм, которые принадлежат одному столбцу, матрицы, размещенной модулем 142 размещения.

Затем, на этапе S110, модуль 144 определения определяет порядок передачи. Более конкретно, модуль 144 определения повторяет определение порядка передачи для передачи мультимедийных дейтаграмм, в последовательном порядке, в горизонтальном направлении и затем в порядке дейтаграммы FEC, генерируемой для мультимедийных дейтаграмм, которые принадлежат этому направлению, вдоль вертикального направления. Таким образом, модуль 144 определения определяет порядок передачи мультимедийных дейтаграмм и дейтаграмм FEC, которые принадлежат блоку FEC. Кроме того, как описано выше со ссылкой на фиг. 17В, в случае, когда мультимедийные дейтаграммы не присутствуют в структуре 2, модуль 144 определения определяет порядок передачи для передачи дейтаграмм FEC по модулю столбца для положений мультимедийных дейтаграмм, которые не присутствуют.

Затем, на этапе S112, модуль 144 определения предоставляет флаги LAST. Более конкретно, модуль 144 определения предоставляет флаги LAST для мультимедийных дейтаграмм разрыва фрейма и дейтаграмм FEC модуля ряда и модуля столбца, которому принадлежит такая мультимедийная дейтаграмма.

Затем, на этапе S114, модуль 15 передачи RTP передает пакеты RTP в соответствии с порядком передачи. Более конкретно, модуль 15 передачи RTP передает мультимедийные дейтаграммы и дейтаграммы FEC, генерируемые модулем 14 кодирования FEC, в устройство 2 приема, в соответствии с порядком передачи, определенным модулем 144 определения.

Выше была описана обработка операции устройства 1 передачи, в соответствии с настоящим вариантом осуществления.

2-3. Второй вариант осуществления

2-3-1. Общий обзор.,

В настоящем варианте осуществления обеспечивается передача с малой задержкой в результате автоматического переключения системы FEC. Вначале, со ссылкой на фиг. 22, будет описан общий обзор настоящего варианта осуществления.

Фиг. 22 предназначена для описания общего обзора системы передачи в соответствии со вторым вариантом осуществления. Система передачи, в соответствии с настоящим вариантом осуществления представляет собой систему, которая выполняет передачу видеоданных с множеством частот битов так, как показано на фиг. 22А, и динамически изменяет частоту битов видеоданных (содержание движущегося изображения) так, как показано на фиг. 22В.

Здесь будет описан конкретный пример, в котором выполняется передача видеоданных с множеством частот битов на основе предположения, что устройство 10 передачи (устройство обработки информации) соединено с 10 камерами 100. Например, в случае, когда 4 из этих 10 камер используются для широковещательной передачи в режиме прямого вещания, устройство 10 передачи передает видеоданные из 4 камер с высокой скоростью передачи битов (1,5 Гбит/с), и поскольку остальные 6 используется для отслеживания, передачу выполняют в виде сжатого потока с низкой скоростью передачи битов (150 Мбит/с).

Аналогично, будет описан конкретный пример, в котором скорость передачи битов видеоданных автоматически изменяется на основе предположения, что устройство 10 передачи соединено с камерами 100. Например, устройство 10 передачи выполняет передачу только 1 камеры во время прямой широковещательной передачи, среди 10 камер 100, с высокой скоростью передачи битов (1,5 Гбит/с), и поскольку остальные 9 камер предназначены для отслеживания, передача выполняется в виде сжатого потока с низкой скоростью передачи битов. Кроме того, в то время, когда камера 100 в течение прямой широковещательной передачи переключается, устройство 10 передачи выполняет изменение для 1 камеры во время прямой широковещательной передачи, которая до сих пор выполняла передачу с высокой скоростью передачи битов, на низкую скорость передачи битов и выполняет изменение для новой 1 камеры, которая выполняла прямую широковещательную передачу с низкой скоростью передачи битов, на высокую скорость передачи битов.

Как описано выше, в качестве системы FEC, в основном используются два типа, такие, как система XOR и система кода RS. В общем, система кода RS имеет более высокие характеристики восстановления в случае такой же избыточности, и количество расчетов является большим по сравнению с системой XOR. Здесь представлено подробное сравнение этих систем FEC со ссылкой на фиг. 23 и фиг. 24.

На фиг. 23 показана таблица, в которой характеристики FEC сравнивают для системы XOR и системы кода RS. Как показано на фиг.23, в случае, когда блок FEC является большим (присутствует большое количество пакетов), система XOR может достигать максимальных характеристик восстановления с малой избыточностью и малым объемом расчетов. Кроме того, как показано на фиг. 23, в случае, когда блок FEC является малым (существует малое количество пакетов), система XOR может достигать максимальных характеристик восстановления при низкой избыточности и малом объеме расчетов. Таким образом, поскольку существуют соответствующие преимущества и недостатки для системы XOR и системы кода RS, требуется разделение использования, в соответствии с состоянием устройства 10 передачи, для достижения передачи с малой задержкой.

На фиг. 24 показана таблица, которая представляет проблемы системы XOR и системы кода RS. На фиг. 24 показан пример в системе, для которой может потребоваться, чтобы задержка FEC имела малое значение задержки 1,5 мс или меньше. Как показано в * 1 на фиг. 24, в случае малой скорости передачи битов, избыточность системы ProMPEG является высокой, и, таким образом, происходит расточительная передача в полосе сети. Кроме того, как показано в *2 на фиг. 24, в случае высокой скорости передачи битов, плотность пакета является высокой, и может потребоваться обработка кодирования/декодирования RS для 80 пакетов в течение 0,64 мс, и, таким образом, спецификация необходимых аппаратных средств становится чрезвычайно высокой.

Таким образом, система FEC, пригодная для скорости передачи битов, будет разной, в соответствии со временем задержки, запрашиваемым для обработки FEC. В соответствии с этим, в системе, в которой существует множество скоростей передачи битов, происходят случаи, когда возникают проблемы в отношении характеристики восстановления, избыточности и скорости обработки, в соответствии со скоростью передачи битов, если система FEC не будет изменяться динамически.

В соответствии с этим, в настоящем варианте осуществления, устройство 10 передачи выбирает систему FEC, соответствующую скорости передачи битов в начале передачи, на основе порогового значения скорости передачи битов. Кроме того, в случае, когда скорость передачи битов изменяется во время передачи, устройство 10 передачи автоматически изменяет систему FEC на основе результата сравнения между скоростью передачи битов, после изменения и пороговым значением.

Кроме того, соответствующая система FEC будет другой, в соответствии с размером данных, предназначенным для передачи. Более конкретно, соответствующая система FEC будет другой, в соответствии с тем, являются ли видеоданные, предназначенные для передачи, не сжатыми (данными RAW), или они, представляют собой сжатые видеоданные. В соответствии с этим, в системе, где размер видеоданных, предназначенных для передачи, является разным, происходят случаи, когда возникают проблемы, связанные с характеристиками восстановления, избыточностью и скорости обработки, в соответствии со сжатием/не сжатием видеоданных, если не происходит динамическое переключение системы FEC.

В соответствии с этим, в настоящем варианте осуществления, устройство 10 передачи выбирает систему FEC, соответствующую сжатию/не сжатию во время начала передачи, на основе сжатия/не сжатия видеоданных, предназначенных для передачи. Кроме того, в случае, когда сжатие/не сжатие изменяется во время передачи, устройство 10 передачи автоматически изменяет систему FEC на основе сжатия/не сжатия после изменения.

Кроме того, в случае, когда происходит переключение системы FEC, устройство 10 передачи обеспечивает декодирование с использованием устройства 2 приема, путем передачи уведомления, содержащего информацию, которая представляет, что произошло переключение, в устройство 2 приема. Например, устройство 10 передачи передает уведомление, содержащее информацию, которая представляет моменты времени, в которые происходит переключение системы FEC, в систему FEC, после переключения и т.п., в устройство 2 приема, путем предоставления в заголовок или путем передачи специализированного сообщения.

Выше был описан общий обзор настоящего варианта осуществления. Далее, со ссылкой на фиг. 25, будет описана конфигурация системы передачи в соответствии с настоящим вариантом осуществления.

2-3-2. Конфигурация

На фиг. 25 показана блок-схема, которая представляет конфигурацию системы передачи в соответствии со вторым вариантом осуществления. Как показано на фиг. 25, устройство 10 передачи и устройство 2 приема соединены через сеть 3. Поскольку конфигурации устройства 2 приема и сети 3 описаны в первом варианте осуществления, подробное описание их не будет здесь представлено. Далее будет описана конфигурация устройства 10 передачи.

Устройство 10 передачи

Как показано на фиг. 13, устройство 10 передачи имеет модуль 11 захвата, кодер 12, модуль 13 формирования пакетов, модуль 14 кодирования FEC (модуль кодирования), модуль 15 передачи RTP и модуль 16 определения использования FEC. Поскольку модуль 11 захвата, кодер 12, модуль 13 формирования пакетов, модуль 14 кодирования FEC и модуль 15 передачи RTP являются такими же, как описано в первом варианте осуществления, подробное их описание не будет здесь представлено.

* Модуль 16 определения использования FEC

Модуль 16 определения использования FEC имеет функцию, которая определяет систему кодирования FEC в модуле 14 кодирования FEC. Таким образом, модуль 14 кодирования FEC выполняет кодирование FEC мультимедийных дейтаграмм (данных передачи), используя систему кодирования, определенную модулем 16 определения использования FEC. Кроме того, модуль 15 передачи RTP передает данные передачи, кодированные с использованием FEC, с помощью системы кодирования, определенной модулем 16 определения использования FEC, в устройство 2 приема. Здесь подробная конфигурация модуля 16 определения использования FEC будет описана, со ссылкой на фиг. 26.

На фиг. 26 показана блок-схема, которая представляет конфигурацию модуля 16 определения использования FEC, в соответствии со вторым вариантом осуществления. Как показано на фиг. 26, модуль 16 определения использования FEC функционирует, как модуль 161 получения, модуль 162 изменения и модуль 163 выбора.

- Модуль 161 получения

Модуль 161 получения имеет функцию, которая получает скорость передачи битов. Модуль 161 получения получает скорость передачи битов, например, путем отслеживания состояния сети 3.

- Модуль 162 изменения

Модуль 162 изменения имеет функцию, которая изменяет скорость передачи битов. Модуль 162 изменения изменяет скорость передачи битов, например, на основе инструкции пользователя, инструкции из внешнего модуля и т.п.

- Модуль 163 выбора

Модуль 163 выбора имеет функцию, которая выбирает систему кодирования FEC (систему кодирования, такую как прямая коррекция ошибок), на основе результата сравнения между скоростью передачи битов, полученной модулем 161 получения, и пороговым значением. В частности, модуль 163 выбора выбирает любую из системы кода RS и системы XOR в качестве системы кодирования FEC. Более конкретно, модуль 163 выбора выбирает систему кода RS в случае, когда скорость передачи битов ниже, чем пороговое значение, и выбирает систему XOR в случае, когда скорость передачи битов выше, чем пороговое значение. Например, в примере, показанном на фиг. 22А, в случае, когда порог установлен, как 500 Мбит/с, модуль 163 выбора выбирает систему кода RS в случае, когда скорость передачи битов составляет 150 Мбит/с, и выбирает систему XOR в случае, когда скорость передачи битов составляет 1500 Мбит/с.Таким образом, путем динамического выбора системы FEC, пригодной для скорости передачи битов в сети 3 с помощью модуля 163 выбора, устройство 10 передачи может обеспечить передачу с малой задержкой.

Кроме того, модуль 163 выбора имеет функцию, которая выбирает систему кодирования FEC на основе результата сравнения между скоростью передачи битов, измененной модулем 162 изменения, и пороговым значением. Более конкретно, модуль 163 выбора выбирает систему кода RS в случае, когда скорость передачи битов, после изменения ниже, чем пороговое значение, и выбирает систему XOR в случае, когда скорость передачи битов выше, чем пороговое значение. Например, в примере, показанном на фиг. 22В, в случае, когда пороговое значение установлено равным 500 Мбит/с, модуль 163 выбора выбирает систему XOR в случае, когда скорость передачи битов, после изменения, составляет 1500 Мбит/с. Аналогично, модуль 163 выбора выбирает систему кода RS в случае, когда скорость передачи битов, после изменения, составляет 150 Мбит/с. Таким образом, путем динамического выбора системы FEC, пригодной для динамического изменения скорости передачи битов модулем 162 изменения с использованием модуля 163 выбора, устройство 10 передачи может обеспечить передачу с малой задержкой.

Кроме того, модуль 163 выбора имеет функцию, которая выбирает систему кодирования FEC на основе, является ли сжатым содержание движущегося изображения, предназначенное для передачи. Более конкретно, модуль 163 выбора выбирает систему кода RS в случае, когда видеоданные, подаваемые в модуль 14 кодирования FEC, сжаты кодером 12, и выбирает систему XOR в случае не сжатых данных (данные RAW). Таким образом, путем динамического выбора системы FEC, пригодной для сжатия/не сжатия видеоданных, предназначенных для передачи модулем 163 выбора, устройство 10 передачи может обеспечить передачу данных с малой задержкой.

Выше была описана конфигурация системы передачи в соответствии с настоящим вариантом осуществления. Далее будет описана обработка операции системы передачи, в соответствии с настоящим вариантом осуществления, со ссылкой на фиг. 27.

2-3-3. Обработка операций

На фиг. 27 показана блок-схема последовательности операций, которая представляет операции устройства 10 передачи, в соответствии со вторым вариантом осуществления. Вначале, на этапе S202, модуль 161 получения получает скорость передачи битов.

Далее, на этапе S204, модуль 163 выбора определяет состояние сжатия/не сжатия содержания движущегося изображения, предназначенного для передачи. В частности, модуль 163 выбора определяет, являются ли видеоданные, предназначенные для передачи, данными RAW, или они представляют собой сжатые видеоданные.

Далее, на этапе S206, модуль 163 выбора выбирает систему кодирования на основе скорости передачи битов и состояния сжатия/не сжатия содержания движущегося изображения. Более конкретно, модуль 163 выбора выбирает систему кода RS в случае, когда скорость передачи битов, полученная модулем 161 получения, меньше, чем пороговое значение, и выбирает систему XOR в случае, когда скорость передачи битов выше, чем пороговое значение. Здесь, в случае, когда скорость передачи битов была изменена модулем 162 изменения, модуль 163 выбора выбирает систему кода RS в случае, когда скорость передачи битов, после изменения, ниже, чем пороговое значение, и выбирает систему XOR в случае, когда скорость передачи битов выше, чем пороговое значение. Кроме того, модуль 163 выбора выбирает систему кода RS в случае, когда содержание движущегося изображения, предназначенное для передачи, сжато кодером 12, и выбирает систему XOR, в случае отсутствия сжатия.

Затем, на этапе S208, модуль 14 кодирования FEC кодирует мультимедийные дейтаграммы в системе кодирования, определенной модулем 16 определения использования FEC. Более конкретно, модуль 14 кодирования FEC выполняет кодирование FEC для мультимедийных дейтаграмм в системе кодирования, представляющей собой любую из системы XOR и системы кода RS, выбранной модулем 163 выбора.

Затем, на этапе S210, модуль 15 передачи RS передает мультимедийные дейтаграммы и дейтаграммы FEC, выводимые из модуля 14 кодирования FEC в устройство 2 приема.

Далее будет описана обработка операции устройства 10 передачи в соответствии с настоящим вариантом осуществления.

3. Заключение

Как описано выше, в соответствии с настоящим раскрытием, возможно улучшить технологию, относящуюся к FEC, для достижения передачи с малой задержкой. Более конкретно, система передачи, в соответствии с первым вариантом осуществления, может обеспечивать передачу данных с малой задержкой в системе FEC, на основе разрывов фрейма видеоданных. Кроме того, система передачи, в соответствии со вторым вариантом осуществления, может обеспечивать передачу данных с малой задержкой, путем автоматического переключения системы FEC.

Предпочтительный вариант (варианты) осуществления настоящего раскрытия был (были) описан выше со ссылкой на приложенные чертежи, в то врем, как настоящее раскрытие не ограничено представленными выше примерами. Специалист в данной области техники может найти различные изменения и модификации в пределах объема приложенной формулы изобретения, и следует понимать, что они, естественно, попадают в технический объем настоящего раскрытия.

Например, может быть составлена компьютерная программа, обеспечивающая проявление аппаратными средствами, такими как CPU, ROM и RAM, встроенными в устройство обработки информации, функций, соответствующих каждой из конфигураций описанного выше устройства 1 передачи, устройства 10 передачи и устройства 2 приема. Кроме того, также предусмотрен носитель записи, для записи этой компьютерной программы.

Кроме того, настоящая технология может быть выполнена так, как представлено ниже.

(1) Устройство обработки информации, включающее в себя:

модуль размещения, выполненный с возможностью размещения дейтаграмм в числе заданного размера матрицы или меньше, в по меньшей мере части матрицы заданного размера, посредством повторного размещения дейтаграмм по порядку вдоль первого направления в соответствии со вторым направлением; и

модуль генерирования, выполненный с возможностью генерирования избыточной дейтаграммы для прямой коррекции ошибок, для каждой из дейтаграмм, принадлежащих одному ряду, и для каждой из дейтаграмм, принадлежащих одному столбцу матрицы, размещенной модулем размещения.

(2) Устройство обработки информации по (1), дополнительно включающее в себя:

модуль определения, выполненный с возможностью определения порядка передачи дейтаграмм и избыточной дейтаграммы, при этом

модуль определения выполнен с возможностью повторения вдоль второго направления, определение порядка передачи, для передачи дейтаграмм в порядке первого направления и далее в порядке избыточной дейтаграммы для дейтаграмм, принадлежащих первому направлению.

(3) Устройство обработки информации по (2), в котором

в случае когда дейтаграмма отсутствует, модуль определения выполнен с возможностью определения порядка передачи для передачи избыточной дейтаграммы для дейтаграмм, принадлежащих второму направлению, в положении дейтаграммы, которая отсутствует.

(4) Устройство обработки информации по (2) или (3), в котором

модуль определения выполнен с возможностью предоставления заданного флага для последней дейтаграммы в порядке передачи из дейтаграмм и для избыточных дейтаграмм для дейтаграмм, принадлежащих первому направлению и второму направлению последней дейтаграммы.

(5) Устройство обработки информации по любому из (2)-(4), дополнительно включающее в себя:

модуль передачи, выполненный с возможностью передачи дейтаграмм и избыточной дейтаграммы в соответствии с порядком передачи, определенным модулем определения.

(6) Устройство обработки информации по любому из (1)-(5), дополнительно включающее в себя:

модуль ввода, выполненный с возможностью ввода дейтаграмм, составляющих содержание движущегося изображения модулей фрейма; и

модуль деления, выполненный с возможностью деления дейтаграмм модулей фрейма, вводимых в модуль ввода по числу заданного размера матрицы, при этом

модуль размещения выполнен с возможностью размещения дейтаграммы по числу заданного размера матрицы, разделенного модулем деления, или дейтаграммы по числу, меньшему, чем заданный размер матрицы.

(7) Устройство обработки информации по любому из (1)-(6), в котором

модуль генерирования выполнен с возможностью генерирования избыточной дейтаграммы с использованием операции, исключающее ИЛИ для дейтаграмм, принадлежащих одному ряду или столбцу.

(8) Устройство обработки информации по любому из (1)-(7), в котором

первое направление и второе направление имеют по меньшей мере любое из горизонтального направления и вертикального направления, и вертикального направления и горизонтального направления.

(9) Устройство обработки информации по любому из (1)-(8), в котором

дейтаграмма представляет собой по меньшей мере одни из видеоданных, аудиоданных и метаданных, составляющих содержание движущегося изображения.

(10) Способ обработки информации, включающий в себя этапы, на которых:

размещают дейтаграммы в числе заданного размера матриц или меньше по меньшей мере в части матрицы заданного размера посредством повторяющегося размещения дейтаграмм по порядку вдоль первого направления, в соответствии со вторым направлением; и

генерируют избыточную дейтаграмму для прямой коррекции ошибок, для каждой из дейтаграмм, принадлежащих одному ряду, и для каждой из дейтаграмм, принадлежащих одному столбцу размещенной матрицы.

(11) Программа, вызывающая выполнение компьютером функций:

модуля размещения, выполненного с возможностью размещения дейтаграмм в числе заданного размера матрицы или меньше в по меньшей мере части матрицы заданного размера посредством повторения размещения дейтаграмм в порядке вдоль первого направления, в соответствии со вторым направлением; и

модуля генерирования, выполненного с возможностью генерирования избыточной дейтаграммы для прямой коррекции ошибок, для каждой из дейтаграмм, принадлежащих одному ряду, и для каждой из дейтаграмм, принадлежащих одному столбцу матрицы, размещенной модулем размещения.

Список номеров ссылочных позиций