УСТРОЙСТВО ОЦЕНКИ КАЧЕСТВА АУДИОВИЗУАЛЬНОГО СИГНАЛА И СПОСОБ ОЦЕНКИ КАЧЕСТВА АУДИОВИЗУАЛЬНОГО СИГНАЛА

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству, способу и программе для оценки качества аудиовизуального сигнала.

Уровень техники

Все большее распространение получают услуги, в которых между терминалами или между сервером и терминалом через Интернет передают мультимедийный видеопоток, содержащий видеосигнал и аудиосигнал (в том числе речь).

В сети Интернет качество связи гарантируется не всегда, и при передаче аудиопотока и/или видеопотока вследствие низкой пропускной способности линии связи между терминалом зрителя и сетью может снижаться скорость передачи данных в битах, а перегрузка линий связи может приводить к потере пакета, задержке передачи пакета и повторной отправке пакета. В этом случае воспринимаемое зрителем или слушателем качество аудиопотока, видеопотока и т.п. может снижаться.

Конкретнее, поскольку видеосигнал невозможно передавать через сеть со скоростью передачи данных в битах выше предельной, исходный видеосигнал подвергают кодированию, которое может приводить к появлению в кадре видеосигнала сниженного качества (из-за того, что кодирование выполняется поблочно) или к снижению верности воспроизведения деталей во всем видеоматериале (из-за потери высокочастотных компонентов видеосигнала). Кроме того, из-за невозможности поддержания постоянства скорости передачи данных в битах может снижаться разрешение видеосигнала и верность воспроизведения деталей, а из-за снижения частоты кадров может оказаться невозможным поддержание непрерывности видеосигнала, что может привести к появлению разрывов в видеоматериале. При передаче кодированных видеоданных в терминал зрителя через сеть в виде пакетов в случае потери или удаления пакетов, снижения пропускной способности и т.п. в кадре может иметь место снижение качества. При этом пакеты могут оказаться недоставленными адресату в ожидаемое для воспроизведения время, объем данных в буфере терминала зрителя может стать недостаточным, что приведет к остановке воспроизведения видеоматериала.

Подобное справедливо и в отношении аудиосигнала: поскольку аудиосигнал невозможно передавать через сеть со скоростью передачи данных в битах выше предельной, исходный аудиосигнал подвергают кодированию, при котором могут теряться высокочастотные компоненты аудиосигнала и снижаться четкость аудиоматериала. Также, как и при передаче видеосигнала, в случае передачи через сеть кодированных аудиоданных в терминал слушателя в виде пакетов, при потере или удалении пакетов, снижении пропускной способности и т.п. в аудиосигнале могут возникать искажения. При этом пакеты могут оказаться недоставленными адресату в ожидаемое для воспроизведения время, объем данных в буфере терминала слушателя может стать недостаточным, что приведет к остановке воспроизведения аудиоматериала.

В итоге зритель или слушатель чувствует ухудшение видеосигнала или аудиосигнала и воспринимает снижение качества аудиовизуального сигнала.

Чтобы поставщик услуг видеосвязи мог удостовериться в хорошем качестве предоставляемой услуги, важно иметь возможность измерения качества аудиовизуального сигнала, физически воспринимаемого зрителями, которые пользуются услугой, и, тем самым, контроля качества аудиовизуального сигнала услуги, предоставляемой зрителям.

Соответственно, необходим способ оценки качества аудиовизуального сигнала, обладающий возможностью адекватного представления качества аудиовизуального сигнала, воспринимаемого зрителем.

Общепринято в качестве способов оценки качества аудиовизуального сигнала использовать способы субъективного определения качества (см., например, непатентный документ 1) и способы объективного определения качества (см., например, непатентный документ 2).

В способе субъективного определения качества оценивают качество, воспринимаемое множеством зрителей, отсмотревших видеоматериалы, по пятибалльной (иногда девятибалльной или одиннадцатибалльной) шкале качества (отличное, хорошее, удовлетворительное, плохое, очень плохое), по шкале снижения качества (снижение качества не выявлено, выявлено нераздражающее снижение качества, слегка раздражающее снижение качества, раздражающее снижение качества, очень раздражающее снижение качества) и т.п., получают среднее значение оценки качества видеосигналаматериалов (например, видеоматериалов с потерей 0% пакетов и скоростью передачи данных 2 Мбит/с) по общему количеству зрителей, выступающих в качестве субъектов оценки, и выражают указанное значение в виде показателя MOS (англ. Mean Opinion Score, средняя экспертная оценка) или показателя DMOS (англ. Degradation Mean Opinion Score, средняя экспертная оценка снижения качества).

Однако для субъективного определения качества требуется не только специализированное оборудование (мониторы и т.д.) и обстановка с нормированными характеристиками (освещенность помещения, шум в помещении и т.д.), но и труд множества зрителей, которые оценивают видеоизображение и звук. Просмотр может занимать длительное время и поэтому субъективные способы неприменимы для оценки качества в реальном времени.

В связи с этим был нужен способ объективного определения качества, который по характерным значениям, влияющим на качество видеоизображения и качество звука (например, по скорости передачи данных, информации о потере пакетов и т.д.) позволял бы определить значение качества аудиовизуального сигнала.

В одном из общепринятых способов объективного определения качества принимают переданные пакеты и настроечные значения от поставщика услуги и т.п. и по ним определяют значение качества аудиовизуального сигнала содержимого на временном интервале, продолжительность которого (например, около 10 секунд) мала по сравнению с продолжительностью реального содержимого (например, 30 минут, один час, два часа и т.д.), распространяя при этом степень ухудшения вследствие утраты кадров видеоизображения, вызванной потерей пакетов, на все содержимое (см., например, непатентный документ 2).

Таким образом, общепринятые способы объективного определения качества в основном ориентированы на оценку качества аудиовизуального сигнала за короткое время путем использования пакетов.

Документы известного уровня техники

Непатентные документы

Непатентный документ 1: Субъективные способы оценки качества видеосигнала для мультимедийных приложений (англ. "Subjective video quality-assessment methods for multimedia applications"), ITU-T c. 910

Непатентный документ 2: Параметрическая неинтрузивная оценка качества потока аудиовизуальной информации (англ. "Parametric non-intrusive assessment of audio-visual media streaming quality"), ITU-T c. 1201

Раскрытие сущности изобретения

Недостаток, устраняемый настоящим изобретением

Техническое решение, раскрытое в непатентном документе 2, предполагает оценку качества аудиовизуального сигнала в течение, например, приблизительно 10 секунд и ориентировано на видеосвязь с фиксированной скоростью передачи данных в битах. По этой причине его трудно использовать для оценки качества услуги, в которой скорость передачи данных в битах и качество аудиовизуального сигнала непостоянны во времени (в таких, например, сервисах, как HLS (англ. HTTP Live Streaming, потоковая передача в реальном времени с использованием протокола HTTP) и MPEG-DASH (англ. MPEG Dynamic Adaptive Streaming over HTTP, адаптивная потоковая передача данных MPEG в реальном времени с использованием протокола HTTP)). Конкретно, в решении из непатентного документа 2, ориентированном на оценку качества аудиовизуального сигнала за короткое время, не предполагаются значительные временные колебания качества, показанные на фиг. 1. Соответственно, оценивать качество аудиовизуального сигнала в такой ситуации затруднительно (недостаток 1).

Кроме того, поскольку решение из непатентного документа 2 ориентировано на оценку качества аудиовизуального сигнала за короткое время, его затруднительно использовать для оценки качества аудиовизуального сигнала ближе к концу продолжительного содержимого (например, видеоролика продолжительностью несколько минут, 30-минутной анимации, двухчасового фильма, и т.д.). Конкретнее, у зрителя продолжительного содержимого впечатление от более ранней части этого содержимого притупляется, тогда как впечатление от недавно просмотренной части сохраняется более четким (эффект забывания/эффект новизны). Однако это повышение вклада в качество с течением времени в непатентном документе 2 во внимание не принимается (недостаток 2).

Кроме того, в непатентном документе 2 не принимается во внимание, что состояние с более низким качеством аудиовизуального сигнала сильнее влияет на итоговое качество аудиовизуального сигнала, чем состояние с более высоким качеством аудиовизуального сигнала (недостаток 3).

Кроме того, в способе из непатентного документа 2, хотя и учитывают при оценке качества аудиовизуального сигнала ухудшение характеристик кодирования аудиовизуального содержимого, количество остановок воспроизведения, продолжительность остановок воспроизведения и интервалы между остановками воспроизведения аудиовизуального содержимого, но из-за того, что предполагается кратковременность колебания, не учитывают соотношение между продолжительностью аудиовизуального содержимого и продолжительностью остановок воспроизведения. Например, 10-секундная остановка воспроизведения аудиовизуального содержимого значительно сильнее влияет на качество аудиовизуального сигнала в содержимом продолжительностью 10 секунд, чем в содержимом продолжительностью один час (в первом случае качество аудиовизуального сигнала очень низкое, поскольку в 10-секундном содержимом произошла остановка воспроизведения на все 10 секунд, тогда как во втором случае качество аудиовизуального сигнала может в итоге сохраниться высоким, поскольку в содержимом продолжительностью один час произошла остановка воспроизведения всего на 10 секунд), но этот эффект во внимание не принимается. Продолжительность содержимого не учитывают и при подсчете количества остановок воспроизведения и интервалов между остановками воспроизведения (недостаток 4).

Настоящее изобретение разработано с учетом вышеуказанных недостатков, и его целью является предоставление возможности оценки качества даже при изменении качества аудиовизуального сигнала во времени.

Средства устранения недостатков

Предлагаемое для устранения вышеуказанных недостатков устройство для оценки качества аудиовизуального сигнала содержит модуль оценки качества аудиосигнала, выполненный с возможностью оценки качества аудиосигнала для каждой единицы времени, начиная с момента начала воспроизведения аудиовизуального содержимого, на основании параметра, влияющего на качество аудиосигнала и входящего в число параметров, относящихся к указанному содержимому; модуль оценки качества видеосигнала, выполненный с возможностью оценки качества видеосигнала для указанной каждой единицы времени на основании параметра, влияющего на качество видеосигнала и входящего в число параметров, относящихся к указанному содержимому; модуль оценки качества единицы времени, выполненный с возможностью объединения качества аудиосигнала и качества видеосигнала для указанной каждой единицы времени с целью оценки качества аудиовизуального сигнала для указанной каждой единицы времени; модуль оценки качества кодирования, выполненный с возможностью объединения качества аудиовизуального сигнала для указанных единиц времени в единое значение для оценки качества кодирования аудиовизуального сигнала в отношении ухудшения характеристик кодирования, причем в указанной оценке учитываются колебания качества во времени; и модуль оценки качества аудиовизуального сигнала, выполненный с возможностью оценки качества аудиовизуального сигнала, воспринимаемого зрителем после окончания содержимого, на основании указанного качества кодирования аудиовизуального сигнала.

Преимущество изобретения

Настоящее изобретение дает возможность оценки качества аудиовизуального сигнала даже при его изменении во времени.

Краткое описание чертежей

Фиг. 1 представляет собой иллюстрацию колебаний качества аудиовизуального сигнала во времени.

Фиг. 2 представляет собой схему примера аппаратной конфигурации устройства для оценки качества аудиовизуального сигнала в варианте осуществления настоящего изобретения.

Фиг. 3 представляет собой схему примера функциональной конфигурации устройства для оценки качества аудиовизуального сигнала в варианте осуществления настоящего изобретения.

Фиг. 4 представляет собой схему примера функциональной конфигурации в случае, когда входные параметры получают из пакетов (или т.п.) содержимого.

Фиг. 5 содержит схемы для иллюстрации способа получения параметров мультимедийного потока из MPD для каждой единицы времени.

Фиг. 6 представляет собой схему для пояснения параметров буферизации.

Фиг. 7 представляет собой блок-схему примера этапов обработки, выполняемых устройством для оценки качества аудиовизуального сигнала.

Варианты осуществления настоящего изобретения

Далее со ссылкой на чертежи описываются варианты осуществления изобретения. Фиг. 2 представляет собой схему примера аппаратной конфигурации устройства для оценки качества аудиовизуального сигнала в варианте осуществления настоящего изобретения. Устройство 10 для оценки качества аудиовизуального сигнала, показанное на фиг. 2, содержит считывающий модуль 100, вспомогательный модуль 102 хранения, модуль 103 памяти, центральное процессорное устройство (ЦПУ) 104 и интерфейсный модуль 105, соединенные между собой шиной В.

Программа, реализующая функционирование устройства 10 для оценки качества аудиовизуального сигнала, предоставляется на записываемом носителе 101, например, на гибком диске или на диске CD-ROM. После помещения записываемого носителя 101, на котором сохранена указанная программа, в считывающий модуль 100, указанная программа устанавливается во вспомогательный модуль 102 хранения с записываемого носителя 101 через считывающий модуль 100. Однако указанная программа не обязательно должна устанавливаться с записываемого носителя 101 и может быть загружена с другого компьютера через сеть. Кроме того, указанная программа может устанавливаться как часть другой программы. Вспомогательный модуль 102 хранения хранит установленную программу и необходимые файлы, данные и т.п.

Приняв команду активации указанной программы, модуль 103 памяти с целью загрузки программы считывает эту программу из вспомогательного модуля 102 хранения. ЦПУ 104 выполняет функции, относящиеся к устройству 10 для оценки качества аудиовизуального сигнала, в соответствии с программой, сохраненной в модуле 103 памяти. Интерфейсный модуль 105 используется в качестве интерфейса для соединения с сетью.

Фиг. 3 представляет собой схему примера функциональной конфигурации устройства для оценки качества аудиовизуального сигнала в варианте осуществления настоящего изобретения. Как показано на фиг.3, устройство 10 для оценки качества аудиовизуального сигнала, предназначенное для оценки качества аудиовизуального сигнала, воспринимаемого зрителем в конце просмотра аудиовизуального содержимого (далее просто «содержимое») содержит модуль 11 оценки качества аудиосигнала, модуль 12 оценки качества видеосигнала, модуль 13 оценки качества единицы времени, модуль 14 оценки качества кодирования и модуль 15 оценки качества аудиовизуального сигнала. Указанные модули реализуются процессами, выполняемыми ЦПУ 104 в результате исполнения одной или более программ, установленных в устройстве 10 для оценки качества аудиовизуального сигнала. Иными словами, эти модули реализуются совместной работой аппаратных ресурсов устройства 10 для оценки качества аудиовизуального сигнала и программы (программного обеспечения), установленной в устройстве 10 для оценки качества аудиовизуального сигнала.

Модуль 11 оценки качества аудиосигнала вычисляет для содержимого оценочное значение качества аудиосигнала для каждой единицы времени (далее просто «качество аудиосигнала») на основании аудиопараметра, влияющего на качество аудио содержимого и входящего в число параметров, относящихся к указанному содержимому (например, на основании скорости передачи данных в битах, частоты дискретизации для аудиосигнала и т.д.). Единица времени представляет собой интервал времени, относительно короткий по сравнению с продолжительностью содержимого (длительностью содержимого во времени), например, одну секунду, пять секунд или десять секунд.

Модуль 12 оценки качества видеосигнала вычисляет для содержимого оценочное значение качества видеосигнала для каждой единицы времени (далее просто «качество видеосигнала») на основании видеопараметра, влияющего на качество видео содержимого и входящего в число параметров, относящиеся к указанному содержимому (например, на основании скорости передачи данных в битах, разрешения, частоты кадров для видеосигнала и т.д.).

Модуль 13 оценки качества единицы времени для каждой единицы времени содержимого вычисляет оценочное значение качества аудиовизуального сигнала (далее просто «качество аудиовизуального сигнала») на основании качества аудиосигнала для указанной единицы времени, переданного из модуля 11 оценки качества аудиосигнала, и качества видеосигнала для указанной единицы времени, переданного из модуля 12 оценки качества видеосигнала.

Модуль 14 оценки качества кодирования вычисляет для содержимого оценочное значение качества кодирования аудиовизуального сигнала в отношении ухудшения характеристик кодирования, в котором учтены колебания качества во времени (далее просто «качество кодирования аудиовизуального сигнала»), на основании качества аудиовизуального сигнала, переданного из модуля 13 оценки качества единицы времени для каждой единицы времени.

Модуль 15 оценки качества аудиовизуального сигнала вычисляет для содержимого оценочное значение качества аудиовизуального сигнала (после просмотра содержимого), воспринимаемое зрителем в конце содержимого (далее просто «качество аудиовизуального сигнала»), на основании качества кодирования аудиовизуального сигнала, переданного из модуля 14 оценки качества кодирования, и параметров буферизации, относящихся к остановке воспроизведения аудиовизуального содержимого (например, суммарной продолжительности остановок воспроизведения, количества остановок воспроизведения и среднего интервала между остановками воспроизведения). Следует отметить, что в настоящем документе «остановка воспроизведения» означает не преднамеренную остановку воспроизведения зрителем, а остановку в ходе воспроизведения, вызванную ухудшением характеристик содержимого. Модуль 15 оценки качества аудиовизуального сигнала также выполнен с возможностью вычисления качества аудиовизуального сигнала на основании длительности аудиовизуального содержимого (чистой продолжительности содержимого, не включающей продолжительность остановки).

Входные параметры, в т.ч. аудиопараметры, видеопараметры и параметры буферизации, показанные на фиг. 3, могут автоматически получать из, например, пакетов содержимого, передаваемых по сети в терминал зрителя (терминал, используемый для просмотра содержимого), или могут получать из иного источника информации.

Фиг. 4 представляет собой схему примера функциональной конфигурации в случае, когда входные параметры получают из пакетов и т.п. содержимого. На фиг. 4 элементам, совпадающим с элементами на фиг. 3, присвоены одинаковые ссылочные обозначения, и их описание не повторяется.

На фиг. 4 по сравнению с фиг. 3 добавлен модуль 20 получения параметра. Модуль 20 получения параметра может быть исполнен устройством 10 для оценки качества аудиовизуального сигнала или иным устройством (компьютером). В любом случае модуль 20 получения параметра реализуется процессом, выполняемым ЦПУ устройства в результате исполнения программы, установленной в указанном устройстве (в компьютере, в устройстве 10 для оценки качества аудиовизуального сигнала или в другом устройстве).

Для получения параметров мультимедийного потока (аудиопараметров и видеопараметров) и параметров буферизации модуль 20 получения параметра использует параметры, которые можно получить из одного из следующих источников: из информации, которой обладает поставщик услуг видеосвязи, из пакетов, посредством которых передается содержимое, и из терминала зрителя. Показанный на фиг. 4 модуль 20 получения параметра содержит модуль 21 получения параметра мультимедийного потока и модуль 22 получения параметра буферизации.

Модуль 21 получения параметра мультимедийного потока в качестве аудиопараметра получает скорость передачи аудиосигнала в битах, а в качестве видеопараметров получает скорость передачи видеосигнала в битах, разрешение и частоту кадров.

Для получения параметров мультимедийного потока в сети (из пакетов, передаваемых через сеть), могут использоваться форматы сегментирования и дескриптор MPD (англ. Media presentation description, дескриптор мультимедийного потока). Для получения параметров мультимедийного потока в терминале зрителя могут использоваться форматы сегментирования или MPD, принятые в терминале зрителя, или битовый поток, в котором описана информация кодирования.

Фиг. 5 содержит схемы для иллюстрации способа получения параметров материала для каждой единицы времени из MPD.

На фиг. 5(1) показан фрагмент содержимого продолжительностью пять секунд, для которого из дескриптора MPD, сопровождающего данный фрагмент, может быть получена скорость abr передачи аудиосигнала в битах, скорость vbr передачи видеосигнала в битах, разрешение rs, частота fr кадров и другие параметры, относящиеся к данному фрагменту.

На фиг. 5(2) поясняется, как в ситуации, показанной на фиг. 5(1), в случае, когда за единицу времени принята одна секунда, могут быть заданы параметры мультимедийного потока первого фрагмента (фрагмента 1) для каждой секунды до пятой и второго фрагмента (фрагмента 2) для каждой секунды с шестой по десятую. Для каждой следующей секунды могут быть подобным образом заданы параметры мультимедийного потока, полученные из фрагмента, соответствующего этой секунде.

Следует учесть, что, например, в качестве параметров мультимедийного потока, влияющих на качество аудиосигнала и качество видеосигнала, могут использоваться скорость передачи аудиопотока в битах, скорость передачи видеопотока в битах, разрешение и частота кадров. Поскольку поставщик услуги может задавать эти значения для кодирования содержимого, устройство 10 для оценки качества аудиовизуального сигнала может непосредственно использовать эти заданные значения.

Модуль 22 получения параметра буферизации в качестве параметров буферизации получает суммарное время остановок, количество остановок и средний интервал между остановками воспроизведения содержимого.

Фиг. 6 представляет собой схему для пояснения параметров буферизации. Прямоугольником в верхней части фиг.6 показана продолжительность содержимого А (Т=60 секунд). Прямоугольником в нижней части фиг. 6 показано время, необходимое для воспроизведения содержимого А. В нижнем прямоугольнике видно, что: в момент времени после истечения 10 секунд с начала воспроизведения (после воспроизведения десятой секунды содержимого А) происходит остановка (b1) воспроизведения на 5 секунд; в момент времени после истечения 25 секунд с начала воспроизведения (после воспроизведения двадцатой секунды содержимого А) происходит остановка (b2) воспроизведения на 10 секунд; и в момент времени после истечения 65 секунд с начала воспроизведения (после воспроизведения пятидесятой секунды содержимого А) происходит остановка (b3) воспроизведения на 5 секунд. В этом случае суммарная продолжительность остановок воспроизведения содержимого равна 5+10+5=20 секунд (b1+b2+b3), а количество остановок воспроизведения равно трем. Интервал между началом первой остановки воспроизведения и началом второй остановки воспроизведения равен 10 секундам, а интервал между началом второй остановки воспроизведения и началом третьей остановки воспроизведения равен 30 секундам. Соответственно, в этом случае средний интервал между остановками воспроизведения равен (10+30)/2=20 секунд. Таким образом, интервал между остановками воспроизведения представляет собой время от начала остановки воспроизведения до начала следующей остановки воспроизведения. Однако когда количество остановок воспроизведения равно 0 или 1, средний интервал между остановками воспроизведения принимают равным 0.

При получении таких параметров буферизации (суммарной продолжительности остановок воспроизведения, количества остановок воспроизведения и среднего интервала между остановками воспроизведения) в сети их можно вычислять по емкости приемного буфера терминала зрителя в предположении, что указанный буфер имеет фиксированную емкость. Конкретнее, поскольку остановка воспроизведения происходит при исчерпании данных в приемном буфере, за оценку количества остановок воспроизведения можно взять количество случаев исчерпания данных, а момент начала и продолжительность остановки воспроизведения содержимого можно оценивать, исходя из скорости передачи данных в битах и емкости приемного буфера. При получении параметров буферизации в терминале зрителя их можно вычислять путем определения фактического времени остановки содержимого плейером. Поскольку при воспроизведении плейер фиксирует время воспроизведения, то для фиксации времени начала остановки воспроизведения и продолжительности остановки воспроизведения можно, например, получать информацию PTS (англ. Presentation time stamp, метка времени презентации) и сравнивать ее с текущим временем.

Далее описываются этапы операции, выполняемой устройством 10 для оценки качества аудиовизуального сигнала. Фиг. 7 представляет собой блок-схему примера этапов обработки, выполняемых устройством для оценки качества аудиовизуального сигнала.

Когда информация пакетов, относящаяся к содержимому (например, все пакеты, используемые для передачи содержимого), качество которого подлежит оценке (далее просто «целевое содержимое») введена в модуль 20 получения параметра, модуль 21 получения параметра мультимедийного потока для каждой единицы времени вычисляет аудиопараметр (скорость передачи аудиопотока в битах), влияющий на качество аудио, и видеопараметры (скорость передачи видеопотока в битах, разрешение и частоту кадров), влияющие на качество видеосигнала, а модуль 22 получения параметра буферизации вычисляет параметры буферизации (количество остановок воспроизведения, суммарную продолжительность остановок воспроизведения, средний интервал между остановками воспроизведения), относящиеся к буферизации (S101). Указанный аудиопараметр передается в модуль 11 оценки качества аудиосигнала, указанные видеопараметры передаются в модуль 12 оценки качества видеосигнала, а указанные параметры буферизации передаются в модуль 15 оценки качества аудиовизуального сигнала.

Затем на основании принятого аудиопараметра модуль 11 оценки качества аудиосигнала вычисляет качество аудиосигнала для каждой единицы времени целевого содержимого и выдает вычисленное качество аудио в модуль 13 оценки качества единицы времени (S102).

Модуль 11 оценки качества аудиосигнала для каждой единицы времени целевого содержимого по скорости abr(t) передачи аудиопотока в битах вычисляет качество AQ(t) аудиосигнала. Конкретнее, с учетом того, что качество AQ(t) аудиосигнала снижается в ответ на снижение скорости abr(t) передачи аудиопотока в битах, для указанного вычисления используется формула (1):

где abr(t) представляет собой вычисленное модулем 21 получения параметра мультимедийного потока значение скорости передачи аудиопотока в битах через t секунд после начала воспроизведения содержимого, а коэффициенты а₁, а₂, и а₃ представляют собой заранее заданные константы. В данном варианте осуществления единица времени задана равной одной секунде. Иными словами, для содержимого качество AQ(t) аудиосигнала оценивают каждую секунду, т.е., в моменты времени t=1, 2, 3, … (секунд). Здесь t представляет собой время, прошедшее от начала воспроизведения содержимого, и не учитывает продолжительность остановок воспроизведения, вызванных буферизацией. Например, при продолжительности содержимого 60 секунд t=1, 2, …, 60, даже если в середине имеет место остановка воспроизведения на 10 секунд. Однако модуль 11 оценки качества аудиосигнала может вычислять качество AQ(t) аудиосигнала и с использованием формулы, отличной от формулы (1).

Затем на основании принятых видеопараметров модуль 12 оценки качества видеосигнала вычисляет качество видеосигнала для каждой единицы времени целевого содержимого и выдает вычисленное качество видеосигнала в модуль 13 оценки качества единицы времени (S103).

Модуль 12 оценки качества видеосигнала для каждой единицы времени вычисляет качество VQ(t) видеосигнала по скорости vbr(t) передачи видеопотока в битах, разрешению rs(t) и частоте fr(t) кадров соответствующей единицы времени целевого содержимого. Конкретнее, с учетом теоретически наивысшего/наилучшего качества X(t) видеосигнала, определенного для каждой пары разрешения и частоты кадров, с учетом снижения характеристики наивысшего/наилучшего качества X(t) видеосигнала в ответ на снижение разрешения rs(t) и частоты fr(t) кадров, и с учетом снижения характеристики качества VQ(t) видеосигнала при снижении скорости vbr(t) передачи видеопотока в битах относительно вышеуказанного наивысшего/наилучшего качества X(t) видеосигнала, для указанного вычисления используются формулы (2) и (3):

где vbr(t) представляет собой скорость передачи видеопотока в битах через t секунд после начала воспроизведения содержимого; rs(t) представляет собой разрешение, определенное по количеству строк и количеству пикселов в вертикальном и горизонтальном направлениях (например, по полным количествам пикселов, например, 1920×1080) через t секунд после начала воспроизведения содержимого, или, если может фиксироваться только количество строк в вертикальном направлении или количество пикселов в горизонтальном направлении, разрешение, вычисленное общеизвестным способом по этому количеству строк или пикселов; fr(t) представляет собой частоту кадров через t секунд после начала воспроизведения содержимого, вычисленную модулем 21 получения параметра мультимедийного потока; а коэффициенты v₁, v₂, ..., v₇ представляют собой заранее заданные константы. В данном варианте осуществления качество VQ(t) видеосигнала оценивают каждую секунду, т.е., в моменты времени t=1, 2, 3, ... (секунд). Однако модуль 12 оценки качества видеосигнала может вычислять качество VQ(t) видеосигнала и с использованием формулы, отличной от формул (2) и (3).

Затем модуль 13 оценки качества единицы времени объединяет принятые качество AQ(t) аудиосигнала и качество VQ(t) видеосигнала для каждой единицы времени с целью вычисления качества аудиовизуального сигнала для каждой единицы времени и выдает качество аудиовизуального сигнала, вычисленное для каждой единицы времени, в модуль 14 оценки качества кодирования (S104).

Конкретнее, модуль 13 оценки качества единицы времени вычисляет качество аудиовизуального сигнала TAVQ(t) для каждой единицы времени путем присвоения весов значениям качества AQ(t) аудиосигнала и качества VQ(t) видеосигнала каждой единицы времени с учетом их влияния, в соответствии с формулой (4):

где av₁, av₂, av₃, и av₄ представляют собой заранее заданные константы; а t представляет собой время (t=1, 2, 3, ... (секунд)), прошедшее от начала воспроизведения содержимого без учета продолжительности остановок воспроизведения, вызванных буферизацией.

Затем модуль 14 оценки качества кодирования объединяет качество аудиовизуального сигнала TAVQ(t) для входных единиц времени в единое значение для вычисления качества кодирования аудиовизуального сигнала, в котором принято во внимание только ухудшение характеристик кодирования, и выдает это вычисленное качество кодирования аудиовизуального сигнала в модуль 15 оценки качества аудиовизуального сигнала (S105).

Как указано при рассмотрении недостатка 2, из-за влияния эффекта забывания/эффекта новизны зависящие от времени веса, оказывающие влияние на качество, с течением времени увеличиваются (w₁(u)). Кроме того, как указано при рассмотрении недостатка 3, более низкое качество имеет большее влияние (вес) на итоговое качество (w₂(TAVQ(t))). В соответствии с этим модуль 14 оценки качества кодирования вычисляет качество CAVQ кодирования аудиовизуального сигнала с использованием формулы (5):

где duration представляет собой продолжительность (в секундах) аудиовизуального содержимого (чистая продолжительность содержимого без учета продолжительности остановок воспроизведения), которая может быть задана, например, заранее; t представляет собой время, прошедшее от начала воспроизведения (t=1, 2, 3,..., (секунды)); a t₁, t₂, t₃, t₄ и t₅ представляют собой заранее заданные константы.

Иными словами, в соответствии с формулой (5) для вычисления средневзвешенного значения с целью получения качества CAVQ кодирования аудиовизуального сигнала качеству TAVQ(t) аудиовизуального сигнала для каждой единицы времени от начала до конца содержимого задают все больший вес по мере приближения времени к концу содержимого (качеству TAVQ кодирования аудиовизуального сигнала единицы времени, относительно более близкой к концу содержимого, задают больший вес). Кроме того, при малом значении качества TAVQ(t) аудиовизуального сигнала для единиц времени (т.е., когда качество является низким), влияние этой единицы времени учитывают присвоением ей большего веса при вычислении средневзвешенного значения с целью получения качества CAVQ кодирования аудиовизуального сигнала.

Хотя в данном варианте осуществления w^u) представлено экспоненциальной функцией, w₁(u) может быть выражено произвольной функцией, которая дает возможность задать больший вес качеству TAVQ кодирования аудиовизуального сигнала единицы времени, относительно более близкой к концу содержимого, например, линейной функцией или квадратичной функцией. Таким образом, w₁(u) не ограничивается экспоненциальной функцией. Аналогично, хотя w₂(TAVQ(t)) здесь представлено линейной функцией, w₂(TAVQ(t)) может быть выражено произвольной функцией, повышающей вес при снижении качества, например, экспоненциальной функцией. Таким образом, w₂(TAVQ(t)) не ограничивается линейной функцией.

Следует учесть, что при задании w_x(u)=1 или w₂(TAVQ(t))=1 получается оценочная формула, в которой учитывается только один из типов веса. Кроме того, вместо использования оценочной формулы w₂(TAVQ(t)), увеличивающей вес для периода с низким качеством, может использоваться оценочная формула, уменьшающая CAVQ с ростом количества периодов со снижением качества. Кроме того, можно ввести показатель количества колебаний, приняв его равным сумме количества повышений качества и количества снижений качества, и использовать оценочную формулу, дающую более низкий CAVQ при увеличении количества колебаний. Указанные оценочные формулы могут использоваться вместе с w₂(TAVQ(T)).

Затем на основании принятых параметров буферизации и качества CAVQ кодирования аудиовизуального сигнала модуль 15 оценки качества аудиовизуального сигнала вычисляет качество аудиовизуального сигнала (S106).

Конкретно, модуль 15 оценки качества аудиовизуального сигнала вычисляет качество аудиовизуального сигнала AVQ, воспринимаемое зрителем в конце, на основании качества CAVQ кодирования аудиовизуального сигнала; параметры буферизации, включая суммарную продолжительность остановок воспроизведения, количество остановок воспроизведения и средний интервал между остановками воспроизведения; и продолжительность аудиовизуального содержимого (чистую продолжительность содержимого без учета продолжительности остановок воспроизведения) с использованием формулы (6):

где duration представляет собой продолжительность аудиовизуального содержимого (чистую продолжительность содержимого без учета продолжительности остановок воспроизведения); numofBuff представляет собой количество остановок воспроизведения; totalBuffLen представляет собой суммарную продолжительность остановок воспроизведения; avgBufflnterval представляет собой средний интервал между остановками воспроизведения; а коэффициенты s₁, s₂, и s₃ представляют собой заранее заданные константы.

Как указано при описании недостатка 4, чтобы учесть влияние продолжительности содержимого и продолжительности остановок воспроизведения на итоговое качество аудиовизуального сигнала, параметр, относящийся к остановкам воспроизведения, делят на продолжительность содержимого. В данном варианте осуществления это влияние описывается параметром буферизации, выраженным экспоненциальной функцией. Однако в формуле (6) может использоваться степенная функция, логарифмическая функция и т.п., важно лишь, чтобы при увеличении количества остановок воспроизведения (numofBuff), суммарной продолжительности остановок воспроизведения (totalBuffLen) и среднего интервала между остановками воспроизведения (avgBufflnterval) относительно продолжительности содержимого качество аудиовизуального сигнала AVQ, воспринимаемое зрителем в конце, уменьшалось. Кроме того, хотя в данном варианте осуществления в расчете используются все параметры из количества остановок воспроизведения (numofBuff), суммарной продолжительности остановок воспроизведения (totalBuffLen) и среднего интервала между остановками воспроизведения (avgBufflnterval), в расчете может использоваться и только один из указанных параметров. Кроме того, в данном варианте осуществления в качестве параметров буферизации используются количество остановок воспроизведения (numofBuff), суммарная продолжительность остановок воспроизведения (totalBuffLen) и средний интервал между остановками воспроизведения (avgBufflnterval). Однако для вычисления качества аудиовизуального сигнала AVQ, воспринимаемого зрителем в конце, можно использовать, например, среднюю продолжительность остановки воспроизведения (avgBuffLen), получаемую делением суммарной продолжительности остановок воспроизведения (totalBuffLen) на количество остановок воспроизведения (numofBuff); распределение продолжительности остановок воспроизведения (varBuffLen); наибольшую/наименьшую продолжительность остановки воспроизведения (maxBuffLen/minBuffLen); и наибольший интервал/ наименьший интервал /распределение длительности интервала между остановками воспроизведения (maxBufflnterval/minBufflnterval/varBufflnterval).

Как указано выше, в соответствии с данным вариантом осуществления изобретения на основании параметров мультимедийного потока и параметров буферизации, полученных из информации пакетов и т.п., оценку качества можно провести даже в случае, когда качество аудиовизуального сигнала изменяется со временем, или можно повысить точность оценки.

Коэффициенты в формулах 1-5 (а₁, а₂, а₃, v₁, … v₇, av₁, … av₄, t₁, … t₅, s₁, s₂, s₃) могут быть определены путем, например, проведения эксперимента по субъективному определению качества и использования полученных значений качества и какого-либо способа оптимизации, например, метода наименьших квадратов.

В общепринятых способах, предполагающих оценку качества аудиовизуального сигнала за короткое время, невозможно оценивать качество аудиовизуального сигнала при его изменении во времени (недостаток 1); не учитывается, что к концу просмотра впечатление об аудиовизуальном качестве более ранней части содержимого притупляется, а недавняя часть помнится четче (недостаток 2); не учитывается, что при колебаниях качества аудиовизуального сигнала низкое качество сильно сказывается на итоговом аудиовизуальном качестве (недостаток 3); и не учитывается, что качество аудиовизуального сигнала зависит не только от остановок воспроизведения, но и от продолжительности аудиовизуального содержимого (недостаток 4).

Напротив, в данном варианте осуществления качество аудиовизуального сигнала оценивают для каждой единицы времени (короткого интервала времени продолжительностью, например, одна секунда, пять секунд или десять секунд) по качеству аудиосигнала и качеству видеосигнала для каждой единицы времени, затем значения качества аудиовизуального сигнала единиц времени объединяют, задав им индивидуальные веса, и, таким образом, оценивают долговременное качество аудиовизуального сигнала (например, на интервале от нескольких минут до нескольких часов). При этом, чтобы принять во внимание свойственный зрителю эффект забывания/эффект новизны, качеству единицы времени, более близкой к концу содержимого, задают более высокий вес, чем качеству единицы времени, более близкой к началу воспроизведения. Кроме того, при колебаниях качества аудиовизуального сигнала становится возможным присвоение весов, учитывающее сильное влияние низкого качества на итоговое качество. Помимо этого, при оценке качества аудиовизуального сигнала продолжительность остановок воспроизведения аудиовизуального содержимого учитывается с учетом продолжительности этого содержимого.

Таким образом, в соответствии с данным вариантом осуществления изобретения, путем контроля значений качества аудиовизуального сигнала услуги видеосвязи, используемой зрителем (конкретнее, значений качества аудиовизуального сигнала AVQ, выдаваемых устройством 10 для оценки качества аудиовизуального сигнала), можно легко проверить, предоставляется ли эта услуга с определенным уровнем качества, и в реальном времени фиксировать и регулировать качество предоставляемой услуги.

Соответственно, предлагается возможность усовершенствования общепринятых способов в отношении недостатков, относящихся к реалистичности оценки качества предоставляемой услуги.

Хотя выше подробно раскрыты варианты осуществления настоящего изобретения, оно не ограничено лишь этими конкретными вариантами. В пределах объема настоящего изобретения, определяемого формулой изобретения, могут быть сделаны разнообразные модификации.

По настоящей патентной заявке испрашивается приоритет на основании патентной заявки Японии №2015-244983, поданной 16 декабря 2015 г., и патентной заявки Японии №2016-160182, поданной 17 августа 2016 г., при этом все содержание указанных патентных заявок включено в настоящий документ посредством ссылки.

Перечень обозначений

10 устройство для оценки качества аудиовизуального сигнала

11 модуль оценки качества аудиосигнала

12 модуль оценки качества видеосигнала

13 модуль оценки качества единицы времени

14 модуль оценки качества кодирования

15 модуль оценки качества аудиовизуального сигнала

20 модуль получения параметра

21 модуль получения параметра мультимедийного потока

22 модуль получения параметра буферизации

100 считывающий модуль

101 записываемый носитель

102 вспомогательный модуль хранения

103 модуль памяти

104 ЦПУ

105 интерфейсный модуль

В шина