Результат интеллектуальной деятельности: СПОСОБ И УСТРОЙСТВО ДЛЯ ШУМОПОДАВЛЕНИЯ В ВИДЕО И ТЕРМИНАЛ МОБИЛЬНОЙ СВЯЗИ И НОСИТЕЛЬ ДАННЫХ

Ссылки на родственные заявки

[0001] Настоящая заявка является переводом на национальную фазу в России международной заявки №PCT/CN2021/085251, поданной 2 апреля 2020 г., согласно которой испрашивается приоритет в соответствии с предварительной заявкой на выдачу патента Китая №202010431670.4, поданной 20 мая 2020 г., которая ссылкой полностью включена в настоящий документ.

Область техники, к которой относится настоящее изобретение

[0002] Настоящее раскрытие связано с областью технологий обработки изображения и, в частности, связано со способом и устройством для шумоподавления в видео, терминалом мобильной связи и носителем данных для этого.

Предшествующий уровень техники настоящего изобретения

[0003] С учетом быстрого развития мобильного интернета и терминалов мобильной связи видеоданные в терминале мобильной связи стали распространенным источником информации в человеческой деятельности. Например, прямые трансляции, видеозвонки и тому подобное содержат большое количество информации и служат в качестве средства доступа к внешней оригинальной информации.

[0004] Полученные видеоданные могут содержать шум вследствие таких факторов, как датчики, передача, хранение, в частности, в темной среде. Из-за появления шума пользователи могут дать плохую оценку качеству видеоданных.

[0005] Шум может быть фактором, который мешает пониманию принятой информации из-за своего влияния на органы чувств пользователя. Например, случайные изменения яркости и цвета пикселей в видеоданных могут мешать пользователю при просмотре видеоданных.

[0006] Таким образом, в видеоданных обычно выполняется шумоподавление, так что бесполезная информация удаляется из видеоданных в максимально возможной степени, и при этом обеспечивается целостность оригинальной информации (то есть ее главных элементов).

[0007] Шумоподавление обычно выполняется с оценкой шума в текущем кадре и с определением надлежащих параметров для шумоподавления. Так как шумоподавление выполняется непрерывно, потребляемая вычислительная мощность является значительной, и надежность шумоподавления является низкой в случае ограниченной производительности терминала мобильной связи.

Краткое раскрытие настоящего изобретения

[0008] Согласно вариантам настоящего раскрытия предложены способ и устройство для шумоподавления в видео, и терминал мобильной связи и носитель данных для этого, что решает проблему низкой надежности шумоподавления в видеоданных при ограниченной производительности.

[0009] Предложен способ шумоподавления в видео. Этот способ можно применить в терминале мобильной связи. Этот способ предусматривает следующие стадии: получение видеоданных; получение параметров окружающей среды, относящихся к шумоподавлению в окружающей среде терминала мобильной связи; вычисление степени конфликта между окружающей средой и шумоподавлением на основании параметров окружающей среды; и определение на основании степени конфликта состояния шумоподавления в видеоданных; причем вычисление степени конфликта между окружающей средой и шумоподавлением на основании параметров окружающей среды предусматривает следующие стадии: подстановка параметров окружающей среды, относящихся к шумоподавлению, в заранее определенную функцию сопоставления, вычисление степени согласования между текущей окружающей средой терминала мобильной связи и шумоподавлением, и определение степени согласования в качестве степени конфликта, причем целевой весовой коэффициент настраивается для каждого из параметров окружающей среды для регулировки важности параметров окружающей среды.

[0010] Дополнительно предложен терминал мобильной связи. Терминал мобильной связи включает в себя: один или несколько процессоров; память, выполненную с возможностью хранить одну или несколько программ; причем один или несколько процессоров после загрузки и выполнения одной или нескольких программ заставляются выполнять способ шумоподавления в видео, который описан выше.

Краткое описание фигур

[0011] На фиг. 1 показана блок-схема алгоритма способа шумоподавления в видео согласно некоторым вариантам осуществления настоящего раскрытия;

[0012] На фиг. 2 показана схема алгоритма шумоподавления согласно некоторым вариантам осуществления настоящего раскрытия;

[0013] На фиг. 3 показана схема сравнения частоты кадров видеоданных и параметров окружающей среды согласно некоторым вариантам осуществления настоящего раскрытия;

[0014] На фиг. 4 показана блок-схема алгоритма способа шумоподавления в видео согласно некоторым вариантам осуществления настоящего раскрытия;

[0015] На фиг. 5 показана блок-схема устройства для шумоподавления в видео согласно некоторым вариантам осуществления настоящего раскрытия; и

[0016] На фиг. 6 показана блок-схема терминала мобильной связи согласно некоторым вариантам осуществления настоящего раскрытия.

Подробное раскрытие настоящего изобретения

[0017] Настоящее раскрытие подробно описано ниже со ссылками на прилагаемые фигуры совместно с вариантами осуществления.

[0018] Первый вариант осуществления

[0019] На фиг. 1 показана блок-схема алгоритма способа шумоподавления в видео согласно некоторым вариантам осуществления настоящего раскрытия. Варианты осуществления применяются в случае, когда необходимость выполнения шумоподавления определена на основании окружающей среды терминала мобильной связи. Способ выполняется устройством для шумоподавления в видео. Устройство для шумоподавления в видео реализовано с помощью аппаратных и/или программных средств, и оно выполнено с возможностью размещения в терминале мобильной связи, например, в мобильном телефоне, в планшетном компьютере, в умном носимом устройстве (например, в умных часах или в умных очках) и в тому подобном. В способе предусмотрены следующие стадии:

[0020] На стадии S101 происходит получение видеоданных.

[0021] Согласно вариантам осуществления настоящего раскрытия, терминал мобильной связи оснащен одной или несколькими камерами, выполненными с возможностью снимать фотографии и видео. Камера расположена на задней стороне терминала мобильной связи (она также называется задней камерой), или на передней стороне терминала мобильной связи (она также называется передней камерой), и это никак не ограничено согласно вариантам осуществления настоящего раскрытия.

[0022] Операционная система терминала мобильной связи, в том числе Android, iOS, Windows и тому подобное, поддерживает работу различных программ, например, приложения для покупок, приложения мгновенного обмена сообщениями, приложения потокового вещания, приложения видео-конференц-связи, приложения коротких видео и тому подобных.

[0023] Как показано на фиг. 2 на стадии S201 в прикладной программе выполняются операции обслуживания. На стадии S202 происходит получение видеоданных с помощью вызова камеры, и поэтому выполняются соответствующие операции обслуживания. Например, в операционной системе Android получение видеоданных выполняется при вызове класса MediaRecorder. Например, в операционной системе iOS получение видеоданных выполняется при вызове метода делегата AVCaptureFileOutputRecordingDelegate из комплекса программ AVFoundation, и тому подобное.

[0024] Операции обслуживания для полученных прикладными программами видеоданных являются разными из-за различных сценариев обслуживания.

[0025] Обычно полученные прикладными программами видеоданные направляются в операции обслуживания в режиме реального времени.

[0026] Согласно некоторым вариантам осуществления, в сценарии обслуживания покупок полученные прикладной программой для покупок видеоданные направляются в операции обслуживания для покупки товаров, например, они описывают и показывают товары целевому пользователю и тому подобное, и в видеоданных также предусмотрена ссылка для покупки.

[0027] Согласно некоторым вариантам осуществления, в сценарии мгновенного обмена сообщениями получаемые прикладной программой мгновенного обмена сообщениями видеоданные направляются в операции обслуживания для видеозвонка, то есть, в сеанс с различными пользователями с обменом данными.

[0028] Согласно некоторым вариантам осуществления, в сценарии обслуживания потокового вещания полученные прикладной программой потокового вещания видеоданные направляются в операции обслуживания в потоковое вещание, то есть, показывают талантливого человека или описывают игру целевому пользователю и тому подобное.

[0029] Согласно некоторым вариантам осуществления, в сценарии конференц-связи полученные прикладной программой для конференц-связи видеоданные направляются в операции обслуживания для конференции, например, для последовательного выступления в качестве модератора в конференции с участием нескольких пользователей и тому подобное.

[0030] Полученные прикладными программами видеоданные направляются в операции обслуживания с низкими требованиями к режиму реального времени. Например, прикладная программа короткого видео определяет полученные видеоданные в качестве короткого видео, и тому подобное, что никак не ограничивается в вариантах осуществления.

[0031] На стадии S102 относящиеся к шумоподавлению параметры окружающей среды получаются в среде терминала мобильной связи.

[0032] Согласно вариантам осуществления, как показано на фиг. 2, относящиеся к шумоподавлению параметры получаются на основании окружающей среды терминала мобильной связи и определяются в качестве параметров окружающей среды на стадии S203, когда видео данные получаются терминалом мобильной связи.

[0033] Окружающая среда терминала мобильной связи включает в себя внешнюю среду и внутреннюю среду. Внешняя среда является средой, расположенной снаружи терминала мобильной связи, а внутренняя среда является средой, расположенной внутри терминала мобильной связи.

[0034] Согласно некоторым вариантам осуществления, как показано на фиг. 2, параметры окружающей среды включают в себя, по меньшей мере, одно из следующего.

[0035] 1. Величина движения терминала мобильной связи во внешней среде

[0036] Величина движения в определенной степени показывает состояние движения пользователя, держащего в руках терминал мобильной связи. В случае большого движения глаза человека обращают меньше внимания на шум в видеоданных. Кроме того, шумоподавление в данных изображения с большим движением подтверждено размыванию, так что качество видеоданных снижается.

[0037] Следовательно, в случае, если шумоподавление выполняется, когда пользователь находится в состоянии быстрого движения, относящиеся к шумоподавлению процессы могут увеличить степень загрузки ресурсов центрального процессора (ЦП), памяти и тому подобного в терминале мобильной связи без заметных результатов шумоподавления.

[0038] Терминал мобильной связи оснащен датчиком для регистрации состояния движения, например, блоком инерциальных измерений (БИИ) с трехосевым датчиком ускорения, отдельным трехосевым датчиком ускорения, отдельным гироскопом и тому подобным. Согласно вариантам осуществления, датчик вызывается для регистрации первого ускорения движения терминала мобильной связи в направлении оси X, второго ускорения движения терминала мобильной связи в направлении оси Y, третьего ускорения движения терминала мобильной связи в направлении оси Z во внешней среде.

[0039] Согласно некоторым вариантам осуществления, в операционной системе Android ускорение, измеренное трехосевым датчиком ускорения (АКСЕЛЕРОМЕТР), опрашивается и регистрируется классом SensorManager.

[0040] Согласно некоторым вариантам осуществления, в операционной системе iOS предусмотрен комплекс программ CoreMotion. Комплекс программ CoreMotion предоставляет прикладной программный интерфейс (API), и он также называется CMMotionManager. С помощью API при построении объекта CMMotionManager данные, например, данные ускорения, данные гироскопа и тому подобное, периодически получаются из объекта CMMotionManager с помощью таймера.

[0041] Поскольку первое ускорение, второе ускорение и третье ускорение в определенной степени показывают величину движения, величина движения вычисляется посредством линейного объединения.

[0042] Вычисляется первое произведение первого ускорения и заранее определенного весового коэффициента первого ускорения, вычисляется второе произведение второго ускорения и заранее определенного весового коэффициента второго ускорения и вычисляется третье произведение третьего ускорения и заранее определенного весового коэффициента третьего ускорения. Сумма весового коэффициента первого ускорения, весового коэффициента второго ускорения и весового коэффициента третьего ускорения равна 1.

[0043] Вычисляется сумма первого произведения, второго произведения и третьего произведения, и она определяется в качестве величины движения терминала мобильной связи во внешней среде.

[0044] Метод линейного объединения описывается следующей формулой:

I = α₁ ⋅ х'+α₂ ⋅ y' + α₃ ⋅ z';

[0045] В этой формуле I обозначает величину движения, х' обозначает первое ускорение, у' обозначает второе ускорение, z' обозначает третье ускорение, α₁ обозначает весовой коэффициент первого ускорения, α₂ обозначает весовой коэффициент второго ускорения и α₃ обозначает весовой коэффициент третьего ускорения.

[0046] В другом варианте величина движения терминала мобильной связи во внешней среде может вычисляться другими методами. Например, сумма первого ускорения, второго ускорения и третьего ускорения определяется в качестве величины движения терминала мобильной связи во внешней среде, и тому подобное, это никак не ограничивается в вариантах осуществления.

[0047] 2. Яркость света во внешней среде

[0048] Во внешней среде при сильном освещении в полученных видеоданных имеется низкий уровень шума. В этом случае, после начала выполнения шумоподавления относящиеся к шумоподавлению процессы могут увеличить степень загрузки ресурсов центрального процессора (ЦП), памяти и тому подобного в терминале мобильной связи без заметных результатов шумоподавления.

[0049] Если терминал мобильной связи оснащен датчиком для измерения света, например, датчиком интенсивности света, или тому подобным, и открыт API датчика, то датчик непосредственно вызывается для измерения яркости света во внешней среде.

[0050] Согласно некоторым вариантам осуществления, в операционной системе Android интенсивность света, измеренная датчику интенсивности света (СВЕТ), опрашивается и регистрируется классом SensorManager.

[0051] Если терминал мобильной связи оснащен датчиком для измерения света и API датчика не открыт, то в случае, когда терминал мобильной связи автоматически регулирует яркость экрана на основании интенсивности света, или терминал мобильной связи автоматически регулирует баланс белого или другие взаимосвязи на основании интенсивности света с помощью открытия камеры, яркость экрана измеряется и преобразуется в интенсивность света, или интенсивность света считывается с камеры терминала мобильной связи и тому подобное.

[0052] 3. Температура внутренней среды

[0053] В случае, когда терминал мобильной связи непрерывно получает видеоданные из видеозвонка, видеоконференции и других подобных операций, высокая степень загрузки может вызывать повышение температуры терминала мобильной связи, так что подается сигнал о необходимости снижения частоты ЦП в терминале мобильной связи. Снижение частоты ЦП влияет на скорость кодирования видеоданных в реальном времени, и это оказывает значительное влияние на операции обслуживания.

[0054] Следовательно, в случае, когда температура терминала мобильной связи повышается после выполнения шумоподавления, относящиеся к шумоподавлению процессы увеличивают степень загрузки ресурсов центрального процессора (ЦП), памяти и тому подобного в терминале мобильной связи, и оказывают отрицательное влияние на операции обслуживания.

[0055] Согласно некоторым вариантам осуществления, команды операционной системы, например, команды «cat/sys/class/thermal/thermal_zonex/temp» в операционной системе Android, непосредственно вызываются для считывания температуры внутренней среды терминала мобильной связи.

[0056] Внутренняя часть терминала мобильной связи оснащена несколькими приборами для измерения температуры, например, температуры ЦП, температуры аккумулятора и тому подобного. В этом случае температура конкретного устройства (например, ЦП) определяется как температура внутренней среды терминала мобильной связи, а температура внутренней среды терминала мобильной связи получается как линейное объединение температур всех устройств, наибольшее значение температуры определяется как температура внутренней среды терминала мобильной связи, или тому подобное, это никак не ограничивается в вариантах осуществления.

[0057] Приведенные выше параметры внешней среды и методы их получения указаны только в качестве примеров. Согласно реализациям вариантов осуществления, могут применяться другие параметры окружающей среды и методы их получения в зависимости от фактической ситуации, например, от степени загрузки ЦП, степени загрузки памяти и тому подобного, это никак не ограничивается в вариантах осуществления. Кроме того, помимо указанных выше параметров окружающей среды и методов их получения, могут применяться другие параметры окружающей среды и методы их получения в зависимости от фактических требований, это никак не ограничивается в вариантах осуществления.

[0058] Как показано на фиг. 3, на практике частота кадров видеоданных, получаемых терминалом мобильной связи, и частота кадров параметров окружающей среды, получаемых терминалом мобильной связи, являются различными, и обычно частота получаемых кадров параметров окружающей среды больше частоты получаемых кадров видеоданных. То есть, обычно имеется множество значений параметров окружающей среды между двумя кадрами изображения с видеоданными.

[0059] Согласно вариантам осуществления, данные изображения и параметры окружающей среды выравниваются друг с другом сегментированным образом для обеспечения стабильности шумоподавления и параметров окружающей среды.

[0060] Согласно некоторым вариантам осуществления, получается множество параметров окружающей среды в различные моменты времени между данными изображения текущего кадра и данными изображения предыдущего кадра, и каждый из множества параметров окружающей среды определяется как эталонный параметр, так что множество параметров окружающей среды сегментируется на множество сегментов со ссылкой на видеоданные.

[0061] Для каждого из множества сегментов параметров окружающей среды множество эталонных параметров сглаживается, и результаты сглаживания определяются в качестве параметров окружающей среды для данных изображения текущего кадра, так что показаны разницы корреляций данных изображения и параметров окружающей среды в разные моменты времени во временной последовательности.

[0062] В одном методе сглаживания для каждого из множества опорных параметров задается эталонный весовой коэффициент, и эталонный весовой коэффициент указывает важность эталонного параметра. То есть, чем более важен эталонный параметр, тем больше будет эталонный весовой коэффициент.

[0063] Согласно некоторым вариантам осуществления, момент времени для получения каждого из множества эталонных параметров определен, и эталонный весовой коэффициент настроен для каждого из множества эталонных параметров на основании момента времени. Эталонный весовой коэффициент безусловно скоррелирован с моментом времени. То есть, в случае, когда момент времени для получения эталонного параметра ближе к текущему моменту времени, корреляция эталонного параметра и данных изображения текущего кадра больше, и настроенный эталонный весовой коэффициент больше. В случае, когда момент времени для получения эталонного параметра дальше от текущего момента времени, корреляция эталонного параметра и данных изображения текущего кадра меньше, так что эталонные весовые коэффициенты монотонно уменьшаются от данных изображения текущего кадра до данных изображения предыдущего кадра.

[0064] В дополнение к определению эталонного весового коэффициента с помощью момента времени, эталонный весовой коэффициент может быть настроен другим образом. Например, обратное значение величины эталонного параметра определяется как эталонный весовой коэффициент или наподобие того, что никак не ограничивается в вариантах осуществления.

[0065] После настройки соответствующего эталонного весового коэффициента для каждого из множества эталонных параметров, вычисляется четвертое произведение каждого из множества эталонных параметров и эталонного весового коэффициента для каждого из множества эталонных параметров. Вычисляется отношение первого целевого значения ко второму целевому значению и это отношение определяется в качестве параметра окружающей среды для текущего кадра данных изображения. Первое целевое значение является суммой всех четвертых произведений, а второе целевое значение является суммой всех эталонных весовых коэффициентов. Таким образом, параметры окружающей среды определяются по следующей формуле:

[0066] В этой формуле обозначает параметры окружающей среды для t-ого кадра данных изображения, n параметров окружающей среды (то есть, эталонных параметров) имеется между t-ым кадром данных изображения и (t-1)-ым кадром данных изображения, y_t-i обозначает i-ый параметр окружающей среды перед t-ым кадром данных изображения, a w_i обозначает i-ый эталонный весовой коэффициент.

[0067] На стадии S103 степень конфликта между окружающей средой и шумоподавлением вычисляется на основании параметров окружающей среды.

[0068] Согласно вариантам осуществления, один или несколько параметров окружающей среды, относящихся к шумоподавлению, подставляются в заранее определенную функцию сопоставления, и степень согласования между текущей окружающей средой терминала мобильной связи и шумоподавлением вычисляется и определяется в качестве степени конфликта.

[0069] Согласно некоторым вариантам осуществления, функция сопоставления является функцией линейного объединения. В случае получения, по меньшей мере, одного из параметров окружающей среды, целевой весовой коэффициент настраивается для каждого из, по меньшей мере, одного параметра окружающей среды. Целевой весовой коэффициент является регулирующим параметрам, созданным с возможностью отрегулировать важность различных параметров окружающей среды.

[0070] Вычисляется пятое произведение каждого из, по меньшей мере, одного параметра окружающей среды и целевого весового коэффициента каждого из, по меньшей мере, одного параметра окружающей среды, вычисляется сумма всех пятых произведений, и она определяется как степень конфликта между окружающей средой и шумоподавлением. Таким образом, степень конфликта определяется по следующей формуле:

[0071] В этой формуле P_t обозначает степень конфликта для t-ого кадра данных изображения, t-ый кадр данных изображение соответствует m параметрам окружающей среды, обозначает k-ый параметр окружающей среды, a w_k обозначает k-ый целевой весовой коэффициент.

[0072] Если в качестве примера взять величину движения терминала мобильной связи во внешней среде, яркость света во внешней среде терминала мобильной связи и температуру внутренней среды в терминале мобильной связи, степень конфликтов между окружающей средой и шумоподавлением вычисляется на основании следующей формулы:

[0073] В этой формуле P_t обозначает степень конфликта для t-ого кадра данных изображения, обозначает величину движения терминала мобильной связи во внешней среде, обозначает яркость света во внешней среде терминала мобильной связи, обозначает температуру во внутренней среде терминала мобильной связи, α, β и γ обозначают целевые весовые коэффициенты, а α, β и γ ∈ [0, 1].

[0074] В дополнение к линейному объединению, степень конфликта между окружающей средой и шумоподавлением вычисляется и другими методами. Например, над параметрами окружающей среды выполняется нормализация, нормализованные параметры окружающей среды суммируются, и полученная сумма определяется в качестве степени конфликта между окружающей средой и шумоподавлением, и тому подобное, что никак не ограничивается в вариантах осуществления.

[0075] На стадии S104 состояние шумоподавления в видеоданных определяется на основании степени конфликта.

[0076] Согласно вариантам осуществления, как показано на фиг. 2, на стадии S204 состояние шумоподавления в видеоданных определяется на основании степени конфликта между окружающей средой и шумоподавлением, то есть определяется, следует ли проводить шумоподавление. В случае удовлетворения такого условия разрешено шумоподавление в видеоданных. В случае, если такое условие не удовлетворено, шумоподавление в видеоданных не разрешено.

[0077] Согласно некоторым вариантам осуществления, параметр окружающей среды безусловно скоррелирован со степенью конфликта. То есть, чем больше параметры окружающей среды, тем больше степень конфликта между окружающей средой и шумоподавлением. Чем меньше параметры окружающей среды, тем меньше степень конфликта между окружающей средой и шумоподавлением.

[0078] Согласно некоторым вариантам осуществления, по формуле чем больше величина движения терминала мобильной связи во внешней окружающей среде, тем больше степень конфликта между окружающей средой и шумоподавлением, и тем более бесполезно шумоподавление; чем больше яркость света во внешней окружающей среде терминала мобильной связи, тем больше степень конфликта между окружающей средой и шумоподавлением, и тем более бесполезно шумоподавление; чем больше температура внутренней среды в терминале мобильной связи, тем больше степень конфликта между окружающей средой и шумоподавлением, и тем более бесполезно шумоподавление, и тому подобное.

[0079] Согласно некоторым вариантам осуществления, степень конфликта сравнивается с заранее определенным порогом.

[0080] В случае, когда степень конфликта больше заранее определенного порога, степень конфликта между окружающей средой и шумоподавлением большая, и состояние шумоподавления в видеоданных не разрешает проводить шумоподавление в видеоданных.

[0081] В случае, когда степень конфликта меньше или равна заранее определенному порогу, степень конфликта между окружающей средой и шумоподавлением малая, и состояние шумоподавления в видеоданных разрешает проводить шумоподавление в видеоданных.

[0082] Согласно вариантам осуществления, в случае, когда шумоподавление не разрешено, видеоданные обрабатываются согласно сценариям обслуживания, что никак не ограничивается в вариантах осуществления.

[0083] Согласно некоторым вариантам осуществления, как показано на фиг. 2, для видеоданных, шумоподавление в которых запрещено на стадии S204, эти видеоданные отображаются на экране на стадии S206, и на стадии S207 эти видеоданные кодируются, например, в формат Н.264, и упаковываются в формат флеш-видео (FLV) для пересылки на устройство, воспроизводящее видеоданные.

[0084] Например, проводится получение видеоданных, получение параметров окружающей среды для шумоподавления на основании окружающей среды терминала мобильной связи, проводится вычисление степени конфликта между окружающей средой и шумоподавлением на основании параметров окружающей среды, и проводится определение состояния шумоподавления в видеоданных на основании степени конфликта. С одной стороны, шумоподавление обычно выполняется в случае, когда окружающая среда разрешает проводить шумоподавление, так что можно обеспечить качество видеоданных. С другой стороны, шумоподавление запрещено в непригодной окружающей среде, и частота шумоподавления снижается, так что экономится вычислительная мощность для шумоподавления, степень загрузки ресурсов ЦП, памяти и тому подобного снижается, и больше вычислительной мощности остается в наличии для обеспечения нормального выполнения операций обслуживания. Более того, гибкость шумоподавления улучшается, и улучшается надежность шумоподавления.

[0085] Второй вариант осуществления

[0086] На фиг. 4 показана блок-схема алгоритма способа шумоподавления в видео согласно некоторым вариантам осуществления настоящего раскрытия, это процесс выполнения шумоподавления в надлежащей окружающей среде в случае добавления разрешения шумоподавления в варианты осуществления на основании описанных выше вариантов осуществления. В способе предусмотрены следующие стадии:

[0087] На стадии S401 проводится получение видеоданных.

[0088] На стадии S402 относящиеся к шумоподавлению параметры окружающей среды получаются в окружающей среде терминала мобильной связи.

[0089] На стадии S403 степень конфликта между окружающей средой и шумоподавлением вычисляется на основании параметров окружающей среды.

[0090] На стадии S404 состояние шумоподавления в видеоданных определяется на основании степени конфликта.

[0091] На стадии S405 используемые в шумоподавлении параметры окружающей среды выбираются из полученных параметров окружающей среды для шумоподавления в случае, когда состояние разрешает шумоподавление в видеоданных, и выбранные параметры окружающей среды определяются в качестве целевых параметров.

[0092] Согласно вариантам осуществления, как показано на фиг. 2, если текущее состояние разрешает шумоподавление в видеоданных на стадии S204, некоторые используемые в шумоподавлении параметры окружающей среды выбираются из полученных на стадии S203 параметров окружающей среды и они определяются в качестве целевых параметров, и целевые параметры посылаются в кодах, соответствующих шумоподавлению, в формате интерфейса прямого доступа к виртуальной машине Java (JNI), и тому подобное.

[0093] Согласно некоторым вариантам осуществления, если полученные параметры окружающей среды являются величиной движения терминала мобильной связи во внешней среде, яркостью света во внешней среде терминала мобильной связи и температурой внутренней среды в терминале мобильной связи, величина движения терминала мобильной связи во внешней среде и яркость света во внешней среде терминала мобильной связи выбираются для использования при шумоподавлении. Величина движения терминала мобильной связи во внешней среде и яркость света во внешней среде терминала мобильной связи содержатся в априорной функции. В случае, когда движение текущего терминала мобильной связи большое, вектор глобального движения полученных видеоданных является большим. В случае, когда вектор глобального движения большой, глаза человека не замечают шум и шумоподавление регулируется соответственно. В случае, когда яркость света во внешней среде терминала мобильной связи низкая, глобальный шум в полученных видеоданных увеличивается, и шумоподавление регулируется соответственно.

[0094] На стадии S406 величина шумоподавления вычисляется на основании целевых параметров.

[0095] Согласно вариантам осуществления, параметры шумоподавления регулируются на основании целевых параметров, так что шумоподавление согласовано с текущей окружающей средой.

[0096] Согласно некоторым вариантам осуществления, величина шумоподавления вычисляется на основании целевых параметров, так что величина шумоподавления безусловно скоррелирована с целевыми параметрами. То есть, чем больше целевые параметры, тем больше величина шумоподавления. Чем меньше целевые параметры, тем меньше величина шумоподавления.

[0097] Согласно некоторым вариантам осуществления, для величины движения терминала мобильной связи во внешней среде и яркости света во внешней среде терминала мобильной связи в случае, если величина движения терминала мобильной связи во внешней среде большая, и яркость света во внешней среде терминала мобильной связи большая, в видеоданных выполняется шумоподавление с большой величиной. То есть, скорость кодового потока текущих видеоданных сжимается, снижается степень загрузки сети передачи данных, и уменьшается «зависание» изображения в сети передачи данных.

[0098] Согласно некоторым вариантам осуществления, величина шумоподавления вычисляется методом линейного объединения. Если в качестве примера взять величину движения терминала мобильной связи во внешней среде и яркость света во внешней среде терминала мобильной связи, вычисляется шестое произведение величины движения и заранее определенного весового коэффициента движения и вычисляется седьмое произведение яркости и заранее определенного весового коэффициента яркости, вычисляется сумма шестого произведения, седьмого произведения и заранее определенного параметра регулировки, и эта сумма определяется в качестве величины шумоподавления. Таким образом, величина шумоподавления определяется по следующей формуле:

[0099] В этой формуле обозначает полученную величину шумоподавления, обозначает величину движения терминала мобильной связи во внешней среде, обозначает яркость света во внешней среде терминала мобильной связи, а обозначает весовой коэффициент движения, a ∈ [0,1], b обозначает весовой коэффициент яркости, b ∈ [0,1], а с обозначает параметр регулировки, с ∈ [0,1].

[00100] На стадии S407 в видеоданных выполняется шумоподавление на основании его величины.

[00101] Как показано на фиг. 2, после определения текущей величины шумоподавления относящиеся к шумоподавлению параметры регулируются на основании величины шумоподавления в видеоданных.

[00102] Согласно некоторым вариантам осуществления, шумоподавление включает в себя следующие реализации.

[00103] 1. Алгоритм шумоподавления на основе глубокого обучения

[00104] Имеется множество алгоритмов шумоподавления на основе глубокого обучения. Например, шумоподавление в нейронной сети достигается с использованием многоярусного автокодировщика шумоподавления, механизма многослойного перцептрона (MLP) и тому подобного.

[00105] В случае, если сеть является мелкой, а аппаратура терминала мобильной связи улучшена, шумоподавление в видеоданных выполняется на основе алгоритма шумоподавления с глубоким обучением.

[00106] 2. Алгоритм шумоподавления без глубокого обучения

[00107] Шумоподавление без использования глубокого обучения включает в себя двухмерное шумоподавление (2D понижение шума, 2DNR) и трехмерное шумоподавление (3D понижение шума, 3DNR).

[00108] Технология 2DNR является пространственным алгоритмом шумоподавления. В 2DNR используется окно фильтра или выполняется блочное сопоставление. Таким образом, при использовании шумоподавления 2DNR окно настраивается на основании величины шумоподавления, так что видеоданные фильтруются или сопоставляются поблочно с использованием окна.

[00109] Размер окна безусловно коррелирует с величиной шумоподавления. То есть, чем больше величина шумоподавления, тем больше окно; а чем меньше величина, тем меньше размер окна.

[00110] Для блочного сопоставления, если высота изображения с исходными данными равна Н, ширина изображения с исходными данными равна W, а размер окна для блочного сопоставления равен D*D, и размер выбираемого блока равен d*d, то сложность вычислений составляет O(HWD²d²).

[00111] Для фильтрации, если высота изображения с исходными данными равна Н, ширина изображения с исходными данными равна W, то сложность гауссовской фильтрации составляет O(HWd²), где d*d обозначает размер окна фильтрации, а временная сложность фильтрации с ведомым фильтром составляет O(HW).

[00112] Исходные данные изображения защищены операцией сохранения кромки данных ведущего изображения при фильтрации, что включает в себя следующие реализации фильтрации.

[00113] 2.1. Фильтрация с ведомым фильтром

[00114] В фильтрации с ведомым фильтром исходные данные изображения Р фильтруются с помощью данных ведущего изображения I, так что можно получить данные изображения Q со сниженным шумом. Фильтрация с ведомым фильтром описывается следующей формулой:

[00115] В этой формуле i обозначает пиксель, j обозначает окно фильтрации, W_ij(I) обозначает величину, используемую при вычислении взвешенного среднего, определенного по данным ведущего изображения I. Данные ведущего изображения являются отдельным кадром данных изображения или самими данными изображения Р (в этом случае ведомый фильтр вырождается до фильтра сохранения кромки).

[00116] 2.2. Совместная билатеральная фильтрация

[00117] В технологии совместной билатеральной фильтрации исходные данные изображения фильтруются с помощью данных ведущего изображения I, так что можно получить данные изображения J со сниженным шумом. В случае, когда данные ведущего изображения I являются самими исходными данными изображения, совместная билатеральная фильтрация становится билатеральной фильтрацией, которая описывается следующей формулой:

[00118] В этой формуле р обозначает пиксель, q обозначает окно фильтрации, ƒ(⋅) обозначает пространственный фильтр и указывает, что весовой коэффициент вычисляется на основании расстояния между текущим пикселем и окружающими пикселями, q(⋅) обозначает ранговый фильтр и указывает, что весовой коэффициент вычисляется на основании разницы пикселей в текущем пикселе и в окружающих пикселях в данных ведущего изображения, а k_p обозначает нормализованной параметр. В случае, когда разница между расстоянием и значением пикселя большая, произведение расстояние и значение пикселя является малым, так что достигается сохранение кромки.

[00119] Технология 3DNR является пространственным и временным алгоритмом шумоподавления. В технологии 3DNR делается предположение для указания изменений во времени случайно создаваемых шумов в видеоданных, причем взаимосвязь описывается следующей формулой:

F(t)=F+N(t).

[00120] В этой формуле F(t) обозначает содержащие шум данные изображения, F обозначает исходные данные изображения, N(t) обозначает изменяющийся во времени шум, при этом шум имеет гауссовское распределение и его среднее значение равно 0. Согласно закону больших чисел, в случае накопления величины N(t), чем большее время проводится накопление, тем ближе к 0 будет значение шума.

[00121] Для технологии 3DNR видеоданные в вариантах осуществления являются исходными видеоданными, то есть видеоданными без какой-либо обработки (например, без баланса белого, регулировки яркости и тому подобного), обычно в формате YUV. В этом случае шум видеоданных в основном имеет гауссовское распределение со средним значением, равным 0, так что обеспечивается действие 3DNR.

[00122] В случае, когда операционная система в терминале мобильной связи ограничена и нельзя получить исходных видеоданных, шумоподавление выполняется с видеоданными, обработанными другими методами (например, с балансом белого, регулировкой яркости и тому подобным), что никак не ограничено в вариантах осуществления.

[00123] Видеоданные включают в себя множество кадров с данными изображений, обозначенных символами P1, Р2, …, Pt-1, Pt, Pt+1, …, Pn, нумерация проводится в порядке их создания, t и n являются положительными целыми числами, и t+1 меньше, чем n. Поскольку видеоданные создаются в реальном масштабе времени, переменная n увеличивается при создании видеоданных, пока создание видеоданных не остановится.

[00124] Согласно вариантам осуществления, каждый из множества кадров данных изображений видеоданных последовательно просматривается для 3DNR. Для удобства описания подлежащие шумоподавлению данные изображения текущего кадра называются исходными данными изображения, а данные изображения предыдущего кадра со сниженным шумом называются эталонными данными изображения.

[00125] В этом случае стадия S407 содержит в себе следующие подстадии.

[00126] На подстадии S4071 определяется первый коэффициент смешивания, создаваемый для эталонных данных изображения после принятия решения о том, что шумоподавление будет трехмерным шумоподавлением.

[00127] Согласно вариантам осуществления, вероятность нахождения пикселя в движении оценивается на основании одной точки или блока, и она определяется в качестве вероятности движения. В дополнение к этому, функция сопоставления коэффициента заранее определена, и она составлена с возможностью сопоставлять вероятность движения цели с коэффициентом, пригодным для 3DNR.

[00128] Вероятность движения подставляется в функцию сопоставления коэффициента, и выходной коэффициент определяется в качестве первого коэффициента смешивания. Первый коэффициент смешивания описывается следующей формулой:

w_u = ƒ_u(P₁).

[00129] В этой формуле w_u обозначает первый коэффициент смешивания, w_u ∈ [0, 1], ƒ_u(⋅) обозначает функцию сопоставления вероятности, а P₁ обозначает вероятность движения.

[00130] Согласно некоторым вариантам осуществления, функция сопоставления вероятности является линейной функцией, например, ƒ(x) = gx + h. Здесь х обозначает вероятность движения, a g и h являются гиперпараметрами.

[00131] За исключением линейной функции, функция сопоставления коэффициента, согласно некоторым вариантам осуществления, является нелинейной функцией, что никак не ограничивается в вариантах осуществления.

[00132] На подстадии S4072 вычисляется восьмое произведение величины шумоподавления и первого коэффициента смешивания, и оно определяется в качестве нового первого коэффициента смешивания, и этот новый первый коэффициент смешивания используется для эталонных данных изображения.

[00133] Согласно вариантам осуществления, вычисляется восьмое произведение величины шумоподавления и первого коэффициента смешивания, первый коэффициент смешивания обновляется на основании восьмого произведения, и обновленный первый коэффициент смешивания используется для эталонных данных изображения.

[00134] На подстадии S4073 вычисляется второй коэффициент смешивания на основании нового первого коэффициента смешивания, и второй коэффициент смешивания используется для исходных данных изображения.

[00135] Согласно вариантам осуществления, между первым коэффициентом смешивания и вторым коэффициентом смешивания имеются взаимоотношение преобразования. Второй коэффициент смешивания вычисляется на основании взаимоотношения преобразования, и второй коэффициент смешивания используется для исходных данных изображения.

[00136] Согласно некоторым вариантам осуществления, второй коэффициент смешивания получается при вычитании из 1 нового первого коэффициента смешивания.

[00137] На подстадии S4074 целевые данные изображения получаются при наложении исходных данных изображения со вторым коэффициентом смешивания на эталонные данные изображения с новым первым коэффициентом смешивания

[00138] Согласно вариантам осуществления, в случае, когда настроены первый коэффициент смешивания и второй коэффициент смешивания, эталонные данные изображения и исходные данные изображения накладываются вместе, и такие совмещенные данные изображения являются данными изображения после выполнения 3DNR, они называются целевыми данными изображения.

[00139] В этом случае, шумоподавление 3DND описывается следующей формулой:

B_t = w_u * R_u * B_t-1 + (1 - w_u * R_u) * F_t.

[00140] В этой формуле B_t обозначает целевые данные изображения, w_u обозначает первый коэффициент смешивания, R_u обозначает величину шумоподавления, w_u * R_u обозначает новый первый коэффициент смешивания, (1 - w_t * R_u) обозначает второй коэффициент смешивания, B_t-1 обозначает эталонные данные изображения, a F_t обозначает исходные данные изображения.

[00141] Согласно вариантам осуществления, для видеоданных со сниженным шумом выполняется последовательная обработка на основании сценариев обслуживания, что никак не ограничивается в вариантах осуществления.

[00142] Согласно некоторым вариантам осуществления, как показано на фиг. 2, видеоданные после шумоподавления 3DNR отображаются на экране на стадии S206, а на стадии S207 видеоданные со сниженным шумом кодируются, например, в формат Н.264, и упаковываются в формат флеш-видео (FLV) для пересылки на устройство, воспроизводящее видеоданные.

[00143] Согласно вариантам осуществления, используемые в шумоподавлении параметры окружающей среды выбираются из полученных относящихся к шумоподавлению параметров окружающей среды в случае, когда разрешено шумоподавление в видеоданных, и выбранные параметры окружающей среды определяются в качестве целевых параметров. Величина шумоподавления вычисляется на основании целевых параметров, и величина шумоподавления безусловно скоррелирована с целевыми параметрами. Шумоподавление выполняется в видеоданных на основании величины шумоподавления, так что величина шумоподавления согласована с окружающей средой, и улучшается эффективность использования вычислительной мощности компьютера. В дополнение к этому, скорость кодового потока видеоданных со сниженным шумом является надлежащей, так что скорость кодового потока сохраняется для кодировщика, снижается степень загрузки сети передачи данных, и уменьшается «зависание» изображения в сети передачи данных.

[00144] Третий вариант осуществления

[00145] На фиг. 5 показана блок-схема устройства для шумоподавления в видео согласно некоторым вариантам осуществления настоящего раскрытия. Это устройство можно применить в терминале мобильной связи.

[00146] Это устройство включает в себя: модуль 501 получения видеоданных, выполненный с возможностью получать видеоданные; модуль 502 получения параметров окружающей среды, выполненный с возможностью получать параметры окружающей среды, относящиеся к шумоподавлению в окружающей среде терминала мобильной связи; модуль 503 вычисления степени конфликта, выполненный с возможностью вычислять степень конфликта между средой и шумоподавлением на основании параметров окружающей среды; и модуль 504 определения состояния шумоподавления, выполненный с возможностью определять на основании степени конфликта состояние шумоподавления в видеоданных.

[00147] Устройство для шумоподавления в видео, согласно вариантам осуществления, выполняет способ шумоподавления в видео согласно любому варианту осуществления настоящего раскрытия, и имеет те же самые функциональные модули и действия, как и способ.

[00148] Четвертый вариант осуществления

[00149] На фиг. 6 показана блок-схема терминала мобильной связи согласно некоторым вариантам осуществления настоящего раскрытия. Как показано на фиг. 6, терминал мобильной связи включает в себя процессор 600, память 601, модуль 602 передачи данных, входное устройство 603 и выходное устройство 604. Процессор 600, память 601, модуль 602 передачи данных, входное устройство 603 и выходное устройство 604 соединены вместе с помощью шины или другим способом, и на фиг. 6 в качестве примера используется шина.

[00150] Память 601, как машиночитаемый носитель данных, выполнена с возможностью хранить программы программного обеспечения, выполняемые компьютером программы и модули, например, модули, соответствующие способу шумоподавления в видео согласно вариантам осуществления (например, модуль 501 получения видеоданных, модуль 502 получения параметров окружающей среды, модуль 503 вычисления степени конфликта и модуль 504 определения состояния шумоподавления). Процессор 600 выполняет различные функциональные прикладные программы и обработку данных в терминале мобильной связи, то есть, способ шумоподавления в видео согласно приведенным выше вариантам осуществления, с помощью обработки или выполнения программ программного обеспечения, инструкций и модулей, которые хранятся в памяти 601.

[00151] Процессор 600 выполняет различные функциональные прикладные программы и обработку данных в устройстве, то есть, способ шумоподавления в видео согласно приведенным выше вариантам осуществления, с помощью обработки или выполнения программ программного обеспечения, инструкций и модулей, которые хранятся в памяти 601.

[00152] Терминал мобильной связи в вариантах осуществления выполняет способ шумоподавления в видео согласно любому варианту осуществления настоящего раскрытия, и реализует соответствующие функции и действия.

[00153] Пятый вариант осуществления

[00154] Согласно вариантам осуществления настоящего раскрытия дополнительно предложен машиночитаемый носитель данных. В машиночитаемом носителе данных хранится одна или несколько компьютерных программ. Одна или несколько компьютерных программ, будучи загруженными и выполняемыми процессором, заставляют процессор выполнить способ шумоподавления в видео. Этот способ предусматривает следующие стадии: получение видеоданных; получение параметров окружающей среды для шумоподавления на основании окружающей среды терминала мобильной связи; вычисление степени конфликта между окружающей средой и шумоподавлением на основании параметров окружающей среды; и определение на основании степени конфликта состояния шумоподавления в видеоданных.

[00155] Что касается машиночитаемого носителя данных, согласно вариантам осуществления настоящего раскрытия, компьютерная программа не ограничена описанными выше операциями способа, и она дополнительно способна выполнять соответствующие процессы в способе шумоподавления в видео согласно любому варианту осуществления настоящего раскрытия.