Результат интеллектуальной деятельности: СПОСОБ И УСТРОЙСТВО ДЛЯ ПРЕДСТАВЛЕНИЯ ЗЕРНИСТОСТИ ИЗОБРАЖЕНИЯ ОДНИМ ИЛИ НЕСКОЛЬКИМИ ПАРАМЕТРАМИ

Перекрестная ссылка на связанные заявки

Эта заявка по 35 U.S.С.119(е) притязает на приоритет предварительной заявки на патент США 60/470712, поданной 15 мая 2003 г., которая включена в настоящую заявку в качестве ссылки.

Область техники, к которой относится изобретения

Это изобретение относится к способу моделирования зерна пленки.

УРОВЕНЬ ТЕХНИКИ

Кинопленки содержат кристаллы галогенида серебра, рассредоточенные в светочувствительной фотографической эмульсии, которая наносится тонкими слоями на основу пленки. Экспозиция и проявление этих кристаллов формируют фотоизображение, состоящее из очень маленьких дискретных частиц серебра. В цветных негативах, где серебро химически удаляется после проявления, на участках, где формируются кристаллы серебра, возникают очень маленькие пятна красителя. Эти вкрапления мелких фракций красителя, обычно, в цветной кинопленке называются "зерном". Зерно появляется, распределяясь случайным образом на результирующем изображении, из-за случайного образования кристаллов серебра на исходной фотографической эмульсии. Внутри равномерно экспонированной области некоторые кристаллы проявляются после экспозиции, тогда как другие нет.

Зерно варьируется по размеру и форме. Чем более чувствительная пленка, тем больше размеры сгенерированных скоплений серебра и пятен красителя и тем большую они имеют тенденцию группироваться совместно в случайных структурах. Зернистая структура, обычно, известна как "зернистость". Невооруженный глаз не может различить отдельные зерна, которые варьируются от 0,0002 мм приблизительно до 0,002 мм. Вместо этого глаз различает группы зерен, называемые пятнами. Наблюдатель идентифицирует эти группы пятен как зерно пленки. При увеличении четкости изображения восприятие зерна пленки становится сильнее. Зерно пленки становится явно заметным в кино и на изображениях с высокой четкостью, тогда как в SDTV зерно пленки постепенно теряет значение и становится незаметным в меньших форматах.

Кинопленка обычно содержит шум, зависящий от изображения, возникающий в результате или физического процесса экспозиции и проявления фотопленки, или последующего редактирования изображений. Фотопленка обладает характерной псевдослучайной структурой, или текстурой, возникающей в результате физической зернистости фотографической эмульсии. В виде варианта подобная структура может моделироваться через изображения, сгенерированные компьютером, для смешения их с фотопленкой. В обоих случаях указанный шум, зависящий от изображения, определяется как зерно. Очень часто умеренная зернистая текстура представляет предпочтительное свойство в кинофильмах. В некоторых случаях зерно пленки обеспечивает визуальные оттенки, которые способствуют правильному восприятию двумерных изображений. Качество пленки часто варьируется внутри одной пленки, чтобы обеспечивать различные оттенки, например, относящиеся к опорному времени, точке обзора и т.д. Существуют многие другие технические и художественные направления использования для управления зернистой текстурой в индустрии кинофильмов. Следовательно, в индустрии кинофильмов стало требованием сохранение зернистого вида изображений при обработке изображения и в цепочке доставки.

Несколько продуктов, имеющихся в продаже, обеспечивают возможность моделирования зерна пленки часто для добавления в естественную сцену объекта, сгенерированного компьютером. Cineon® от Eastman Kodak Co, Rochester, Нью-Йорк является одним из первых цифровых приложений для пленки, для реализации моделирования зерна, которое достигает очень реалистичных результатов для многих видов зерна. Однако приложение Cineon® не дает хорошей эффективности для многих высокочувствительных пленок из-за заметных диагональных полос, которые приложение создает для установочных параметров большого размера зерна. Помимо этого, приложение Cineon® не имеет успеха в моделировании зерна с адекватной точностью, когда изображения подвергаются предварительной обработке, например, такой как копирование или цифровая обработка изображения.

Другим коммерческим продуктом, моделирующим зерно пленки, является Grain Surgery^TM от Visual Infinity Inc., который используется в виде сменных модулей продукта Adobe® After Effects®. Grain Surgery^TM появляется для генерирования искусственного зерна посредством фильтрования набора случайных чисел. Этот подход страдает от недостатка, состоящего в высокой вычислительной сложности.

Ни одна из указанных известных схем не решает проблему восстановления зерна пленки при восстановлении сжатого видеоизображения. Зерно пленки составляет высокочастотное псевдослучайное явление, которое обычно не может подвергаться сжатию с использованием стандартных пространственных и временных способов, использующих преимущество избыточностей в последовательностях видеоизображения. Попытки обрабатывать изображения, исходящие с пленки, с использованием способов сжатия MPEG-2 или ITU-T/ISO H.264 обычно приводят или к неприемлемо низкой степени сжатия или к полной потере зернистой текстуры.

Соответственно, существует потребность в способе представления характеристик зерна пленки через один или большее количество из набора параметров.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Вкратце, согласно предпочтительному варианту осуществления представленных принципов предложен способ моделирования зерна пленки. Способ начинается с характеризации в потоке информации изображения, таком как, например, поток видеоизображения, содержащий кинокадр, для обеспечения информации, показательной для зерна пленки внутри потока информации изображения. Информация зерна пленки включает по меньшей мере один параметр из набора возможных параметров, определяющих различные атрибуты зерна пленки в потоке изображения. Затем информация зерна пленки кодируется для последующей передачи.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг.1 иллюстрирует блок-схему первого варианта осуществления системы, согласно представленным принципам, для моделирования зерна пленки, согласно представленным принципам.

Фиг.2 иллюстрирует блок-схему второго варианта осуществления системы, согласно представленным принципам, для моделирования зерна пленки, согласно представленным принципам.

Фиг.3 иллюстрирует блок-схему третьего варианта осуществления системы, согласно представленным принципам, для моделирования зерна пленки, согласно представленным принципам.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Фиг.1 изображает схематичную блок-схему первого варианта осуществления системы 10, согласно представленным принципам, для выполнения моделирования зерна пленки, согласно представленным принципам. Система 10 содержит средство 22 удаления зерна пленки, которое служит для удаления зерна пленки из входного потока 12 видеоизображения для выдачи фильтрованного потока 24 видеоизображения, принимаемого в видеокодере 13. Удаление зерна пленки составляет определенный случай фильтрования шума, где появляется шумовой сигнал, коррелированный с сигналом изображения. Соответственно, средство 22 удаления зерна пленки может иметь вид классического фильтра изображений, хотя такой фильтр может не обеспечивать оптимальной эффективности. Видеокодер 13 кодирует фильтрованный поток 24 видеоизображения для выдачи кодированного потока 14 видеоизображения для приема в видеодекодере 15, который декодирует кодированный поток для выдачи декодированного потока 16 видеоизображения. Видеокодер 13 и видеодекодер 15 используют идентичную схему кодирования видеоизображения, известную в технике. Например, схема кодирования видеоизображения может содержать стандарт кодирования видеоизображения ITU-T H.264 или другой вид кодирования на основе блоков. Кодеры и декодеры, которые используют стандарт ITU-T H.264 и MPEG-2, хорошо известны.

Система 10 также содержит средство 23 характеризации зерна пленки, которое принимает входной поток 12 видеоизображения и фильтрованный поток 24 видеоизображения. Из этих потоков видеоизображения средство 23 характеризации зерна пленки выводит сообщение, далее по тексту определенное как сообщение относительно зерна, которое содержит идентификатор модели для моделирования зерна, а также, по меньшей мере, один из набора нескольких параметров, включающих в себя параметры корреляции, параметры, не зависящие от интенсивности, параметры, зависящие от интенсивности, используемых идентифицированной моделью. Как подробно описано ниже, параметры в сообщении относительно зерна пленки обеспечивают возможность моделирования, с использованием идентифицированной модели, исходного шума, зависящего от изображения. При отсутствии каких-либо параметров этому отсутствующему параметру присваивается значение по умолчанию. (Действительно, если модель не идентифицирована, то присваивается модель зерна пленки, заданная по умолчанию). В одном варианте осуществления средство 23 характеризации зерна пленки генерирует параметры в соответствии с моделью, основанной на физическом процессе экспозиции и проявления фотопленки или на процессах, добавленных при последующем редактировании изображений.

Следом за генерированием сообщения относительно зерна кодер информации характеризации зерна пленки кодирует сообщение для передачи в декодер 28 информации характеризации зерна пленки в полосе или вне полосы из кодированного потока 14 видеоизображения, передаваемого видеокодером 13 в видеодекодер 15. И видеокодер 13, и кодер 26 информации характеризации зерна пленки используют идентичную схему кодирования. Соответственно, например, когда кодер 26 использует для кодирования стандарт кодирования видеоизображения ITU-T Н.264, кодированный поток 27 информации характеризации зерна пленки может иметь вид сообщения с дополнительной расширенной информацией (ДРИ, SEI) определения параметров зерна пленки, определенного в стандарте кодирования видеоизображения ITU-T H.264.

Декодер 28 информации характеризации зерна пленки декодирует кодированное сообщение 27 относительно зерна пленки для выдачи декодированного потока 29 информации характеризации зерна пленки для ввода в процессор 30 восстановления зерна пленки. Как здесь подробно описано далее, процессор 30 должен моделировать зерно пленки с использованием модели, идентифицированной в сообщении относительно зерна, с использованием параметров в сообщении. При отсутствии идентификации модели процессор 30 должен присвоить модель, заданную по умолчанию. Аналогично, при отсутствии определенного значения данного параметра процессор 30 должен присвоить этому параметру значение, заданное по умолчанию.

В предпочтительном варианте осуществления сообщение 25 относительно зерна фиг.1 обычно должно включать в себя один или большее количество параметров корреляции, определяющих пространственную корреляцию, аспектное отношение, цветовую корреляцию и временную корреляцию. Каждый из этих параметров описан ниже.

Пространственная корреляция

В возможном варианте осуществления зависящая от изображения корреляция зерна пленки в пространственной области может быть смоделирована по меньшей мере одним параметром, пространственной корреляцией. Измеренная пространственная корреляция определяет размер пятен. Далее здесь описаны авторегрессионная модель второго порядка и модель свертки для пространственной корреляции.

Аспектное отношение

В идеале, зерно пленки должно выглядеть изотропным, с идентичными характеристиками в направлении Х и в направлении Y. Однако, практически, зерно пленки действительно может выглядеть вытянутым в одном направлении, что часто происходит из-за факторов, относящихся к записи пленки, например, использования анаморфирующей оптики или не квадратной геометрической формы детектора. По этой причине при моделировании зерна пленки показатель пространственной корреляции должен быть дополнен параметром, не зависящим от интенсивности, представляющим коэффициент аспектного отношения. Аспектное отношение пятен зерна определяется, по меньшей мере, одним параметром.

Цветовая корреляция

Согласно представленным принципам, зависимость от слоев зерна пленки в цветных изображениях представляется с использованием цветовой корреляции. Измеренная цветовая корреляция определяет воспринимаемый оттенок зерна. Слабая цветовая корреляция подразумевает, что пятна зерна, созданные на различных цветовых слоях, накладываются друг на друга случайным образом. Следовательно, наблюдатель будет воспринимать зерно, как цветное. Высокая цветовая корреляция подразумевает, что пятна зерна на одной составляющей цвета зависят от других составляющих цвета. В этом случае наблюдатель будет воспринимать зерно, как монохроматическое. Временная корреляция

Временная корреляция зерна в последовательностях представляется по меньшей мере одним параметром. Непосредственно зерно не может проявлять никакой временной корреляции между кадрами, но введение параметра, представляющего временную корреляцию, может способствовать моделированию других наблюдаемых эффектов, вызванных редактированием пленки.

Интенсивность шума

Существует потребность в том, чтобы совместно с ранее описанными параметрами, представляющими зависимость зерна пленки от кинокадра, была представлена интенсивность шума, возникающая в результате случайных процессов, которые порождают зерно пленки. Интенсивность шума может варьироваться для каждой составляющей цвета и будет зависеть от кинокадра. Интенсивность зерна определяет уровень, на котором воспринимается шум в изображении. Малые уровни интенсивности зерна вносят малые изменения в исходное изображение и выглядят едва заметными. Высокие уровни интенсивности становятся ясно видимыми как пики, наложенные в изображении.

Другие параметры

Дополнительно к параметрам, описанным выше, сообщение относительно зерна может также включать в себя параметры, которые идентифицируют цветовое пространство, в которое добавляется зерно пленки, и режим смешивания, используемый для смешивания зерна с видеосигналом. Следует отметить, что для каждой составляющей цвета и для различных уровней интенсивности кинокадра может передаваться разный набор параметров. Например, известно, что зерно пленки зависит от локальной интенсивности изображения, и что разные составляющие цвета могут содержать разное зерно в зависимости от вида стока пленки.

Средство 23 характеризации зерна пленки (фиг.1) может генерировать разные наборы параметров в соответствии с уровнями интенсивности изображения. Если требуется, то декодер 28 зерна пленки может интерполировать набор параметров для различных уровней интенсивности, чтобы получить гладкий переход характеристик зерна пленки.

Для интерпретации набора параметров декодер 28 зерна пленки должен иметь описание модели, которая генерирует параметры. Для понимания, как может быть определена такая модель, будут полезны следующие математические отношения. Сначала значение пикселя декодированного изображения в позиции изображения (х, у) для цветового канала с и номера кадра t представляется I (х, у, с, t). Для удобства предполагается, что значения пикселя масштабированы, чтобы иметь максимальное значение, равное единице. Дополнительно предполагается, что представлением изображения является RGB (с=1, 2 или 3), хотя эта модель может быть применена непосредственно для монохроматических изображений и, с очевидными изменениями, для представления YUV.

При аддитивной модели зерна моделирование зерна заменяет каждое значение пикселя на J(x, у, с, t), где J(x, у, с, t) задано отношением

где L(x, у, t) является показателем локальной интенсивности в изображении и G(x, у, с, t, L(x, у, t)) определяет значение зерна. Одной возможной реализацией является определение L как яркости или взвешенной суммы интенсивностей I (х, у, с, t) по всем цветовым каналам.

Аддитивная модель, заданная уравнением (1), является соответствующей, когда используется логарифмический масштаб интенсивности. Для линейного масштаба модель уравнения (1) может быть заменена следующим мультипликативным видом:

Должна ли быть реализована аддитивная или мультипликативная модель зерна, зависит от формата декодированного изображения. В основном, зерно должно содержать малую долю от максимального значения пикселя.

Далее описываются некоторые возможные варианты различного вида моделей для извлечения набора параметров, согласно настоящему изобретению.

1. Авторегрессионное моделирование структуры зерна пленки

В возможном варианте осуществления для моделирования пространственной корреляции может использоваться авторегрессионная схема второго порядка, а для моделирования межцветовой и временной корреляций может использоваться регрессионная схема первого порядка. Все коэффициенты корреляции зависят от интенсивности декодированного изображения. Горизонтальные и вертикальные коэффициенты пространственной корреляции связаны постоянным коэффициентом аспектного отношения. При таких условиях смоделированные значения зерна должна выдавать следующая формула:

где N является случайным значением с нормированным гауссовым распределением, А является постоянным аспектным отношением пикселя, р, q, r, s, u и v являются параметрами корреляции. Параметр и всегда является нулевым для первого цветового канала, и значению зерна G присваивается значение, равное нулю, каждый раз, когда какой-либо индекс находится вне допустимого диапазона.

Как может быть замечено из структуры уравнения (2), значения зерна для данного пикселя в данном цветовом канале вычисляются рекурсивно с использованием предварительно вычисленных значений зерна. В частности, кадры вычисляются в порядке возрастания номера кадра (то есть с возрастанием t). Внутри каждого кадра обработка цветовых каналов происходит в порядке возрастания номера цветового канала (то есть с возрастанием с). Внутри каждого цветового канала пиксели растеризуются горизонтально и затем вертикально в порядке возрастания х и у. При следовании указанному порядку все значения зерна, требуемые в уравнении (2), вычисляются предварительно автоматически.

При некоторых условиях вертикальная растеризация оказывается более практичной, то есть сначала происходит обработка пикселей по столбцам. В таких случаях потребуется небольшое изменение уравнения (2) для использования только предварительно вычисленных значений:

Для реализации уравнения (2) или уравнения (2а) требуются некоторые минимальные возможности декодера. Во-первых, декодер 28 информации зерна пленки должен выполнять все вычисления в реальном масштабе времени. Во-вторых, требуется, чтобы декодер 28 информации зерна пленки хранил в памяти некоторое количество предварительно вычисленных значений зерна. В частности, для реализации временной корреляции (то есть, последний член в уравнениях (2) и (2а)) требуется, чтобы декодер 28 информации зерна пленки хранил значения зерна полностью для предыдущего кадра. С этой точки зрения существенно, чтобы модель уравнения (2) обеспечивала возможность постепенного понижения требований с некоторым ухудшением точности.

Система с несколько меньшей точностью может игнорировать последний (временной) член в уравнении (2). Это должно устранить потребность в наличии дополнительного буфера кадров для хранения значений зерна из предыдущего кадра. Пренебрежение в уравнении (2) указанными членами, зависящими от s(c, L), дополнительно приводит к снижению расходов. Это также устраняет потребность в хранении второй предыдущей строки в памяти и уменьшает количество вычислений. При пренебрежении диагональными корреляциями, описанными членами r(c, L) и т.д., достигается дополнительное снижение сложности. Устройство моделирования зерна с наиболее низким качеством использует только член белого шума.

Каждый раз при пренебрежении членом в системе с понижением требований осуществляется выигрыш, если декодер 28 информации зерна пленки корректирует оставшиеся параметры так, чтобы действительная корреляция первого порядка и, что даже более существенно, автокорреляция (мощность шума) оставались такими, какими они должны быть в полномасштабной реализации модели, реализованной уравнением (2). При отсутствии доступности всех предыдущих значений зерна идентичная коррекция должна осуществляться для первых строк и столбцов каждого кадра.

Гибкость модели, реализованной уравнением (2), станет более очевидной при установке параметров р, q, r и s в ноль для всех цветовых каналов, кроме первого, и при установке цветовых корреляций u(c, L) для с>1 в 1. При таких условиях зерно становится полностью монохроматическим. Указанный набор значений параметров может описывать случай для цветовых вариаций, которые выбрасываются при предыдущем преобразовании YUV 4:2:0 цветового пространства.

Для набора трех цветов модель уравнения (2) описывает структуру зерна в терминах группы из семнадцати параметров для каждого уровня яркости плюс аспектное отношение, которое не зависит от яркости. Параметры, зависящие от яркости, могут кодироваться для нескольких фиксированных уровней яркости. Декодер должен интерполировать значения параметров для промежуточных уровней яркости.

Параметры зерна не должны представляться точно в виде уравнения (2). Например, может использоваться любое однозначное преобразование параметров. Дополнительно, могут использоваться разные наборы опорных уровней интенсивности для разных параметров и разные схемы интерполяции и т.д.

2. Свертка в пространственной области для моделирования зернистой структуры пленки

В другом возможном варианте осуществления зернистрая структура пленки может моделироваться посредством свертки набора случайных чисел х линейным, независимым от времени цифровым фильтром h, определенным в виде:

Это выражает, что выходные данные фильтра, моделирующие зерно пленки у(n), являются сверткой входных данных х(n) с импульсной характеристики фильтра h(n):

Хотя уравнение (4) выдает моделирование в одной размерности, двумерная модель может быть получена при конкатенировании вертикальной и горизонтальной сверток в одной размерности. При таких условиях дополнительно к коэффициенту аспектного отношения должны передаваться коэффициенты фильтра.

Декодер 28 информации зерна пленки с ограниченными возможностями может ограничивать пространственный размер ядра свертки, что должно привести к пониженным требованиям на память и вычислительную мощность.

3. Фильтрация в преобразованной области для моделирования зернистой структуры пленки

Как описано выше, свертка импульсной характеристики фильтра h с набором случайных чисел х может характеризовать зернистую структуру пленки. Эта же операция может быть описана также умножением в частотной области преобразования Фурье импульсной характеристики Н и преобразования Фурье набора случайных чисел X:

Фильтрация в частотной области дает преимущество, так как она является более быстрой в вычислительном отношении, если преобразование Фурье изображения доступно, например, как часть процесса фильтрации или сжатия.

Следом приведен набор параметров, дающих удовлетворительные результаты для представления зерна, зависящего от изображения, согласно представленным принципам. Указанные параметры предполагают авторегрессионный способ моделирования зерна. Параметры для других способов должны представляться подобными таблицами.

Цветовое пространство: логарифмическое RGB

Режим смешивания: аддитивный

Аспектное отношение: 1

Количество уровней интенсивности: 3

Параметры для составляющей R:

Параметры для составляющей G:

Параметры для составляющей B:

Параметры корреляции, не представленные в этой таблице, установлены в 0.

После определения цветового пространства, режима смешивания, аспектного отношения и количества уровней интенсивности, для которых определены разные параметры, кодируется зерно пленки на каждой составляющей цвета. Следует отметить, что дополнительно к информации некоторого уровня (интенсивности) должны передаваться только данные, отмеченные курсивом.

Фиг.2 изображает второй вариант осуществления 10' системы для моделирования зерна пленки согласно представленным принципам. Система 10' использует многие элементы, идентичные используемым системой 10 (фиг.1), и указанные подобные элементы указаны подобными ссылочными позициями. Действительно, система 10' (фиг.2) отличается только отсутствием кодера 26 информации характеризации зерна пленки и декодера 28 информации характеризации зерна пленки (фиг.1). Система 10' (фиг.2) использует видеокодер 13 и видеодекодер 15, соответственно, для кодирования и декодирования информации 25 характеризации зерна пленки, выводимой из средства 23 характеризации зерна пленки. Для системы 10' (фиг.2) требуется использование стандарта кодирования видеоизображения, поддерживающего информацию характеризации зерна пленки передачи в виде параллельной расширенной информации.

Фиг.3 изображает третий вариант осуществления 10" системы для моделирования зерна пленки согласно представленным принципам. Система 10" использует многие элементы, идентичные используемым системой 10' (фиг.2), и подобные элементы указаны подобными ссылочными позициями. Действительно, система 10" (фиг.3) отличается только отсутствием средства 22 удаления зерна пленки (фиг.2). Система 10" (фиг.3) для моделирования результата удаления зерна пленки использует восстановленные изображения, доступные в видеокодере 13. Система 10" (фиг.3) имеет два преимущества по сравнению с системами 10 (фиг.1) и 10' (фиг.2). Во-первых, система 10" (фиг.3) понижает вычислительную сложность, которая относится к удалению зерна пленки, и во-вторых, она приводит характеризацию зерна пленки в соответствие количеству зерна пленки, подавляемому видеокодером 13. Так как средство характеризации зерна пленки (фиг.3) имеет в своем распоряжении и входное видеоизображение 12 с зерном пленки, и восстановленное видеоизображение 24, результирующее из видеокодера 13, оно может выполнять задачу характеризации наблюдаемого зерна пленки.

Выше. описан способ моделирования зерна пленки в видеосигнале. Хотя способ моделирования зерна пленки был описан в связи с кодированием и декодированием видеосигнала, в равной степени способ может быть применен для других задач, например, таких как завершающий этап создания кинопленок. В этом отношении исходное изображение может существовать как информация изображения в виде, отличном от сжатого видеосигнала, и информация зерна пленки может существовать в виде, отличном от сообщения, такого как сообщение SEI. Например, информация изображения может существовать в одном из разнообразных различных форматов, существующих в технике.