Способ контроля пространственного положения участников спортивного события на игровом поле

Способ контроля пространственного положения участников спортивного события на игровом поле

Изобретение относится к способам для генерирования регистрационной записи событий, ассоциированных с участниками спортивного события, а именно к области автоматизированной обработки данных, полученных при помощи измерительных видеосистем, и может быть использован для слежения за перемещением участников спортивного события на игровом поле во время спортивного события.

В практике проведения спортивных состязаний, например, хоккейных, футбольных, баскетбольных матчей и других командных игр, принято собирать статистические данные об эффективности действий каждого из участников спортивного события во время матча. Процедура сбора данных включает в себя определение по полученным во время матча последовательностям кадров положения каждого из участников спортивного события на площадке игрового поля и непрерывное отслеживание их перемещений во время спортивного события. Редактирование записанных материалов в ручном режиме с целью непрерывного слежения за действиями всех участков спортивного события на всем его протяжении и регистрация траекторий движения участников - трудоемкая задача, решение которой подвержено ошибкам оператора. Поэтому с развитием вычислительной техники была предпринята попытка переложить эту задачу на автоматизированные средства обработки последовательности кадров.

Целью контроля пространственного положения участников спортивного события на игровом поле является получение отчета о перемещениях каждого участника спортивного события во время матча, что позволяет оптимизировать эффективность действий команды в целом.

Из уровня техники (US 9007463 B2, опубл. 14.04.2015) известен способ автоматизированного слежения за участниками спортивного события на игровом поле и их идентификация посредством обработки видеозаписи спортивного события. Способ включает получение с помощью по меньшей мере одной откалиброванной по внутренним и внешним параметрам видеосистемы последовательности цветных кадров, содержащих изображения участников спортивного события на игровом поле и игрового поля во время спортивного события, выделение на каждом кадре полученной видеопоследовательности областей, содержащих изображения участков спортивного события и определение положений этих областей на кадре, отслеживание перемещений упомянутых областей на видеопоследовательности кадров, идентификацию участников спортивного события по их игровым номерам и цветам их формы, осуществление обработки полученных данных и определение траектории участников посредством сопоставления изображений участников на каждом кадре с изображениями участников на предшествующих кадрах видеопоследовательности. При этом процедура выделения областей с изображениями участников спортивного события включает отделение изображения участников от изображения игрового поля и изображения зрителей, морфологическую фильтрацию, сегментацию и фильтрацию сегментов, содержащих изображения участников, по площади.

Вышеуказанный способ упрощает работу оператора, уменьшая исходный объем работы до уровня необходимой коррекции результатов применения автоматизированного определения траекторий, однако вследствие несовершенства процедуры выделения областей с изображениями участников спортивного события автоматический режим определения траекторий также не свободен от ошибок.

Описанный в прототипе способ не формирует отчет с отметками о предупреждениях, привязанных к определенным точкам траекторий, предъявляемый оператору для внесения корректировок в ручном режиме в случае наличия таких предупреждений, а, следовательно, оператор должен верифицировать все видеопоследовательности на предмет ошибок обработки данных.

С одной стороны, ошибки могут появляться в результате недостаточно качественного выделения областей с изображениями участников на отдельных кадрах, что приводит к возникновению большого числа ложных объектов, квалифицируемых как изображения участников, а значит к возникновению большого числа ложных траекторий. Одним из распространенных источников таких ошибок является ошибка разделения изображения одного участника на несколько изображений (майка, шорты, рука, нога и т.д.), возникающая вследствие некорректной сегментации изображения.

С другой стороны, ошибки могут появляться при сопоставлении отдельных изображений участников матча с выявленными траекториями. Такие ошибки наиболее часто возникают в результате резкого изменения направления движения изображения участника и (или) резких изменений в скорости или ускорении такого движения.

В настоящем изобретении делается попытка уменьшить количество вышеуказанных ошибок, что, в конечном счете, приводит к уменьшению количества корректировок, требуемых от оператора. Таким образом, техническим результатом является повышение качества обработки данных за счет повышения качества обработки изображений и повышения точности определения траекторий участников.

Поставленная задача решена за счет того, что в известном способе контроля пространственного положения участников спортивного события на игровом поле, включающем получение с помощью по меньшей мере одной откалиброванной по внутренним и внешним параметрам видеосистемы видеопоследовательности цветных кадров, содержащих изображения участников спортивного события на игровом поле и игрового поля во время спортивного события, выделение на каждом кадре полученной видеопоследовательности областей, содержащих изображения участков спортивного события, и определение положений этих областей на кадре, отслеживание перемещений упомянутых областей на видеопоследовательности кадров, идентификацию участников спортивного события по присвоенным им игровым номерам и цветам их формы, осуществление обработки полученных данных и определение траектории участников посредством сопоставления изображений участников на каждом кадре с изображениями участников на предшествующих кадрах видеопоследовательности, согласно настоящему изобретению, осуществляют нормализацию освещенности изображения, включающую фильтрацию изображения, преобразование изображения в полутоновое, которое подвергается гистограммной эквализации, нормирование изображения по интенсивности к диапазону от 0 до 1, с образованием матрицы нормирующих коэффициентов, которая инвертируется, после чего все кадры видеопоследовательности умножаются на полученную матрицу коэффициентов, а выделение на каждом кадре полученной видеопоследовательности областей, содержащих изображения участков, проводят посредством многопроходной сегментации изображения при помощи алгоритма интерактивного отделения от фона с итерацией по графам, обученного в автоматическом режиме, причем обучение осуществляют при помощи бинаризованной маски, созданной на базе полученного ранее сегмента, идентификацию каждого участника спортивного события по цветам его формы производят посредством классификации изображения участника по априорно заданным группам посредством определения параметров и характеристик совместного распределения частоты попаданий значений хроматических составляющих изображения в заданные диапазоны, причем совместное распределение частоты попаданий значений хроматических составляющих изображения в заданные диапазоны определяется посредством двумерной гистограммы, в которой количество интервалов зависит от типа спортивного события и количества цветов в форме участников спортивного события, данная гистограмма представляет собой псевдоизображение, которое бинаризируют по низкому порогу, находят суммарную интенсивность бинаризованного псевдоизображения, которая представляет собой количество прошедших через порог пикселей псевдоизображения, полученное значение суммарной интенсивности сопоставляют с порогом на площадь, если значение суммарной интенсивности меньше пороговой площади, то соответствующий сегмент отмечается как «плохой» и в дальнейшей обработке не участвует, если больше или равен, то соответствующий сегмент отмечается как «идентифицируемый», определение траектории участников производят путем нахождения наименьшего значения метрики, которую определяют для каждой пары «возможная траектория - возможный участник», сопоставляя параметры и характеристики изображений участников на каждом кадре и изображений участников на предшествующих кадрах видеопоследовательности, при этом метрика является суммарным штрафом по нескольким критериям, пара «возможная траектория - возможный участник» имеющая наименьшее значение метрики, назначается продолжением траектории объекта на текущем кадре, если дистанция между координатами объекта на текущем кадре и координатами последнего объекта траектории будет меньше установленного порогового значения, зависящего от максимально возможной скорости движения участника спортивного события и частоты съемки кадров камерами.

Возможен вариант, при котором для калибровки видеосистемы по внутренним и внешним параметрам используют способ калибровки видеосистемы для контроля объектов на плоской площадке, включающий сканирование эталонных объектов в пространстве предметов каждой камерой видеосистемы таким образом, чтобы каждый отсканированный кадр содержал изображение по меньшей мере одного эталонного объекта, измерение положения точек изображения объекта для каждого эталонного объекта на отсканированных кадрах, определение внутренних параметров каждой камеры, при которых суммарное отклонение измеренных точек от их расчетного положения для всех отсканированных одной камерой кадров было минимальным, исправление нелинейных искажений в изображении на кадрах с каждой камеры посредством применения соответствующих внутренних параметров камеры, определение матрицы пересчета изображений, полученных камерами видеосистемы, в пространство предметов, при этом в качестве эталонного объекта в пространстве предметов выбирают прямолинейный объект, изображение которого находится на наименьшем расстоянии от центра кадра и имеет максимальную протяженность до периферии кадра, для измеренных точек изображения эталонного объекта определяют аппроксимирующую прямую, проведенную через по меньшей мере две измеренные точки изображения объекта, наиболее близко расположенных к центру кадра, для определения внутренних параметров каждой камеры минимизируют суммарное абсолютное отклонение положения измеренных точек изображения эталонного объекта от аппроксимирующей прямой, определяют взаимное положение элементов площадки посредством обработки ее изображения, определение матриц пересчета координат на изображениях, полученных камерами видеосистемы, в пространство предметов путем сопоставления положения не менее четырех точек, относящихся к элементам площадки, и соответствующих им точек на изображениях, полученных каждой из камер видеосистемы, после исправления присутствующих на них нелинейных искажений.

Таким образом, вся совокупность существенных признаков позволяет повысить качество обработки данных за счет повышения качества обработки изображений, благодаря выполнению многопроходной сегментации изображения и выравниванию освещенности изображения, при одновременном повышении точности определения траекторий участников, благодаря использованию метрик, идентификации каждого участника спортивного события по цветам его формы и номерам. В конечном итоге это приводит к уменьшению количества ошибок контроля пространственного положения участников спортивного события на игровом поле за счет уменьшения количества необходимых корректировок со стороны оператора. Таким образом, заявляемое изобретение позволяет значительным образом уменьшить количество ложных сопоставлений и снизить нагрузку на оператора по внесению необходимых корректировок в результат автоматического сопоставления.

Заявителем проведен патентный поиск по данной теме и заявляемая совокупность существенных признаков не выявлена.

Осуществление способа выполняют следующим образом.

На Фиг. 1 показано изображение плоской площадки (например, игровое поле), искаженное дисторсией оптической системы.

На Фиг. 2 показана последовательность кадров площадки, содержащей в центре изображение прямолинейного объекта.

На Фиг. 3 показано определение поля зрения камеры видеосистемы относительно площадки.

Способ может быть реализован с помощью автоматизированной системы слежения, включающей видеосистему, содержащую по меньшей мере одну камеру, которую устанавливают за пределами игровой поля необходимое количество видеокамер, так чтобы их суммарное поле зрения покрывало всю поверхность игровой площадки игрового поля без «слепых» зон. Для обработки кадров, полученных с камер видеосистемы, и выполнения необходимых алгоритмических процедур калибровки может быть использован компьютер с запоминающим устройством для хранения данных и соответствующим программным обеспечением, соединенный с камерами видеосистемы посредством линий связи с достаточной пропускной способностью для обмена изображениями необходимого разрешения и управления режимом захвата кадров. Конкретная конфигурация программного и аппаратного обеспечения, а также их архитектура зависят от количества камер, их разрешения, режима их работы. При этом камеры должны обладать возможностью синхронной записи видеокадров и разрешением необходимым для различения номеров игроков. Взаимное расположение камер, их количество и положение относительно площадки игрового поля, так же как и конкретные параметры камер, зависят от конфигурации площадки игрового поля, дистанции до нее, угла съемки.

Используемые для съемки спортивного события видеокамеры должны быть откалиброваны по внешним и внутренним параметрам. Т.е. обеспечивать возможность исправления нелинейных искажений в получаемых с камер изображениях и возможность пересчета координат, измеренных на полученных видеокадрах, в систему координат, связанную с игровым полем.

Далее для отснятых записей спортивного события, полученных с каждой камеры, производят определение игровых промежутков времени. К таким промежуткам могут относиться игровые периоды за исключением времени остановки игры. Дальнейшей обработке подвергают только кадры, соответствующие игровым промежуткам времени.

Таким образом, на момент начала обработки формируют набор цветных видеокадров для каждой камеры, соответствующий игровым промежуткам времени.

Для фильтрации высокочастотного шума на полученных кадрах могут применяться алгоритмы гауссова размытия, скользящего среднего или другие известные способы фильтрации.

Затем для каждого кадра производят процедуру очищения от фона. В качестве фона выступает изображение игрового поля, свободное от изображений участников спортивного события. Такое изображение может быть получено как до момента начала спортивного события, так и во время его проведения, основываясь на алгоритмах анализа движения в кадре. Полученное изображение фона, уникальное для каждой из камер системы, вычитают из всех кадров цветной видеопоследовательности для соответствующей камеры. Таким образом, на кадрах видеопоследовательности остаются области с изображениями участников спортивного события, а также области с изображениями зрителей на трибунах. Остальные части изображения (относящиеся к фону) становятся черными (имеют нулевую интенсивность в каждом цветовом канале).

Фильтрация областей, содержащих изображения зрителей, может быть реализована применением априорно заданной обнуляющей маски для каждой камеры видеосистемы и определяемой оператором на этапе подготовки видеопоследовательностей к обработке. Обнуляющая маска позволяет сделать нулевой интенсивность областей, содержащих изображения зрителей или изображения других объектов, попавших в кадр, но не относящихся ни к изображениям участников спортивного события, ни к изображению площадки игрового поля.

Известно, что изображающие объективы зачастую несвободны от виньетирования, вызывающего падение освещенности на отснятых кадрах от центра к периферии, кроме того освещение площадки игрового поля тоже зачастую не равномерно. Это явление может значительным образом отразиться на качестве выделения областей с изображениями участников спортивного события. Так применение пороговой фильтрации с единым порогом, подобранным для, например, центра кадра и его периферии, используемое в процедуре сегментации изображений участников спортивного события, может привести к значительной потере изображений участников на периферической области кадра. Это может привести к их отбрасыванию из дальнейшей обработки при фильтрации сегментов по площади. С другой стороны, для изображений участников, расположенных близко к центральной области кадра, отсутствие соответствующей коррекции может привести к ошибочному объединению в единый сегмент двух близкорасположенных изображений участников спортивного события. Для коррекции этого эффекта может использоваться составной порог бинаризации изображений на кадре, задающий уникальные значения порога для каждого пикселя или групп пикселей на кадре. В качестве альтернативы может использоваться нормализация освещенности в изображении на кадре, когда на первом этапе нормализации производят размытие изображения, например, фона (соответствующей камеры) с фильтром большой апертуры. В качестве такого фильтра может быть использован гауссов фильтр с апертурой с 300×200 пикселей. Размытое таким образом цветное изображение сначала преобразуется в полутоновое изображение, которое подвергается гистограммной эквализации (динамический диапазон изображения расширяется для полного покрытия диапазона яркостей, например, от 0 до 255). После этого изображение нормируется по интенсивности к диапазону от 0 до 1, образуя матрицу нормирующих коэффициентов. Полученная таким образом матрица нормирующих коэффициентов инвертируется по правилам инвертирования изображений, после чего все кадры видеопоследовательности для соответствующей камеры умножаются на полученную матрицу коэффициентов. Откорректированные таким образом видеокадры имеют преимущественно однородную освещенность для всех областей кадра, что позволяет снизить риск получения ошибок при дальнейшей сегментации изображений участников спортивного события при использовании фильтрации по единому порогу (единый порог бинаризации).

После проведения бинаризации изображений для каждого кадра видеопоследовательностей проводят морфологическую фильтрацию бинарного изображения, состоящую из последовательного применения операций морфологического закрытия и открытия. Эта процедура позволяет устранить мелкие детали на кадре, например, изображений шайбы и клюшек. Кроме того, в ряде случаев это позволяет разделить области на кадре, содержащие близкорасположенные изображения разных участников (коллизии). Однако побочным эффектом этой традиционно применяемой в такого рода системах операции является риск разделения изображения участника на несколько отдельных областей с дальнейшим удалением некоторых из этих областей при фильтрации их по площади. Для исключения такого рода ошибок в раскрываемом способе применяется усовершенствованная процедура сегментации в два прохода. На первом этапе все бинарные изображения на кадре сегментируются по 8-связной окрестности. Далее из рассмотрения откидываются (интенсивность на бинаризованном изображении обнуляется) наиболее мелкие сегменты, не прошедшие через порог (конкретная величина порога определяется исходя из разрешения камер, фокусного расстояния их объективов и расположения камер относительно площадки игрового поля). Далее из рассмотрения удаляются все сегменты, имеющие непропорционально большое или малое соотношение сторон описанного прямоугольника. После указанных операций в рассмотрении остаются только сегменты, чья площадь близка к пороговой площади, соответствующей площади изображения игрока в дальней точке поля зрения камеры. Конкретное значение пороговой площади зависит от характеристик камер и их расположения относительно площадки игрового поля. Оставшиеся сегменты проверяют на выполнение априорного условия по соотношению сторон описанного прямоугольника (например, вертикальная сторона больше горизонтальной). Для сегментов, прошедших проверку и не имеющих общей границы с маской для фильтрации изображений зрителей (граничные сегменты с большой долей вероятности являются изображениями зрителей), проводят уточняющую сегментацию в окне заданного размера (заведомо перекрывающего изображения игрока для данной области кадра). Для проведения такой сегментации область внутри окна заполняют изображением исходного кадра (вместе с фоном). Для полученного таким образом изображения проводят интерактивное отделение от фона с итерацией по графам (Interactive Foreground Extraction using Iterated Graph Cuts), т.н. сегментацию по методу GrabCut. Отличительной особенностью здесь является то, что обучение сегментации GrabCut проводят в автоматическом режиме при помощи бинаризованной маски, созданной на базе полученного ранее сегмента (вокруг которого создавалось окно для уточняющей сегментации). Автоматическая маркировка производится следующим образом. Пикселам, расположенным по границе окна, присваивают метку «фон». Пикселам, соответствующим пикселам бинаризованной маски, созданной на базе полученного ранее сегмента, присваивают метку «данный объект». Мелкие сегменты (соответствующие размерам (площади) изображений отдельных частей игроков, конкретное значение этого параметра зависит от характеристик камер и их расположения относительно площадки игрового поля) бинаризованной маски, полностью попавшие в окно, получают метку «возможно, данный объект». Мелкие объекты, частично попавшие в окно, получают метку «фон». Крупные сегменты (размеры которых соответствуют размерам игроков для данной области кадра) бинаризованной маски, частично или полностью попавшие в окно, получают метку «фон». Всем остальным пикселям, попавшим в окно, присваивается метка «возможно фон». Изображение в окне с присвоенными его пикселям метками «данный объект», «возможно, данный объект», «фон» и «возможно фон» подается на вход алгоритма интерактивного отделения от фона GrabCut, который уточняет границы бинарной маски для данного сегмента. В случае если алгоритм GrabCut увеличил площадь сегмента до, например, 98% окна, то такой сегмент откидывается из рассмотрения (его интенсивность на бинаризованной маске обнуляется), т.к. он квалифицируется как фоновое изображение. Основная цель уточняющей обработки - уменьшить количество некачественно (например, ошибочно разделенных) сегментированных изображения участников спортивного события.

Следующим этапом усовершенствованной процедуры сегментации является применение бинаризованной маски к изображению на кадре, полученному после нормализации освещенности. Над измененным таким образом изображением проводится повторная сегментация по 8-связной окрестности.

На выходе описанной усовершенствованной двухпроходной процедуры сегментации (многопроходной сегментации изображения на базе алгоритма интерактивного отделения от фона с итерацией по графам, обученного в автоматическом режиме) полученные сегменты изображения фильтруют по площади, откидывая из рассмотрения сегменты, площадь которых менее порога, соответствующего, например, четверти площади изображения игрока для данной области изображения (конкретное его значение зависит от типа спортивного события, внешнего вида формы участников, характеристик камер и их расположения относительно площадки игрового поля). Сегменты, прошедшие через порог, отмечаются как «неидентифицируемые», а сегменты, площадь которых соответствует от 70% до 130% от площади изображения игрока, например, отмечаются как «идентифицируемые», при этом конкретные значения порога зависят от типа спортивного события, внешнего вида формы его участников, характеристик камер и их расположения относительно площадки игрового поля.

Как «идентифицируемые», так и «неидентифицируемые» сегменты участвуют в процедуре определения траекторий движения участников спортивного события. Однако процедуры идентификации участников как по цветам формы, так и номеру на ней производят только для «идентифицируемые» сегментов.

При проведении процедуры идентификации участников по принадлежности к команде (по цветам формы) и по номеру на форме в качестве команды рассматривают также «команду судей». Идентификация участников по цветам формы может производиться как на основе априорно известных цветов формы, так и после процедуры обучения на изображениях участников, полученных на обрабатываемой последовательности видеокадров (во многих случаях такое обучение наиболее предпочтительно, так как учитывает искажение цветов формы под действием условий съемки и настроек снимающих камер). Это позволяет снизить риск ошибочного соотнесения сегмента (с изображением участника) с неверной командой, кроме того, может быть реализована автоматическая кластеризация игроков на основе априорных данных о типе спортивного события.

Идентификация участников по принадлежности к команде производится в соответствие со следующей процедурой.

Для каждого сегмента, отмеченного как «идентифицируемый», формируют новое окно, размеры которого совпадают с обрамляющим сегмент прямоугольником. Пиксели нового окна, соответствующие пикселям сегмента, заполняют пикселями исходного цветного RGB-изображения, остальные пиксели (пиксели фона и других сегментов) оставляют черными. Полученное изображение пересчитывают в цветовое пространство, линейное с точки зрения человеческого восприятия, например Lab. Затем для а и b (в случае Lab) компонент цветового пространства Lab находят двумерную гистограмму (совместное распределение частоты попаданий значений хроматических составляющих изображения а и b в заданные диапазоны), количество интервалов гистограммы, т.е. количество заданных диапазонов, зависит от типа спортивного события и количества цветов в форме участников спортивного события, например [0, 31] для каждой из компонент. Такую гистограмму можно рассматривать как псевдоизображение (в данном примере размерностью 32×32 пкс). Полученное псевдоизображение бинаризуют по низкому порогу (например, 5% от максимального значения «интенсивности» псевдоизображения, его конкретное значение зависит от типа спортивного события и априорной информации о количестве цветов в форме участников спортивного события, характеристик камер и их расположения относительно площадки игрового поля). Находят суммарную интенсивность бинаризованного псевдоизображения, т.е. количество прошедших через порог пикселей псевдоизображения. Полученное значение суммарной интенсивности (количество пикселей) сопоставляют с порогом на площадь, равным, например, 10, его значение соответствует наиболее разноцветному участку площадки игрового поля, не содержащей изображение участника спортивного события, соответствующей ему по размерам. Если значение суммарной интенсивности меньше пороговой площади, то соответствующий сегмент отмечается как «плохой» и в дальнейшей обработке не участвует, если больше или равен, то соответствующий сегмент отмечается как «идентифицируемый». Таким образом, оказывается возможным отсечь от дальнейшей обработки области, не содержащие изображения участников спортивного события или области, в которых площадь фона значительно превосходит площадь изображения участника спортивного события. Псевдо-изображение, соответствующее «идентифицируемым» сегментам преобразуется в вектор (в случае работы с псевдо-изображением размером 32×32 его преобразуют в вектор из 1024 значений), который подается на вход машины опорных векторов SVM (Support Vector Machine), обученной по прецедентам, для классификации. На выходе SVM получаем классификацию псевдоизображения по четырем категориям: «команда 1», «команда 2», «команда судей» и «команда не определена».

Обучение машины опорных векторов SVM может быть произведено перед обработкой всех видеопоследовательностей, по запросу к оператору с требованием выделить на отснятых кадрах с разных камер некоторое количество изображений участников спортивного события от разных команд («команда 1», «команда 2», «команда судей»), а также произвольных (не содержащих целых изображений участников спортивного события) областей на площадке игрового поля. Например, для каждой «команды» может быть выбрано не менее 15-20 изображений участников спортивного события полученных с разных камер. При этом для улучшения результатов классификации желательно обеспечить выбор изображений, соответствующих различным областям поля зрения камер видеосистемы. Выбранные оператором области с изображениями участников обрабатываются по той же процедуре, по которой формируются псевдоизображения при классификации. Это позволяет адаптировать классификатор к распознаванию изображений, полученных в конкретных условиях съемки (влияние цветопередачи, шумов камер, спектрального состава осветительного оборудования на площадке игрового поля и т.д.) на цвета изображения формы, а также учесть влияние искажения цветов в изображении формы из-за перемещений участников спортивного события (при движении участника изображение его формы трансформируется, повторяя контуры фигуры, а значит искажается и соотношение площадей изображений, приходящихся на участки формы разного цвета). Классификатор может быть обучен и по изображениям формы участников, полученным отдельно (не в этом матче, не при съемке этими камерами, без движения участников, а как простое фото с дизайном их формы), кроме того может быть реализована автоматическая кластеризация изображений формы участников на основе априорных данных о типе спортивного события, например о местах выхода на площадку игрового поля разных команд.

Для каждого «неидентифицируемого» и «идентифицируемого» сегмента (области с изображениями участников спортивного события) определяют границы обрамляющего прямоугольника, координаты середины нижней стороны которого пересчитывают из пикселей (система координат камеры) в мировую систему координат, связанную с площадкой игрового поля в удобные единицы измерения (метры/футы) через подобранные на этапе калибровки параметры камер.

Таким образом, для каждого кадра видеопоследовательности каждой камеры получают набор координат (например, в метрах), соответствующих положению участников спортивного события на игровом поле в определенный момент времени.

Каждая пара координат из вышеуказанного набора в совокупности с данными о принадлежности к команде, соответствующего им сегмента, образуют объект. Для каждого такого объекта определяют, является ли данный объект частью единой траектории с одним из объектов предыдущего кадра.

Такое сопоставление зачастую является источником большого числа ошибок, поскольку движение участников спортивного события, в частности, хоккейного матча, труднопредсказуемо из-за непостоянства скорости движения и ускорения. В такой ситуации, традиционно используемые алгоритмы слежения, основанные, например, на фильтре Калмана, не позволяют свести к минимуму количество вышеуказанных ошибок, что, в конечном счете, приводит к необходимости внесения значительного количества корректировок оператором в ручном режиме. В настоящем изобретении раскрывается решение, позволяющее значительным образом уменьшить количество ложных сопоставлений и снизить нагрузку на оператора по внесению необходимых корректировок в результат автоматического сопоставления.

Для всех объектов, обнаруженных на кадре, производится поиск соответствий со всеми траекториями (т.е. производится поиск соответствующих пар «возможная траектория - возможный участник»), для которых последний объект траектории был обнаружен на одном из N предшествующих кадров (например, N=5). Для каждой пары (объект на текущем кадре - последний объект траектории, далее пара «возможная траектория - возможный участник»), проверяемой на соответствие, определяют метрику, рассчитанную как суммарный штраф по нескольким критериям. Пара, имеющая наименьшее значение метрики, назначается соответствующей (объект на текущем кадре записывается как продолжение траектории), но только в том случае, если дистанция между координатами объекта на текущем кадре и координатами последнего объекта траектории (в метрах) окажется меньше некоторого порогового значения, зависящего от максимально возможной скорости движения участника спортивного события и частоты съемки кадров камер.

Суммарный штраф вычисляется как совокупность, например, следующих штрафных баллов.

Штраф P₁ на дистанцию может быть найден как значение дистанции между координатами объекта на текущем кадре и координатами последнего объекта траектории, умноженное на весовой коэффициент w₁. Коэффициент w₁ выбирается таким образом, чтобы приоритет отдавался траекториям, наиболее близко подходящим к объекту на текущем кадре. При этом если вычисленная дистанция превышает пороговую, то данная пара «возможный объект - возможная траектория» исключается из претендентов на соответствие.

Штраф Р₂ на касание с обнуляющей маской для фильтрации областей, содержащих изображения зрителей, может быть вычислен как весовой коэффициент w₂, в случае, если объект не касается обнуляющей маски, или коэффициент w₃ - в противном случае. Соотношение коэффициентов w₂ и w₃ позволяет регулировать степень нежелательности попадания в траекторию объектов, примыкающих к области расположения зрителей.

Штраф Р₃ на время жизни траектории может быть найден как весовой коэффициент w₄, деленный на время жизни траектории. Значение коэффициента выбирается таким образом, чтобы приоритет отдавался более длительным траекториям.

Штраф Р₄ на временной промежуток между кадром t₁, на котором для данной траектории был обнаружен последний объект, и текущим кадром t₂, может быть вычислен как Р₄=(t₂-t₁)*w₅. Значение коэффициента w₅ выбирается таким образом, чтобы приоритет отдавался тем траекториям, для которых последний объект был обнаружен позднее (на кадре наиболее близком к текущему).

Штраф Р₅ на нежелательность резкого изменения направления траектории может быть вычислен следующим образом. Для N последних объектов траектории рассчитывают вектор r преимущественного направления, на основе, например, взвешенного усреднения, где последние точки траектории имеют больший вес. Затем рассчитывают вектор k направления между объектом на текущем кадре и последним объектом траектории, находят расстояние между векторами ||r,k|| и вычисляют значение штрафа как Р₅=||r,k||/w₆. Коэффициент w6 выбирается таким образом, чтобы приоритет отдавался тем объектам, которые при добавлении в траекторию изменят преимущественное направление движения ее объектов меньше всего.

Штраф Р₅ на резкое изменение площади сегмента может быть рассчитан как отношение площадей объекта на текущем кадре к площади последнего объекта траектории, умноженный на весовой коэффициент w₇, который выбирается таким образом, чтобы приоритет был отдан объектам, которые наименее сильно отличаются от последнего объекта траектории по площади.

Соотношение между штрафами регулируется изменением весовых коэффициентов таким образом, чтобы уменьшить вероятность ошибочного сопоставления пар «возможный объект - возможная траектория» и зависит от типа спортивного события, расположения камер, вероятности появления ложных объектов в поле зрения камеры, которые по пространственным и спектральным характеристикам схожи с обрабатываемыми объектами (например, блики на поверхности площадки).

При вычислении суммарного штрафа могут быть добавлены и другие штрафы, если условия съемки или действия участников во время спортивного события могут быть описаны количественным штрафом.

В том случае, если объект на текущем кадре не был признан соответствующим ни одной рассматриваемой траектории, то для такого объекта создается новая траектория.

Для уменьшения количества траекторий (максимального приближения числа итоговых траекторий к действительному количеству участников спортивного события) могут быть добавлены дополнительные правила, применяемые, в том числе, на этапе постобработки (после обработки всех доступных кадров и сопоставления всех объектов с траекториями). Такие правила могут быть основаны на преимущественном положении объектов в некоторых априорно известных зонах (например, вратарь) или дополнительном анализе коллизий (например, по допустимой площади сегментов). Коллизия возникает, когда изображения двух и более участников перекрывают друг друга. В этом случае процедура выделения областей с изображениями участников спортивного события может ошибочно распознать такие изображения, как изображение одного участника, что в результате приводит к ошибкам определения траекторий движения участников спортивного события. Для обнаружения коллизий среди составленных траекторий производится анализ траекторий на расстояние между ними в синхронные моменты времени. В случае, если расстояние оказывается меньше порогового, а в один из следующих моментов времени одна из траекторий оборвалась, то для момента времени, соответствующего обрыву траектории, считают моментом коллизии анализируемых траекторий. Порог зависит от характеристик камер, их расположения относительно площадки, типа спортивного события, условий съемки. Кроме того, для детектирования может дополнительно анализироваться количество вновь возникших траекторий в априорно заданном радиусе (определяется оператором на этапе подготовки видеопоследовательности к обработке) вокруг места коллизии в моменты времени наиболее близкие к моменту коллизии по времени. Моменты коллизий могут быть также обнаружены на основе вычисления разницы между известным количеством участников в действительности присутствующих на площадке (известно из протокола спортивного события) и количеством участников, определенных процедурой выделения изображений участников в соответствующий момент времени.

Для исправления ошибок, возникающих в результате наличия коллизий, могут быть использованы различные подходы. Например, для каждой траектории, предположительно участвующей в коллизии, для всех моментов времени, предшествующих коллизии, а также для моментов времени, следующих после момента коллизии, проводят анализ принадлежности ее к команде. Отметкой команды для анализируемого отрезка траектории назначается наиболее часто встречающаяся отметка команды для всех объектов данной траектории (из набора «команда 1», «команда 2», «команда судей»). Т.е. анализ наиболее часто встречающейся отметки команды проводится только среди объектов с отметкой, отличной от «команда не определена».

Если в предполагаемой коллизии участвуют две траектории, классифицированные как траектории, принадлежащие разным командам, то они могут быть разделены на основе раздельной классификации траекторий до и после момента коллизии.

В случае если в коллизии участвуют более двух траекторий или они идентифицированы как относящиеся к одной команде, то для избежания возможных ошибок к траекториях-участниках коллизии может быть использован анализ направления движения изображений участников спортивного события в моменты времени до, после и в момент коллизии на основе обработки изображения, например, методом оптического потока.

Кроме того, для избежания возможных ошибок к траекториях-участниках коллизии может быть проведена обработка изображений, полученных из дополнительных видеоматериалов (например, телевизионная трансляция) в соответствующие коллизии моменты времени, что позволяет проанализировать дополнительные проекции изображений участников спортивного события, снятые с большим разрешением, на которых изображения участников могут быть разделены.

Также количество траекторий может быть уменьшено за счет идентификации участников спортивного события по номерам на их форме на основе технологий оптического распознавания и машинного обучения. Для всех сегментов, отмеченных как «идентифицируемые», производится анализ движения. Для этого среди отмеченных сегментов выбираются такие сегменты, для которых вектор перемещения соответствующих им объектов траекторий соответствует направлению движения «от камеры» (производится для каждой камеры). Это можно сделать, поскольку положение каждого объекта каждой траектории известно в мировой системе координат (в метрах), а также в этой же мировой системе координат известно положение всех камер системы (результат применения процедуры калибровки). Такое положение изображения участника на кадре обеспечивает наиболее благоприятные условия для распознавания номеров, поскольку наиболее крупное изображение номера на форме участника спортивного события обычно располагается на спине, а значит, указанная процедура позволяет обнаружить изображения номеров с наиболее удачного ракурса.

Вокруг каждого из отобранных сегментов определяется обрамляющий прямоугольник, заполняемый соответствующей областью исходного изображения, прошедшего высокочастотную фильтрацию.

Для полученного таким образом изображения участника производится проверка наличия на нем изображений цифр. Для этого полученное изображение участника поочередно сканируют набором разноразмерных окон, размер каждого из которых не превышает размера полученного изображения участника. Размеры окон из сканирующего набора выбираются априорно или вычисляются в зависимости от положения изображения участника на кадре видеопоследовательностей, таким образом, чтобы выбранные размеры окон соответствовали наиболее вероятному размеру изображения цифры на форме участника. Например, для сканирования могут быть использованы окна 8-ми размеров с инкрементным увеличением размера на 1 пиксель с каждой стороны окна (соотношение сторон сканирующего окна сохраняется).

Для каждого положения сканирующего окна каждого размера вычисляются значения признаков, выбранных для распознавания изображений цифр на этапе машинного обучения. Машинное обучение может быть произведено априорно по базе изображений цифр, характерных для данного вида спорта, шрифтов в начертании цифр на форме играющих команд, искажений, возникающих, например, вследствие движения участника в ходе матча, и т.д. Полученные значения признаков подаются на вход обученного алгоритма анализа указанных признаков каждому положению сканирующего окна каждого размера с определенной вероятностью ставится в соответствие цифра. Также допустим вариант, что на анализируемом изображении цифра отсутствует. В качестве распознанной цифры для данного положения данного сканирующего окна выбирается цифра с наибольшей вероятностью или выбирается вариант, что цифры нет.

Таким образом, для сканируемого изображения участника получают набор вероятных цифр (или их отсутствия), соответствующих различным частям сканируемого изображения участника. Полученный набор анализируют на предмет наличия цифр (например, если абсолютное большинство представителей набора «голосуют» за присутствие какой-либо цифры на изображении), на предмет количества цифр в номере и их итоговых значений (например, путем анализа двумерного вероятностного распределения значений представителей набора на соотношение величины пиков распределения и расстояния между ними).

Полученный таким образом номер участника спортивного события может быть дополнительно сопоставлен с базой данных о присутствии и отсутствии на поле игроков в анализируемом временном промежутке (информация из протокола матча), а также с информацией о принадлежности соответствующей траектории к одной из команд. Полученная информация позволяет провести дополнительную процедуру слияния отдельных траекторий на основании их принадлежности одному и тому же участнику спортивного события. Это позволяет снизить число «неизвестных» траекторий, предъявляемых для идентификации оператору в ручном режиме.

Кроме того, в течение всей обработки формируется ряд предупреждений оператору о необходимости верификации отдельных моментов матча, в тех случаях, когда принятие решения в автоматическом режиме невозможно или с высокой долей вероятности приведет к неверному результату, например: при коллизии более 2-х игроков или 2 участников одинаковых команд, при не возможности отнести участника игрового события к одной из команд, в случае не возможности определить номер участника, при окончании траектории в точках не принадлежащим зонам выхода с поля в моменты времени отличные от момента окончания игровых периодов, при возникновении новых траекторий в точках, не принадлежащим зонам входа на игровую площадку, в моменты времени отличные от момента начала игровых периодов и т.п.

Калибровку видеосистемы по внутренним и внешним параметрам осуществляют с использованием способа калибровки видеосистемы для контроля объектов на плоской площадке, включающий сканирование эталонных объектов в пространстве предметов каждой камерой видеосистемы таким образом, чтобы каждый отсканированный кадр содержал изображение по меньшей мере одного эталонного объекта, измерение положения точек изображения объекта для каждого эталонного объекта на отсканированных кадрах, определение внутренних параметров каждой камеры, при которых суммарное отклонение измеренных точек от их расчетного положения для всех отсканированных одной камерой кадров было минимальным, исправление нелинейных искажений в изображении на кадрах с каждой камеры посредством применения соответствующих внутренних параметров камеры, определение матрицы пересчета изображений, полученных камерами видеосистемы, в пространство предметов. При этом в качестве эталонного объекта в пространстве предметов выбирают прямолинейный объект, изображение которого находится на наименьшем расстоянии от центра кадра и имеет максимальную протяженность до периферии кадра, для измеренных точек изображения эталонного объекта определяют аппроксимирующую прямую, проведенную через по меньшей мере две измеренные точки изображения объекта, наиболее близко расположенных к центру кадра, для определения внутренних параметров каждой камеры минимизируют суммарное абсолютное отклонение положения измеренных точек изображения эталонного объекта от аппроксимирующей прямой, определяют взаимное положение элементов площадки посредством обработки ее изображения, определение матриц пересчета координат на изображениях, полученных камерами видеосистемы, в пространство предметов путем сопоставления положения не менее четырех точек, относящихся к элементам площадки, и соответствующих им точек на изображениях, полученных каждой из камер видеосистемы, после исправления присутствующих на них нелинейных искажений.

На первом этапе производят определение внутренних параметров каждой из камер видеосистемы для устранения нелинейных искажений в изображении площадки. На Фиг. 1 показано отклонение 1 прямого бортика игрового поля от прямой, вследствие нелинейных искажений объектива (дисторсия), и обозначен центр 2 кадра. Для этого фиксируют конфигурацию камер видеосистемы так, чтобы их внутренние параметры (фокусное расстояние, диафрагменное число и т.п.) оставались неизменными на всем протяжении процедуры калибровки, при этом изображение площадки было максимально четким на всей площади кадра. Взаимное расположение камер, их количество и положение относительно площадки зависят от конфигурации площадки, дистанции до нее и угла съемки. Для обработки кадров, полученных с камер видеосистемы, и выполнения необходимых алгоритмических процедур калибровки может быть использован компьютер с запоминающим устройством для хранения данных и соответствующим программным обеспечением, соединенный с камерами видеосистемы посредством линий связи с достаточной пропускной способностью для обмена изображениями необходимого разрешения и управления режимом захвата кадров. Конкретная конфигурация программного и аппаратного обеспечения, а также их архитектура могут отличаться от описанных выше с сохранением возможности управления режимами работы камер, съема кадров, их сохранения и обработки в соответствие со способом, раскрываемым в настоящем изобретении.

После фиксации внутренних параметров камер видеосистемы посредством ряда линейных смещений и разворотов камер относительно площадки производят сканирование прямолинейных элементов 3 разметки каждой из камер видеосистемы (Фиг. 2). В результате такого сканирования получают набор кадров, на каждом из которых есть как минимум одно изображение прямой линии 3, проходящей через центр 2 кадра и периферию кадра. В качестве таких линий при съемке, например, хоккейного матча могут быть выбраны изображения синих линий, отделяющих зоны защиты и нападения от центральной зоны и/или изображение прямолинейной части желтой отбойной планки.

Для изображения каждого прямолинейного объекта, удовлетворяющих описанным выше условиям, на отсканированных кадрах измеряют положение точек изображения, принадлежащих одной линии в пространстве предметов. Измерения могут быть получены посредством ручного выделения необходимого количества точек на изображениях оператором или посредством автоматизированного их выделения на базе алгоритмов распознавания изображений. Минимально необходимое количество точек - три, причем, по меньшей мере, две из них должны находиться на наименьшем, и остальные на наибольшем расстоянии от центра 2 кадра.

Для каждой такой линии находят аппроксимирующую прямую, проведенную, по меньшей мере, через две измеренные точки ее изображения, наиболее близко расположенные к центру 2 кадра.

Определяют суммарное абсолютное отклонение измеренных точек от соответствующей аппроксимирующей прямой. Посредством применения, например, алгоритмов оптимизации, подбирают такие внутренние параметры камеры (общие для всех отсканированных одной видеокамерой кадров), чтобы суммарное отклонение измеренных точек от соответствующих им аппроксимирующих линий для всех отсканированных одной камерой кадров было минимальным.

Для подбора внутренних параметров камеры и исправления дисторсии может быть использована, например, известная математическая модель [Описание параметров калибровки. Внутренние параметры камеры (модель камеры). http://www.vision.caltech.edu/bouguetj/calib_doc/htmls/parameters.html].

Измеренные координаты точек приводят в единичную плоскость:

где х¹, у¹ - абсциссы и ординаты точек в единичной плоскости соответственно, с_х, с_у - абсцисса и ордината центра дисторсии, ƒ_х, ƒ_у - отношение фокусного расстояния к размеру пикселя вдоль х и у соответственно.

Затем определяют величину искажений, вызванных радиальной и тангенсальной составляющими дисторсии, например, по следующим формулам [Описание параметров калибровки. Внутренние параметры камеры (модель камеры). http://www.vision.caltech.edu/bouguetj/calib_doc/htmls/parameters.html]:

где k_r - искажение, вызванное радиальной составляющей дисторсии, - квадрат расстояния от центра дисторсии до каждой из точек в единичной плоскости, k₁, k₂, k₃ - коэффициенты радиальной дисторсии.

где t_x, t_y - искажение абсциссы и ординаты точек в единичной плоскости, вызванное тангенсальной составляющей дисторсии.

Устраняют искажения, вызванные дисторсией, например, по соотношению:

где , - абсциссы и ординаты точек в единичной плоскости с исправленными искажениями.

Возвращают исправленные координаты из единичной плоскости в плоскость изображения:

Следует отметить, что поскольку модель дисторсии предполагает внесение искажений в единичной плоскости, то отношение фокусного расстояния к размеру пикселя ƒ_x, ƒ_y может быть выбрано произвольным, но близким к действительному.

В известном способе (US 9007463 B2) для подбора внутренних параметров камеры в качестве метрики для минимизации служит ошибка репроецирования калибровочных марок (калибровочной сетки). Т.е. координаты калибровочной сетки, известные в пространстве предметов с высокой точностью проецируются в плоскость кадра через подбираемые внутренние и внешние параметры камеры. К внутренним параметрам относится отношение фокусного расстояния, центр и коэффициенты дисторсии, к внешним - положение камеры относительно системы координат, в которой измерены известные координаты калибровочной сетки в пространстве предметов.

В раскрываемом изобретении при подборе внутренних параметров камеры внешние ее параметры не участвуют, поскольку шаблон из пространства предметов в пространство изображений не проецируют. Метрика никаким образом не связана с координатами объектов в пространстве предметов. Все вычисления проводятся только в пространстве изображений (модель существует только в этом пространстве). В качестве минимизирующей метрики здесь выступает отклонение изображения заведомо прямолинейного объекта от прямой, поскольку это отклонение (нелинейность в изображении объекта) вызвано наличием дисторсии изображающего объектива. В качестве модели используют прямую, проведенную через точки, наиболее близкие к центру кадра, т.к. в зоне, в которой влияние дисторсии пренебрежимо мало и построенная прямая является наиболее достоверной (наиболее приближена к положению, в котором находилось бы изображение прямолинейного объекта, если бы дисторсия объектива отсутствовала).

Исправляют нелинейные искажения в изображении площадки для всех кадров посредством найденных для соответствующих камер внутренних параметров.

Задачей второго этапа калибровки является определение коэффициентов пересчета системы координат, связанной с плоской площадкой и системами координат каждой из камер видеосистемы (Фиг. 3), т.е. определение матриц пересчета координат на изображениях, полученных камерами видеосистемы, в пространство предметов

Для этого сначала получают панорамный снимок 4 площадки, путем сканирования поверхности плоской площадки по меньшей мере одной камерой, исправления нелинейных искажений полученных кадров, и последующего соединения отсканированных кадров в единую панораму площадки.

Далее определяют взаимное положение элементов площадки посредством обработки ее изображения.

Несмотря на то, что расположение элементов разметки площадки без проведения дополнительных измерений обычно неизвестно, среди отдельных элементов разметки могут быть такие элементы, конфигурация которых строго регламентирована правилами использования площадки. Например, к таким элементам можно отнести ширину ворот и размеры штрафной площадки на футбольном поле, размеры ворот и конфигурация точек вбрасывания на хоккейной площадке и т.д.

Посредством обработки изображений определяют координаты изображений известных элементов разметки на панорамном снимке 4 и определяют такое преобразование системы координат панорамного снимка 4, которое преобразует координаты элементов на панорамном снимке 4 в систему координат, связанную с плоской площадкой. Для этого на основе алгоритмов оптимизации минимизируют абсолютное отклонение размеров известных элементов разметки от размеров их изображений на панорамном снимке 4, полученных после преобразования. Таким образом, определяют, например, матрицу томографии, которая обеспечивает пересчет координат площадки на панорамном снимке 4 таким образом, чтобы регламентированный размер элементов разметки в пространстве предметов совпадал с их размерами на изображении с точностью до масштабного множителя S, а следовательно, и взаимное положение элементов площадки становится известным.

Далее жестко фиксируют взаимное положение камер видеосистемы друг относительно друга и их положение относительно площадки. Зафиксированное положение должно при этом соответствовать положению видеосистемы, необходимому для съемки событий на плоской площадки в рабочем положении.

Измеряют положение не менее четырех точек 6 на панорамном изображении площадки и соответствующих им точек 6 на изображениях 7 площадки, полученных каждой из камер системы (после исправления присутствующих на них нелинейных искажений). Точки на панорамном изображении пересчитывают в систему координат площадки посредством найденной матрицы томографии и масштабного множителя S. Для каждой камеры определяют матрицу томографии, связывающую пересчитанные точки панорамного изображения и точки на изображении соответствующей камеры. Полученные таким образом матрицы томографии определяют внешние параметры камер, а именно их положение в системе координат площадки (мировая система координат) через пересчет координат на изображениях, полученных камерами видеосистемы, в пространство предметов.

В случае изменения взаимного расположения камер видеосистемы или изменения положения видеосистемы относительно мировой системы координат достаточно найти новые соответствия между точками на кадрах с камер в новом положении и панорамным кадром, после чего повторить расчет матриц томографии отдельных камер. Поиск таких соответствий может быть произволен как в ручном, так и в автоматическом режиме программным обеспечением, установленном на обрабатывающем компьютере.

В результате применения заявляемого способа удается оценить фокусное расстояние, центр поля зрения, коэффициенты дисторсии, а также коэффициенты томографии камер. После чего откалиброванная видеосистема готова к осуществлению контроля положения объектов на площадке.

Таким образом, описанный способ калибровки не требует проведения трудоемких операций по предварительным замерам площадки нанесенной на нее разметки, не требует расстановки специальных калибровочных маркеров на плоскую площадку и обеспечивает удобный способ калибровки, в том числе варифокальных видеосистем с перестраиваемой конфигурацией.

В результате проведения вышеуказанных процедур обработки видеопоследовательностей автоматически формируют отчет о перемещениях каждого участника спортивного события во время матча, что позволяет оптимизировать эффективность действий команды в целом. Отчет содержит информацию о вычисленных координатах пространственного положения участников спортивного события на игровом поле в мировой системе координат (привязанной к площадке игрового поля), привязанные к игровому хронометражу. Отчет с отметками о предупреждениях, привязанных к определенным точкам траекторий, предъявляется оператору для внесения корректировок в ручном режиме в случае наличия таких предупреждений.

Таким образом, удается уменьшить количество ошибок как при выделении участников матча на игровом поле, так и при сопоставлении отдельных изображений участников матча с выявленными траекториями, что, в конечном счете, приводит к уменьшению количества корректировок, требуемых от оператора.