ЗВУКОВЫЕ РАСШИРЕНИЯ ДЛЯ МЕДИЦИНСКИХ СИСТЕМ

Настоящее изобретение в целом относится к компьютерным пользовательским интерфейсам. Оно находит особое применение в сочетании с медицинскими системами и будет описано с конкретной ссылкой на них. Однако следует понимать, что оно также находит применение в других сценариях использования и не обязательно ограничивается указанным выше применением.

С появлением технологий и широкополосных каналов доставки данных и приложений, квалифицированные конечные пользователи в доменах с интенсивным обменом данными все больше полагаются на различные инструменты и способы визуализации и количественной оценки для того, чтобы эффективно ориентироваться в данных и интерпретировать их. Например, современные инструменты и способы рентгенологического исследования обеспечивают высокий уровень детализации и открывают новые возможности для того, чтобы обработать и охарактеризовать данные изображений. При интенсивной терапии и реанимации, перегрузка информацией может замаскировать важные оповещения или замедлить время реакции на дающие основания для действий индикаторы. Однако, в типичной клинической обстановке, рентгенологу, как правило, не хватает времени. Интервенционный рентгенолог стремится оптимизировать всю информацию для наиболее эффективного выполнения процедуры и результата. При интенсивной терапии и реанимации, своевременное выявление и установление приоритетов входящей информации играет существенную роль для клинического персонала. Когда врачи перегружены информацией, могут быть потеряны возможности использования передовых количественных оценок в их обычном рабочем процессе. Способы и технологии, которые могут улучшить восприятие врача, предоставляя количественную информацию удобным и подходящим образом, будут иметь большое значение для области. В качестве другого примера, в других областях, таких как метеорология и астрономия, а так же эксперты полагаются на анализ и представление данных.

В контексте нейродегенеративных нарушений, быстрое и точное сегментирование нескольких структур головного мозга можно применить к пациентам и сравнить с стандартным набором данных. Стандартный набор данных может содержать информацию, относящуюся к объему и форме здоровых пациентов в контрольной группе, но не ограничивается ей. Комплементарные к объему структуры, поверхности, представляющие различные структуры мозга, можно использовать для описания геометрии внешнего вида структур. Это позволяет быстро рассчитать морфометрические статистические данные, необходимые для объективного количественного сравнения и диагностики. Программное обеспечение системы для быстрой объемной сегментации областей мозга в сочетании с стандартным набором данных обеспечивает: 1) способность идентифицировать конкретные структурные аномалии; 2) продолжительный контроль изменений; 3) улучшение дифференциальной диагностики; и/или 4) контроль результатов лечения или выздоровления. Однако эта информация должна быть действенно представлена врачу посредством включения ее в его нормальный рабочий процесс без ущерба для продуктивности. Наличие отдельной автономной системы количественной оценки, которая представляет печатные отчеты, часто не целесообразно и привносит препятствие в стандартный рабочий процесс.

Помимо квалифицированных пользователей, неквалифицированные пользователи все чаще подвергаются воздействию информации, передаваемой по различным каналам, таким как управление по GPS во время вождения и уведомления от смартфона (например, электронная почта, новости, звонки и т.д.). Кроме того, неспециалисты все чаще взаимодействуют с этими системами через голосовые команды, ручное управление и так далее. Даже в более непринужденной обстановке, как просмотр телевизора, пользователи получают все больше и больше информации для обдумывания, так как расширяются существующие возможности. Например, даже во время просмотра телевизора, пользователи все чаще подвергаются воздействию информации для того, чтобы они искали новые программы, управляли записями цифрового видеомагнитофона (DVR), посещали веб-сайты и сервисы или получали доступ к запрашиваемому потоковому контенту.

Одним из потенциальных средств для расширения каналов доставки информации до конечного пользователя является использование альтернативных и/или взаимодополняющих чувств, такого как слух. Как правило, квалифицированные пользователи, которые сталкиваются с проблемой интерпретации огромного количества визуальных данных, работают в средах (например, в операционных, кабинетах для рентгенологического исследования и т.д.), где должно быть легко добавить звуковые сигналы к доставляемым изображениям и аннотациям изображений. Кроме того, неквалифицированные пользователи, как правило, уже принимают аудио уведомления по какому-либо каналу (например, указания GPS, уведомления от смартфона и т.д.).

Использование аудио может обогатить компьютерные пользовательские интерфейсы (ПИ) на различных уровнях. На самом высоком уровне, люди воспринимают звук или тишину. Звук классифицируется как звуки речи или неречевые звуки. Музыка является одной из наиболее конкретных неречевых звуковых групп. Молчание можно использовать также эффективно, как звук, чтобы отметить границы, указать состояние, или устанавливать предел выявления (т.е., намеренно не включая аудиокомпонент объекта для того, чтобы достичь измененного восприятия его мощности и состояния). Большинство подходов к звуковому расширению реализованы как слуховые иконки и краткие, отличительные звуки. С помощью слуховых иконок, реалистичные или абстрактные звуки отображаются на события и взаимодействия с объектами в пользовательском интерфейсе. Слуховые иконки являются узнаваемыми звуками, знакомыми по опыту и используются для идентификации источника звука. Их можно использовать в качестве прямых представлений свойств объекта, но также и в качестве абстрактных или полу-абстрактных отображений. Краткие, отличительные звуки не являются, как правило, естественными звуками. Краткие, отличительные звуки строятся из простых компонентов и/или мотивов и используются для построения структурированных наборов звуков (например, иерархических лестниц), которые отображаются в конкретном аспекте ПИ.

Патент США № 4818938 Satin и др. раскрывает подход к звуковому расширению для медицинской визуализации. Генерируются два представления изображения внутренней области субъекта. Одно из представлений изображения отображается, а другое представление изображения используется для модуляции аудиоиконки.

В патенте США 2012/0143029 А1 раскрывается система наведения для оказания помощи при введении иглы в телу пациента. Система наведения использует систему ультразвуковой визуализации или другую подходящую технологию визуализации. В одном варианте осуществления система наведения содержит устройство формирования изображений, включающее в себя зонд для формирования изображения цели во внутренней части тела, такой как сосуд. Один или более датчиков входят в состав зонда. Датчики определяют выявляемую характеристику, связанную с иглой, такую, как магнитное поле магнита, входящего в состав иглы. Система включает в себя процессор, который использует данные, относящиеся к измеренной характеристике, чтобы определить 3-D положение иглы. Система включает в себя дисплей для отображения положения иглы. В других вариантах осуществления раскрывается система наведения для направления негнущихся или других медицинских инструментов, вместе с различными примерами их реализации.

Настоящая заявка предлагает новую и улучшенную систему и способ, которые преодолевают вышеупомянутые и другие проблемы.

В соответствии с одним аспектом, предлагается медицинская система. Медицинская система включает в себя, по меньшей мере, один процессор, запрограммированный с возможностью принимать персонифицированные данные пациента. Персонифицированные данные включают в себя, по меньшей мере, одно из: 1) данные изображения и/или данные картирования; и 2) физиологические данные. По меньшей мере, один процессор дополнительно запрограммирован для того, чтобы визуального отображать, по меньшей мере, часть из персонифицированных данных пользователю медицинской системы на мониторе, и модулировать сигнал для передачи данных пользователю, используя чувство, отличное от зрения. Сигнал модулируется на основе, по меньшей мере, одного из: первого параметра, извлеченного из персонифицированных данных; и положения: 1) отображаемого среза изображения и/или персонифицированных данных картирования; или 2) устройства внутри пациента.

В соответствии с другим аспектом, предлагается медицинский способ. Медицинский способ включает в себя прием персонифицированных данных пациента. Персонифицированные данные включают в себя, по меньшей мере, одно из: 1) данные изображения и/или данные картирования; и 2) физиологические данные. Кроме того, способ включает в себя визуальное отображение, по меньшей мере, некоторых из персонифицированных данных пользователю медицинской системы на мониторе и модуляцию сигнала для передачи данных пользователю, используя чувство, отличное от зрения. Сигнал модулируется на основе, по меньшей мере, одного из: первого параметра, извлеченного из персонифицированных данных; и положения: 1) отображаемого среза изображения и/или персонифицированных данных картирования; или 2) устройства внутри пациента.

Одно из преимуществ заключается в повышении эффективности визуализации и доставки информации.

Еще одно преимущество заключается в уменьшенной необходимости переноса акцентирования внимания из режима визуального восприятия в другой режим (например, интерпретации численных или других количественных или визуальных результатов).

Еще одно преимущество заключается в дополнительном канале для доставки оповещений и других индикаторов.

Еще одно преимущество заключается в эффективном инструменте для быстрого установления приоритетов подмножеств данных.

Другое преимущество заключается в механизме безопасности, который обеспечивает активность пользователя (например, в случаях заваливания данными и/или усталости органа чувства пользователя).

Другое преимущество состоит в новом пользовательском интерфейсе.

Другие дополнительные аспекты настоящего изобретения будут понятны специалистам в данной области после прочтения и восприняты из следующего подробного описания.

Изобретение может принимать форму в виде различных компонент и вариантах сочетания компонент, а также в виде различных этапов и компоновок этапов. Чертежи имеют целью только проиллюстрировать предпочтительные варианты осуществления и не должны толковаться как ограничивающие данное изобретение.

На фиг.1 показана система сенсорного генератора.

На фиг.2 показано определение шаблона, основанного на частотной модуляции (ЧМ).

На фиг.3 показано определение шаблона, основанного на синусоидальном сигнале.

На фиг.4 показано определение шаблона, основанного на ЧМ.

На фиг.5 показано определение шаблона, основанного на синусоидальном сигнале.

На фиг.6 показано определение огибающей.

На фиг.7 показано определение правила передачи плотности.

На фиг.8 показано определение правила передачи изменения положения.

На фиг.9 показана медицинская система, расширенная с помощью системы сенсорного генератора, показанного на фиг.1.

На фиг.10 показаны расширения в приложениях для рентгенологического исследования для передачи данных, относящихся к изображениям и/или картам.

На фиг.11 показан псевдокод, определенным образом создающий экземпляр правила, показанного на фиг.7.

На фиг.12 показан псевдокод, в котором создаются экземпляры всех правил и шаблонов, которые соответствуют текущему контексту.

На фиг.13 показано сегментированное изображение и/или карта мозга.

На фиг.14 показан псевдокод, создающий экземпляры правил, указывающих изменения положения.

На фиг.15 показано изменение тона через изменение положения изображения и/или карты.

На фиг.16 показана флюороскопическая рентгеновская проекция.

На фиг.17 показано изображение и/или карта мультисрезовой компьютерной томографии (МСКТ).

На фиг.18 показано представление поверхности из деформируемой модели мозга.

На фиг.19 показана деформируемая модель мозга, адаптированная к мозгу пациента.

На фиг.20 показана блок-схема для передачи на слух расхождений между структурами мозга пациента и стандартными структурами мозга.

На фиг.21 показана медицинская система, расширенная с помощью системы сенсорного генератора, показанного на фиг.1.

Медицинские системы традиционно взаимодействуют с пользователями с помощью зрения. Настоящее приложение расширяет медицинские системы посредством использования еще одного чувства, такого как слух, вкус, запах или осязание для того, чтобы взаимодействовать с пользователями. Например, при отображении изображений и/или карт пациентов пользователям, данные, относящиеся к отображаемым изображениям и/или картам, представляются пользователям с использованием еще одного чувства, такого как слух и/или осязание. Эти данные включают в себя, например, оповещения, пространственную ориентацию изображений и/или карт, свойства соответствующих частей изображений и/или карт, свойства данных, которые визуально не доступны для пользователя (например, нейронные субстраты, метаболиты, и т.д.), данные, подкрепляющие действия пользователя в определенном контексте, отклонения от стандартных наборов данных, и так далее.

Обратимся к фиг.1, предлагается система 10 сенсорной генерации для расширения медицинских систем. Система 10 сенсорной генерации генерирует сенсорные сигналы, такие как звуковые сигналы, для пользователей системы 10 сенсорной генерации. Сенсорные сигналы являются сигналами для управления устройствами, обращающимися к чувствам, таким как слух, вкус, обоняние, зрение и осязание. Такие устройства включают в себя, например, тактильное устройство 12, звуковое устройство 14 (например, динамик), и т.п.

Система 10 сенсорной генерации включает в себя запоминающее устройство 16, включающее в себя базу данных 18 шаблонов. База данных 18 шаблонов включает в себя один или несколько шаблонов для генерации сенсорных сигналов. Каждый из шаблонов включает в себя параметры, определяющие сигнал. Кроме того, каждый из шаблонов можно снабдить примечаниями с метаданными для определения типов данных, с которыми шаблон может взаимодействовать, и/или для наилучшего соответствия и идентификации шаблонов из правил, которые обсуждаются ниже.

Каждый из шаблонов дополнительно определяет тип сигнала, к которому относятся параметры. Типы сигналов включают в себя, например, частотную модуляцию (ЧМ), синусоидальный сигнал и так далее. Типы сигналов генерируются посредством множества различных модулей 20 программного обеспечения генератора, таких как модуль 22 ЧМ, модуль 24 синуса, DIRSOUND модуль 26 и SineFromTo модуль 28. Таким образом, каждый шаблон может, например, идентифицировать тип сигнала с помощью связывания с одним из модулей генератора 20.

Обратимся к фиг.2, показан пример определения шаблона, основанного на частотной модуляции (ЧМ), называемого далее как ЧМ. ЧМ включает в себя связывание с модулем 22 ЧМ, множество параметров для управления модулем 22 ЧМ и метаданные. Кроме того, ЧМ включает в себя шаблон сигнала модуляции, который указывает на другой шаблон AudioPattern, а также параметр огибающей. Пример определения AudioPattern показан на фиг.3. AudioPattern включает в себя связывание с модулем 24 синуса, множество параметров для управления модулем 24 синуса и метаданные. Кроме того, AudioPattern включает в себя параметр огибающей.

Обратимся к фиг.4, показан пример определения шаблона, основанного на ЧМ, называемого далее как DIRSOUND. DIRSOUND включает в себя связывание с модулем 26 DIRSOUND, множество параметров для управления модулем 26 DIRSOUND и метаданные. Кроме того, DIRSOUND включает в себя шаблон сигнала модуляции, который указывает на другой шаблон Sine, а также параметр огибающей. Пример определения Sine показан на фиг.5. Sine содержит связывание с модулем 28 SineFromTo, множество параметров для управления модулем 28 SineFromTo и метаданные. Кроме того, Sign включает в себя параметр огибающей.

Принимая во внимание примеры на фиг.2-5, параметры шаблонов могут указывать на другие шаблоны и/или определять огибающие. Огибающая может быть описана с помощью последовательности пар значений (x, y) для описания двумерной (2D) кривой в пространстве квадрата со стороной 0-1. Сгенерированный звук затем огибается с помощью этой кривой. Пример определения огибающей описывается на фиг.6.

Обратимся снова к фиг.1, запоминающее устройство 16 дополнительно включает в себя базу данных 30 правил. База данных 30 правил включает в себя одно или несколько правил связывания событий, таких как события приложения и/или интерфейсные события, с шаблонами. Правилами управляет текущий контекст приложения. Каждое из правил определяет событие и шаблон для связывания с событием. Кроме того, правило включает в себя один или несколько параметров, необходимых для создания шаблона. Также предполагается, что правило может включать в себя параметры определения цикла для шаблона.

Обратимся к фиг.7, показан пример определения правила, называемого далее как AudioDensityMouseDown. AudioDensityMouseDown опирается на примеры, показанные на фиг.2 и 3. AudioDensityMouseDown определяется для события MouseDown и определяет параметры для создания экземпляра ЧМ, причем каждый параметр является общедоступным или защищенным. Кроме того, параметр значения модуляции AudioDensityMouseDown полагается равным параметру плотности, который должен предоставляться для того, чтобы выполнить правило.

Обратимся к фиг.8, показан пример определения правила, называемого далее как AudioDirectionChangeX. AudioDirectionChangeX опирается на примеры, показанные на фиг.4 и 5. AudioDirectionChangeX определяется для события Pos_Change (т.е., изменение положения) и определяет параметры для создания экземпляра DIRSOUND, причем каждый параметр является общедоступным или защищенным. Кроме того, параметр DIR_CHANGE из AudioDirectionChangeX полагается равным разнице между newCoordinate и oldCoordinate.

Принимая во внимание примеры на фиг.7 и 8, правила могут включать в себя различные типы параметров, такие как параметры модификаторов доступа public и protected. Все значения параметров с модификаторами доступа public должны предоставляться для того, чтобы применить правило, а параметры с модификаторами доступа protected выводятся из контекста вызова правила и/или параметров с модификаторами доступа public. Кроме того, параметры правил могут быть установлены на основании внешних параметров. Например, на примере, показанном на фиг.7, плотность является внешним параметром. В качестве другого примера, на примере, показанном на фиг.8, newCoordinate и oldCoordinate являются внешними параметрами.

Основываясь на предыдущем определении правила, также предполагается, что правило может определять событие и один или несколько шаблонов для связывания с событием. Шаблоны можно заказывать последовательно, а можно также в цикле. Кроме того, для каждого шаблона правила, правило включает в себя один или несколько параметров, необходимых для создания экземпляра шаблона. Таким образом, правило может, в общем, быть определено как:

где Event идентифицирует событие правила, N>0; и каждое определение i (0<i<(N+1)) шаблона идентифицирует шаблон и определяет параметры для создания экземпляра шаблона.

Обратимся снова к фиг.1, система 10 сенсорного генератора дополнительно включает в себя, по меньшей мере, один процессор 32 и, по меньшей мере, память 34 для хранения программ. Память 34 для хранения программ включает в себя исполняемые процессором инструкции, которые выполняются процессором 32. Система 10 сенсорного генератора дополнительно включает в себя коммуникационный интерфейс 36 и, по меньшей мере, одну системную шину 38. Коммуникационный интерфейс 36 позволяет процессору 32 взаимодействовать с внешними устройствами и/или системами, такими как звуковое устройство 14 и тактильное устройство 12. Системная шина 38 соединяет процессор 32, память 34 для хранения программ, запоминающее устройство 16 и коммуникационный интерфейс 36.

Исполняемые процессором инструкции включают в себя исполняемые процессором инструкции, реализуя модули 20 программного обеспечения генератора. Кроме того, исполняемые процессором инструкции включают в себя обработчик 40 правил. Обработчик 40 правил принимает данные события от внешних систем, генерируемых в ответ на триггерные события, и исполняет соответствующие правила из базы 30 данных правил. Данные события включают в себя требуемые данные, необходимые для выполнения соответствующих правил. Например, данные события включают в себя значения внешних параметров и/или контекст триггерного события.

Обратимся к фиг.9, и продолжим обращаться к фиг.1, предлагается медицинская система 50, расширенная с помощью системы 10 сенсорного генератора. Медицинская система 50 включает в себя систему 52 формирования изображений для генерации одного или нескольких изображений и/или карт части тела пациента. Каждое из изображений и/или карт описывает, по меньшей мере, одно свойство части тела, такое как плотность. Кроме того, каждое из изображений и/или карт, как правило, является трехмерным (3D) и обычно хранится в памяти 54 для хранения изображений и/или карт медицинской системы 50.

Система 52 формирования изображений генерирует изображения и/или карты, используя один или несколько методов формирования изображений, таких как компьютерная томография (КТ), позитронно-эмиссионная томография (ПЭТ), магнитный резонанс (МР), магнитно-резонансная спектроскопия (МРС), однофотонная эмиссионная компьютерная томография (ОФЭКТ), конусно-лучевая компьютерная томография (КЛКТ) и т.п. Таким образом, система 52 формирования изображений включает в себя один или несколько сканеров 56, соответствующих методам формирования изображений, а также одну или несколько систем серверного уровня (не показаны), собирающих необработанные данные изображений от сканеров и реконструирующих необработанные данные изображений в изображения и/или карты. Как показано, система 52 формирования изображений генерирует изображения и/или карты с помощью, по меньшей мере, КТ и включает в себя компьютерный томограф 56.

Система 58 обработки изображений и/или карт медицинской системы 10 позволяет пользователю анализировать изображения и/или карты с помощью одного или нескольких программных средств 60. Изображения и/или карты, как правило, принимаются от системы 52 формирования изображений и, как правило, принимаются посредством памяти 54 для хранения изображений и/или карт.

Система 58 обработки изображений и/или карт включает в себя, по меньшей мере, один процессор 62 и, по меньшей мере, одну память 64 для хранения программ, причем память 64 для хранения программ включает в себя исполняемые процессором инструкции, которые выполняются процессором 62. Система 58 обработки изображений и/или карт дополнительно включает в себя коммуникационный интерфейс 66 и, по меньшей мере, одну системную шину 68. Коммуникационный интерфейс 66 позволяет процессору 62 взаимодействовать с внешними устройствами и/или системами. Системная шина 68 соединяет процессор 62, память 64 для хранения программ и коммуникационный интерфейс 66.

Исполняемые процессором инструкции воплощают программные средства 60. Каждое из программных средств 60 взаимодействует с пользователем с помощью графического интерфейса пользователя (ГИП). ГИП позволяет пользователю управлять и/или иным образом взаимодействовать со средством. Графический интерфейс пользователя отображает пользователю графические элементы, такие как иконки, окна, меню и так далее, на устройство 70 отображения. Графический интерфейс пользователя дополнительно позволяет пользователю манипулировать и/или иным образом взаимодействовать с графическими элементами для того, чтобы управлять и/или иным образом взаимодействовать со средством, используя пользовательское устройство 72 ввода.

Программные средства 60 могут сегментировать изображения и/или карты для того, чтобы определить границы соответствующих структур. Сегментация может быть выполнена автоматически и/или вручную. В отношении автоматической сегментации, процедура сегментации используется для определения границ структур в пределах изображения и/или карты. Процедура сегментации может быть одной из любого числа известных процедур сегментации, такой как модель или атлас, базирующийся на процедуре сегментации. В отношении ручной сегментации изображение и/или карта отображается пользователю на устройстве 70 отображения. Затем пользователь использует пользовательское устройство 72 ввода для того, чтобы определить границы структур в пределах изображения и/или карты.

Также предполагается, что сегментация может быть выполнена с использованием комбинации автоматической и ручной сегментации. А именно, границы структур в пределах изображения и/или карты могут быть автоматически определены. Автоматически выявленные границы затем могут отображаться пользователю, накладываться, необязательно, на изображение и/или карту, с помощью устройства 70 отображения и пользователь может изменять автоматически выявленные границы, по мере необходимости, с помощью пользовательского устройства 72 ввода.

Программные средства 60 также могут отображать изображения и/или карты пользователю на устройство 70 отображения. Для 3D-изображений и/или карт, как правило, отображаются только выбранные 2D срезы изображений и/или карт. В некоторых вариантах осуществления границы структур, выявленные на изображениях и/или картах посредством сегментации, могут быть подсвечены на изображениях и/или картах путем наложения контурных линий на изображения и/или карты. Пользователь может дополнительно манипулировать изображениями и/или картами с помощью пользовательского устройства 72 ввода. Например, пользователь может использовать пользовательское устройство 72 ввода для выбора отображаемого среза 3D-изображения сердца пациента.

Программные средства 60 могут также осуществлять функции вмешательства. Функции могут включать в себя планирование траектории стержня или иглы, такой как катетер, от точки входа на поверхности пациента к цели внутри пациента, используя изображения и/или карты, полученные из предварительной процедуры. Кроме того, функции вмешательства могут включать в себя контроль траектории стержня или иглы в режиме реального времени во время вмешательства с использованием, например, системы 52 формирования изображений. Более того, функции вмешательства могут включать в себя отображение текущей траектории и, необязательно, намеченной траектории, накладываемой на изображение и/или карту, полученную из предварительной процедуры. Кроме того, функции вмешательства могут включать в себя отображение инструкций для навигации стержня или иглы по намеченной траектории.

Программные средства 60 также могут определять и отображать количественные значения для выбранных областей отображаемых изображений и/или карт из изображений и/или карт и/или дополнительных данных 74, принятых от внешних источников. Например, значения плотности для выбранных областей отображаемого изображения и/или карты могут быть определены из соответствующего изображения и/или карты плотности и отображены. В качестве другого примера, могут определяться и отображаться расхождения между параметром, таким как объем выбранной области мозга пациента и соответствующим параметром для стандартной модели головного мозга.

Система 10 сенсорного генератора расширяет медицинскую систему 50, добавляя один или несколько дополнительных сенсорных каналов, с помощью которых можно взаимодействовать с пользователем системы 58 обработки изображений и/или карт. А именно, система 58 обработки изображений и/или карт взаимодействует с пользователем с помощью зрения. Система 10 сенсорного генератора использует одно или несколько дополнительных чувств, таких как слух и/или осязание для того, чтобы передать дополнительную информацию. Система 10 сенсорного генератора вызывается системой 58 обработки изображений и/или карт через модификацию программных средств 60 для генерации данных события для системы 10 сенсорного генератора.

В соответствии с одним с расширением, для того, чтобы передать данные, относящиеся к отображаемым изображениям и/или картам, добавляется дополнительный сенсорный канал. Концептуально это показано на фиг.10 в приложении для рентгенологического исследования, в котором расширение добавляется к существующим модулям для отображения изображений и/или карт. Данные включают в себя, например, оповещения, пространственную ориентацию изображений и/или карт, свойства соответствующих частей изображений и/или карт, свойства данных, которые визуально не доступны для пользователя (например, нейронные субстраты, метаболиты и т.д.), данные, подкрепляющие действия пользователя в определенном контексте, отклонения от стандартных изображений и/или карт, отклонения от моделей шаблонов, данные, полученные из невизуализирующих исследований и так далее.

Эти данные могут быть получены и/или иным способом выведены из одного или нескольких из следующего: 1) изображений и/или карт; и 2) дополнительных данных 74, таких как стандартные изображения и/или карты, моделей шаблонов, данных от не визуализирующих исследований и так далее. Кроме того, данные получают и/или иным способом выводят с помощью системы 58 обработки изображений и/или карт, например, с использованием программных средств 60.

В качестве примера, количественные данные, такие как плотность, различных областей изображения и/или карты, отображаемой с использованием системы 58 обработки изображений и/или карт, могут быть переданы на слух. Чтобы сделать это, один или несколько шаблонов добавляются в базу 18 данных шаблонов и снабжаются примечаниями для того, чтобы на слух представить количественные данные. Например, шаблоны, показанные на фиг.2 и 3, добавляются в базу 18 данных шаблонов. Затем в базу данных 30 правил добавляется правило для настройки экземпляра из шаблонов на основе количественного значения. Например, можно использовать правило, показанное на фиг.7. Правило, показанное на фиг.7, модулирует основную частоту, используя плотность. Правило дополнительно сконфигурировано для некоторых типов событий, таких как событие MouseDown, с возможностью отслеживания которого выполнена система 58 обработки изображений и/или карт.

В ответ на событие, соответствующее правилу для одной из различных областей, система 10 сенсорного генератора правил принимает данные события, в том числе количественное значение для области, от системы 58 обработки изображений и/или карт. Обработчик 40 правил исполняет правило для генерации звукового сигнала, соответствующего количественному значению события. Псевдокод, показанный на фиг.11 и 12, может, например, использоваться ГИП программных средств 60 для генерации данных события. На фиг.11 показан пример специально создающий экземпляр правила, показанного на фиг.7. На фиг.12 показан пример, в котором создаются экземпляры всех правил и шаблонов, которые соответствуют текущему контексту. Это включает в себя предоставление координат и других локальных данных для создания экземпляра любых правил, которые соответствуют.

В качестве еще одного примера, предположим, что систем 58 обработки изображений и/или карт используется для отображения сегментированного изображения и/или карты головного мозга, как показано на фиг.13. Сегментированное изображение и/или карта включает в себя три контура, контур 1, контур 2 и контур 3, соответствующие трем различных областям мозга. Учитывая образцовую модель мозга, степень расхождения различных областей с образцовой моделью мозга может быть передана на слух, с помощью использования системы 10 сенсорного генератора. Так же как и выше, определяются один или несколько шаблонов и правило. Правило конфигурирует экземпляр из шаблонов на основе степени расхождения. В ответ на событие, соответствующее правилу в пределах областей, обработчик 40 правил исполняет правило для генерации звукового сигнала, соответствующего степени расхождения. Как показано на фиг.13, степени расхождения трех различных областей различны, тем самым производя три различных звуковых сигнала.

В качестве другого примера, количество нейрохимических метаболитов может быть передано через дополнительный сенсорный канал. МРС является единственным методом визуализации, который может предоставить информацию о внутриклеточной функции и нейрохимическом составе in vivo без использования ионизирующего излучения. Это показывает перспективу в отношении способа формирования изображения, чувствительного к выявлению последствий различных нейродегенеративных нарушений (например, болезни Альцгеймера, травматического повреждения мозга и т.д.), включающих изменения нейронной целостности (например, сниженные уровни N-ацетиласпартата - аминокислоты, синтезируемой в митохондрии, который уменьшается при потери или дисфункции нейронов и аксонов), энергетического метаболизма мозга (например, метаболизма креатина) и целостности/синтеза/репарации мембран (например, холина - в основном состоящего из фосфорилхолина и глицерофосфорилхолина).

Система 10 сенсорного генератора может использоваться, через определение соответствующих правил и шаблонов, для модуляции звуковых сигналов с тем, чтобы представить количество нейрохимических метаболитов внутри выбранного спектроскопического воксела и/или области изображения. Количество нейрохимических метаболитов может быть определено из изображения и/или карты МРС и выбор может быть выполнен, например, посредством перемещения курсора мыши или щелчка, по вокселу и/или по области изображения на изображении и/или карте, отображаемой системой 58 обработки изображений и/или карт.

В качестве другого примера, целостность ткани может быть передана через дополнительный сенсорный канал. Диффузионно-тензорная магнитно-резонансная томография (DTI) использует свойства диффузии воды для предоставления информации о геометрии и целостности мозговой ткани. Он основан на том принципе, что молекулы воды диффундируют вдоль главных направлений ее соответствующих проводящих путей. Диффузия может быть представлена с помощью тензора с центром в вокселе на 3D изображении и/или карте. Тензор описывает локальную скорость диффузии и может быть визуализирован в виде эллипсоида. В результате воксели вдоль общих путей волокна образуют «линии диффузии» (также называемые путями), если смотреть вдоль длинной оси их отдельно взятых тензоров. Трактография DTI это способ обработки изображений, который отыскивает такие эллипсоида вдоль их длинной оси, исходя из определенного пользователем положения.

Система 10 сенсорного генератора может использоваться, через определение соответствующих правил и шаблонов, для модуляции звуковых сигналов в зависимости от диффузии выбранных путей и их сходства с стандартными наборами данных. Выбор может быть выполнен, например, посредством перемещения курсора мыши или щелчка по путям на вокселе и/или области изображения на изображении и/или карте, отображаемой системой 58 обработки изображений и/или карт. Это может сыграть важную роль в ранней диагностике и продолжительном наблюдении страдающих пациентов, по мере того, как болезнь прогрессирует или излечивается благодаря вмешательству.

В качестве еще одного примера, функциональное нарушение может быть передано через дополнительный сенсорный канал. Функциональная МРТ (фМРТ) является вариантом МРТ, который использует тот факт, что окисленный гемоглобин и дезоксигемоглобин обладают различными магнитными свойствами и это приводит к различным значениям интенсивности МР сигнала. Задачи, которые увеличивают регионарную активность мозга и, в конечном счете, регионарный кровоток, могут контролироваться через сканер. Последующие изменения в отношении оксигенированной к деоксигенированной крови можно использовать для генерации изображений обменной активности, связанной с задачей. Этот способ был использован для изучения когнитивных функций у лиц с нейродегенеративными нарушениями.

Система 10 сенсорного генератора может использоваться, через определение соответствующих правил и шаблонов, для модуляции звуковых сигналов в зависимости от отношения оксигенированной к деоксигенированной крови внутри выбранной области мозга. Выбор может быть выполнен, например, посредством перемещения курсора мыши или щелчка, по области мозга на изображении и/или карте, отображаемой системой 58 обработки изображений и/или карт.

В соответствии с другим расширением, дополнительный сенсорный канал добавляется для передачи расхождений между различными во времени изображениями и/или картами, такими как более раннее опорное изображение и/или карта и текущее изображение и/или карта. Такие расхождения могут включать в себя, например, расхождения в объеме или площади воксела и/или области, такой как узелок. Для сравнения вокселей и/или областей на различных изображениях и/или картах, соответственно используется программа регистрации. Программные средства 60 соответственно определяют расхождения.

В качестве примера, два изображения I₁ и I₂ части тела пациента получены в промежуток времени в 1 год. Система 10 сенсорного генератора может использоваться, через определение соответствующих правил и шаблонов, для модуляции звуковых сигналов в зависимости от изменения объема или площади в настоящее время по сравнению с 1 годом ранее в выбранном регионе, подобном узелку или другой особенности. Повышенный тон, например, может соответствовать увеличению объема или площади, а пониженный тон уменьшению объема или площади.

В соответствии с другим расширением, дополнительный сенсорный канал добавляется для облегчения навигации по отображаемым изображениям и/или картам. Дополнительное сенсорный канал можно использовать для того, чтобы указать: 1) атрибут навигации во время навигации по изображению и/или карте, такой как направление движения; или 2) изменение атрибута навигации во время во время навигации по изображению и/или карте, такое как изменение направления. Программные средства 60 соответственно определяют атрибуты навигации и/или изменения.

Например, рассмотрим 3D изображения и/или карты, такое как 3D-изображение и/или карта головного мозга, отображаемое с использованием системы 58 обработки изображений и/или карт. Как указано выше, для 3D-изображений и/или карт, как правило, отображаются только выбранные 2D срезы изображений и/или карт. Двумерная природа отображаемых срезов может привести к увеличению необходимости проверки и подтверждения того, что направление движения через 3D-изображения и/или карты происходит в заданном направлении. Как правило, это осуществляется через ссылку на визуализацию указателей местоположения на устройстве 70 отображения. Однако это может быть трудно с помощью уже перегруженного сенсорного канала. Слуховое расширение можно использовать для указания направления навигации через 3D изображение и/или карту и снятия этой трудности.

Для реализации такого слухового расширения, один или несколько шаблонов добавляются в базу 18 данных шаблонов и снабжаются примечаниями для того, чтобы на слух представить изменения информации о местоположении с указанием направленности для нескольких измерений (например, трех). Например, шаблоны, показанные на фиг.4 и 5, будут добавлены в базу данных шаблонов. Множество правил, по одному для каждого измерения, затем добавляются в базу данных правил. Каждое из правил сконфигурировано с возможностью генерации отличающегося шаблона модуляции звука и сконфигурировано с возможностью изменения для указания направления движения. Например, правило, показанное на фиг.8, может быть использовано для указания изменения местоположения в направлении X, модулируя основную частоту с использованием изменения положения. Каждое из правил дополнительно сконфигурировано для некоторых типов событий, такого как событие Pos_Change, с возможностью отслеживания которого выполнена система 58 обработки изображений и/или карт.

В ответ на событие, соответствующее одному из правил (т.е., изменению местоположения внутри 3D-изображения и/или карты), система 10 сенсорного генератора принимает данные события, включающие в себя newCoordinate и oldCoordinate, от системы 58 обработки изображений и/или карт. Обработчик 40 правил исполняет правило для генерации звукового сигнала, соответствующего изменению положения согласно событию. Псевдокод, показанный на фиг.14, может, например, использоваться ГИП программных средств 60 для генерации данных события.

В качестве еще одного примера, шаблоны и правила устанавливаются для каждого измерения движения внутри 3D-изображения и/или карт, аналогично предыдущему примеру. Правила на слух указывают на изменение координат, генерируя повышение или понижение тона с отличной основной частотой для каждого измерения, как показано на фиг.15 для одного измерения. Например, координаты х могут быть указаны с использованием 200 Гц (с изменением 20 Гц), координаты y могут быть указаны с использованием 300Гц (с изменением 30 Гц), и координаты z могут быть указаны с использованием 400 Гц (с изменением 40 Гц). Правила дополнительно включают в себя правило панорамирования звука для координат y для дальнейшего содействия пространственной ориентации пользователя. Это правило управляет позицией и степенью панорамирования звука на основании изменения координаты y.

В соответствии с еще одним расширением, дополнительный сенсорный канал добавляется для облегчения вмешательства, используя отображаемые изображения и/или карты. Дополнительный сенсорный канал можно использовать, чтобы указать: 1) направление иглы или стержня; 2) направление для навигации иглы или стержня к заданной траектории; 3) потенциальные препятствия на пути иглы или стержня; 4) и так далее. Программные средства 60 соответственно определяют эти данные.

Например, рассмотрим минимально инвазивную катетерную абляцию, широко используемую при многих сердечных аритмиях. Попытки снять сложные аритмии, такие как фибрилляция предсердий, представляют сложность из-за ограничений при рентгеновском флюороскопическом контроле. Интервенционные кардиоэлектрофизиологические процедуры, как правило, проводятся под контролем флюороскопии для визуализации положения катетера и расположения устройства относительно значительно ослабляющих излучение анатомических опорных особенностей, таких как позвоночник или временно-видимые структуры с контрастированием просвета. Флюороскопия дает ограниченную информацию о морфологии мягких тканей и истинной 3D форме анатомической области исследования, как можно видеть на флюороскопической рентгеновской проекции, показанной на фиг.16. Кроме того, флюороскопия, длящаяся более чем один час, не является редкостью для сложных процедур и ведет к значительному рентгеновскому облучению пациента и врачей.

Стратегии абляции, основанные на анатомической информации из 3D изображений и/или карт, таких как изображения и/или карты мультисрезовой компьютерной томографии (МСКТ), пример которых показан на фиг.17, могут повысить эффективность катетерной абляции для этих сложных случаев и значительно снизить дозу рентгеновского излучения. Объединение информации из 3D изображений и/или карт, полученных в предварительных процедурах с помощью рентгеновских лучей, может предоставить врачам отсутствующую информацию о 3D форме и морфологии мягких тканей.

Правила и шаблоны могут быть построены для того, чтобы реализовать модуляцию звука для направления и уведомления врачей о потенциальных препятствиях на пути катетера или для выявления близости с соседними анатомическими структурами. Это будет способствовать наведению интервенционного катетера по отношению к 3D анатомии мягких тканей из 3D изображений и/или карт, полученных в предварительных процедурах. Это может быть распространено на другие типы направленной хирургии и других вмешательств, где доступны несколько слоев данных для оценки положения и состояния навигации, а каналы доставки перегружены или дополнительные индикации безопасности являются существенными.

В соответствии с другим расширением, дополнительный сенсорный канал добавляется для оценки неврологических расстройств, таких как нейрорадиология и нейродегенеративные нарушения. Дополнительный сенсорный канал можно использовать для того, чтобы указать: 1) различия между здоровыми и больными структурами мозга; 2) болезнь и/или аномалию; 3) конкретную информацию об органе, такую как локальная деформация структур мозга по сравнению с стандартными структурами мозга; 4) и т.п. Программные средства 60 соответственно определяют эти данные. Расширение может дополнительно включать в себя совместное использование различных клинических центров по сети.

Стандартный набор данных может быть получен путем применения процедуры для подчиненной ограничениям формой деформируемой сегментации структур мозга к ряду пациентов из контрольной группы и извлечения статистического представления о выделенной морфометрии структур мозга. Пример представления поверхности деформируемой модели мозга показан на фиг.18, и пример деформируемой модели мозга, адаптированной к мозгу пациента, показан на фиг.19. Координаты, значения вокселей и различные дескрипторы формы (например, кривизна поверхности, смещения точек от срединной сагиттальной плоскости, локальная деформация поверхности и т.д.) обеспечивают количественное описание, которое понятно для оценки. Это делает возможным сравнение дисперсий, смещений и других статистических данных с определенной границей доверительного интервала в зависимости от задаваемого вопроса. Уровень значимости между группами или полученными результатами также может быть установлен.

В качестве примера расширения с оценкой неврологических расстройств, предположим, что дополнительный слуховой сенсорный канал передает расхождения между структурами мозга и стандартными структурами мозга. Процедура для подчиненной ограничениям формой деформируемой сегментации может быть привязана к стандартному набору данных, используя правила и шаблоны так, что расхождения между структурами мозга пациента и стандартными структурами мозга передаются на слух. Блок-схема, иллюстрирующая это, показана на фиг.20.

Один случай использования может включать в себя просмотр рентгенологом объема пациента срез за срезом. Сегментация в этом случае может быть развернута в фоновом режиме. По мере того, как пользователь движется от одной плоскости к другой, конкретные значения пациента для отображаемых структур можно сравнивать с стандартными данными. На основании шаблонов и правил, система 10 сенсорного генератора может затем представить количественные выводы конечному пользователю в кодировке звука. Количественные значения могут представлять объем, форму, нейронные субстраты и т.д. Кроме того, аналогичным образом для запроса конкретных структур можно использовать расположение курсора мыши.

Хотя это расширение было представлено в контексте неврологических расстройств, оно относится к применениям в медицинской практике в интервенционной и общей рентгенологии, невропатологии и психиатрии, а также во многих других областях, где все еще существует необходимость объединять количественные измерения и предупреждать конечного пользователя в отношении выводов эффективным образом, объединенным с его рабочим процессом.

Система сенсорного генератора 10 может использоваться в других клинических условиях, где природа сигналов иная. В описанных выше использованиях системы 10 сенсорного генератора данные имели, как правило, дискретный характер, где зарегистрированные свойства обычно остаются тем же независимо от того момента времени, в который данные были выявлены. Например, признаки, которые основаны исключительно на свойствах изображения и/или карты легкого характеризуют объем узелка на изображении и/или карте. В других условиях, например, при интенсивной терапии и других применениях контроля пациента, сигналы и аудио оповещения сильно зависят от контекста.

Обратимся к фиг.21, и продолжим обращаться к фиг.1, предлагается медицинская система 100, расширенная с помощью системы 10 сенсорного генератора. Медицинская система 100 включает в себя один или несколько источников 102, 104, 106 физиологических данных. Источники 102, 104, 106 физиологических данных генерируют физиологические данные для соответствующих пациентов и/или хранят физиологические данные для пациентов. Физиологические данные соответственно включают в себя данные, указывающие один или несколько физиологических параметров, таких как частота сердечных сокращений, температура, насыщение крови кислородом, уровень сознания, беспокойство, боль, диурез и так далее. Примеры источников физиологических данных включают в себя, например, мониторы пациента, пост персонала, ухаживающего за больными, мобильные устройства связи, системы обработки информации пациента и так далее.

Каждый из источников 102, 106 физиологических данных, генерирующих физиологические данные, делает это автоматически и/или ручным способом. Что касается первого, могут использоваться один или несколько датчиков 108 источника физиологических данных, такие как электроды для электрокардиографии (ЭКГ), датчики кровяного давления, датчики SpO2 и так далее, измеряющих физиологические параметры. Что касается второго, могут использоваться один или несколько пользовательских устройств 110 ввода. Каждый из источников 104 физиологических данных, хранящих физиологические данные, включает в себя одно или несколько запоминающих устройств 112.

Система 114 контроля состояния пациента медицинской системы 10 контролирует одного или нескольких пациентов, используя соответствующие физиологические данные и одно или несколько программных средства 116. Физиологические данные, как правило, принимаются от источников 102, 104, 106 физиологических данных. Для контроля могут также использоваться дополнительные данные 118, такие как стандартные наборы данных, полученные из внешних источников. Система 114 контроля состояния пациента включает в себя, по меньшей мере, один процессор 120 и, по меньшей мере, одну память 122 для хранения программ, причем память 122 для хранения программ включает в себя исполняемые процессором инструкции, выполняемые процессором 120. Система 114 контроля состояния пациента дополнительно включает в себя коммуникационный интерфейс 124 и, по меньшей мере, одну системную шину 126. Коммуникационный интерфейс 124 позволяет процессору 120 взаимодействовать с внешними устройствами и/или системами. Системная шина 126 соединяет процессор 120, память 122 для хранения программ и коммуникационный интерфейс 124.

Исполняемые процессором инструкции воплощают программные средства 116. Каждое из программных средств 116 взаимодействует с пользователем с помощью графического интерфейса пользователя (ГИП). ГИП позволяет пользователю управлять и/или иным образом взаимодействовать со средством. Графический интерфейс пользователя отображает пользователю графические элементы, такие как иконки, окна, меню и так далее, на устройство 128 отображения. Графический интерфейс пользователя дополнительно позволяет пользователю манипулировать и/или иным образом взаимодействовать с графическими элементами для того, чтобы управлять и/или иным образом взаимодействовать со средством, используя пользовательское устройство 130 ввода.

Программные средства 116 могут отображать физиологические данные пользователю на устройстве 128 отображения и позволяют пользователю манипулировать физиологическими данными с помощью пользовательского устройства 130 ввода. Программные средства 116 также могут генерировать оповещения, например, на устройстве 128 отображения, если физиологические данные отвечают критерию оповещения. Например, оповещение может быть создано, если кровяное давление пациента превышает пороговое значение. Программные средства 116 могут также выводить дополнительные физиологические данные, такие как показатель стабильности, из физиологических данных.

Система 10 сенсорного генератора расширяет медицинскую систему 100, добавляя один или несколько дополнительных сенсорных каналов, с помощью которых взаимодействуют с пользователем системы 100 контроля состояния пациента. А именно, система 100 контроля состояния пациента взаимодействует с пользователем с помощью зрения. Система 10 сенсорного генератора использует одно или несколько дополнительных чувств, таких как слух и/или осязание для того, чтобы передать дополнительную информацию. Система 100 контроля состояния пациента вызывает систему сенсорного генератора 10 через модификацию программных средств 116 для генерации данных события для системы 10 сенсорного генератора.

Согласно одному расширению, дополнительный сенсорный канал добавляется для того, чтобы передать данные, относящиеся к оповещениям, и/или физиологические данные, принятые и/или сгенерированные системой 114 контроля состояния пациента с использованием системы 10 сенсорного генератора. Правила и шаблоны генерируются для порождения сенсорных сигналов, таких как слуховые сигналы. Эти правила определяются на основании характерных особенностей физиологических данных, таких как частота сердечных сокращений, и на основе контекста измерения. Например, сигнал «звонок», который представляет частоту сердечных сокращений пациента можно модулировать в двух измерениях. Одно измерение зависит от того, выше или ниже частота сердечных сокращений, чем ожидаемая частота сердечных сокращений, как определено на основе возраста пациента, веса и т.д. Еще одно измерение зависит от дополнительных факторов. Например, если в систему пациента вводится препарат, про который известно, что он увеличивает частоту сердечных сокращений или уменьшает частоту сердечных сокращений, используются различные механизмы для модуляции в первом измерении для того, чтобы указать наибольшую или наименьшую нормальную частоту сердечных сокращений.

Несмотря на то, что система 10 сенсорного генератора была описана в медицинских системах 50, 100, показанных на фиг.9 и 12, система 10 сенсорного генератора и примеры использования применимы и к другим клиническим сценариям, таким как оперативное вмешательство, помощь в проведении биопсии, и сверх того в таких областях, как метеорология, астрономия и другие. В более общих, приложениях повседневного употребления, система 10 сенсорного генератора также может использоваться для расширения или дополнения к уведомлениям в сценариях, как вождение или управление механизмами, а также в случаях навигации и взаимодействия со сложными данными. Беря навигацию, например, звуки модулируются и преобразуются в дополнение к голосовым инструкциям. Например, маршрут может предваряться звуковым оповещением, которое модулируется, панорамируется и трансформируется на основании близости следующей узловой точки пути (например, более высокий при приближениях съездов с магистрали, панорамирования слева для левого поворота и т.д.). Ввиду этого, система 10 сенсорного генератора может применяться в любом случае, когда существует необходимость объединения данных из нескольких модальностей данных в одной и той же точке и также зафиксировать некоторые свойства данных, доставить аналитику и предупредить пользователя фокусных точек в данных.

Кроме того, несмотря на то, что составные части систем медицинских систем 50, 100, показанных на фиг.9 и 21, были показаны по отдельности и описаны, следует иметь в виду, что составные части систем медицинских систем 50, 100 могут быть объединены в любом сочетании. Например, система 10 сенсорного генератора и система 58 обработки изображений и/или карт, показанные на фиг.9, могут быть объединены в единую систему. В качестве другого примера, система 10 сенсорного генератора и система 114 контроля состояния пациента могут быть объединены в единую систему. Кроме того, хотя генератор 10 звука, показанный на фиг.1, используется для расширения медицинских систем 50, 100, показанных на фиг.9 и 21, следует иметь в виду, что могут использоваться дополнительные и/или альтернативы генераторы звука. Более того, хотя типовые применения генератора 10 звука были описаны для звука, с примерами можно использовать другие органы чувств.

Как применяют в настоящем документе, память включает в себя один или несколько невременных машиночитаемых носителей; накопителей на магнитных дисках или других магнитных носителей хранения; оптических дисков или другой оптический носитель хранения; оперативное запоминающее устройство (ОЗУ), постоянную память (ПЗУ) или другое устройство электронной памяти, или микросхема, или набор микросхем, функционально соединенных между собой; Интернет/Интранет-сервер, с которого могут быть получены через Интернет/Интранет или локальную сеть хранящиеся инструкции; или тому подобное. Кроме того, как применяют в настоящем документе, процессор включает в себя один или несколько микропроцессоров, микроконтроллеров, графических процессоров (GPU), специализированных интегральных схем (ASIC), ППВМ и т. п.; контроллер включает в себя (1) процессор и память, процессор выполняет исполнимые компьютером команды в памяти, содержащей функциональные возможности контроллера, или (2) аналоговое и/или цифровое аппаратное обеспечение; пользовательское устройство ввода включает в себя один или несколько манипуляторов типа «мышь», клавиатуру, дисплей с сенсорным экраном, одну или несколько командных кнопок, один или несколько переключателей, один или несколько переключателей с двумя состояниями, обработчик распознавания голоса и т.п.; база данных включает в себя один или несколько накопителей и устройство отображения включает в себя один или несколько ЖК-дисплеев, светодиодных дисплеев, плазменных дисплеев, проекционных дисплеев, дисплеев с сенсорным экраном и тому подобное.

Изобретение было описано со ссылкой на предпочтительные варианты осуществления. После прочтения и понимания предшествующего подробного описания могут возникнуть другие модификации и изменения. Предполагается, что изобретение будет истолковано как включающее все такие модификации и изменения в той мере, насколько они входят в объем прилагаемой формулы изобретения или ее эквивалентов.