Результат интеллектуальной деятельности: СИСТЕМЫ РОДИТЕЛЬСКОГО КОНТРОЛЯ И СПОСОБЫ ДЕТЕКТИРОВАНИЯ РАСКРЫТИЯ КОНФИДЕНЦИАЛЬНОЙ ИНФОРМАЦИИ

РОДСТВЕННЫЕ ЗАЯВКИ

[0001] В данной заявке испрашивается приоритет по дате подачи предварительной заявки на патент США №62/794,856, поданной 21 января 2019 г. под названием «Системы и способы родительского контроля», полное содержание которой включено в настоящий документ посредством ссылки.

УРОВЕНЬ ТЕХНИКИ

[0002] Настоящее изобретение относится к компьютерной безопасности и, в частности, к системам и способам защиты уязвимых пользователей Интернета (например, детей) от сетевых угроз, таких как кибертравля, онлайн оскорблений, груминг, сексуальная эксплуатация и кража конфиденциальной информации, среди прочего.

[0003] Травля обычно определяется как повторяющееся агрессивное поведение, направленное на причинение вреда другому человеку физически, психически или эмоционально. Травля может проявляться по-разному, например, словесно, физически и т.д. Когда травля происходят с помощью современных средств коммуникации, таких как обмен электронными сообщениями и публикаций в социальных сетях, это обычно называется кибертравля. Успешная травля обычно требует дисбаланса сил и/или давления со стороны сверстников, при этом слабая сторона принимает оскорбления. Известно, что травля вызывает серьезные страдания, а в некоторых случаях даже приводят к самоубийству. Некоторые социальные категории (дети, молодые люди, представители расовых или сексуальных меньшинств) могут быть более подвержены таким угрозам, чем другие.

[0004] В условиях стремительного роста Интернета дети и подростки тратят значительное количество времени на просмотр и общение в Интернете на этапе своего физического и эмоционального развития, когда они особенно уязвимы для таких угроз, как травля, сексуальная эксплуатация и кража личных данных. Проблема усугубляется тем фактом, что онлайн-культура социальных сетей и мгновенного обмена сообщениями не поддается контролю со стороны традиционных авторитетов (родителей, учителей и т.д.) либо потому, что молодые пользователи зачастую технологически более подкованы, чем их опекуны, или потому, что сами коммуникационные платформы не предусматривают возможность слежения.

[0005] В последние годы программное обеспечение безопасности успешно использовалось для защиты компьютерных пользователей от компьютерных угроз, таких как вредоносное программное обеспечение (вредоносное ПО) и проникновение (взлом). В настоящее время существует значительный интерес к разработке программного обеспечения, способного защитить пользователей от других возникающих угроз, таких как кибертравля, груминг, сексуальная эксплуатация и онлайн домогательство, в идеале при сохранении конфиденциальности их электронных сообщений.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

[0006] Согласно одному аспекту, способ родительского контроля включает использование по меньшей мере одного аппаратного процессора компьютерной системы для анализа изображения, передаваемого как часть электронного диалога между несовершеннолетним и другой стороной, чтобы определить, показывает ли изображение выбранный физический предмет из группы, состоящей из банковской карты, карты социального страхования и удостоверения личности. Способ дополнительно включает в себя, в ответ, когда изображение показывает физический предмет, использование по меньшей мере одного аппаратного процессора для передачи родительского уведомления на родительское отчетное устройство, идентифицированное из множества устройств в соответствии с несовершеннолетним, причем родительское уведомление указывает на раскрытие несовершеннолетним конфиденциальной информации.

[0007] Согласно другому аспекту компьютерная система содержит по меньшей мере один аппаратный процессор, сконфигурированный для исполнения процессора обработки изображений и диспетчера родительских уведомлений. Процессор обработки изображений сконфигурирован для анализа изображения, передаваемого как часть электронного диалога между несовершеннолетним и другой стороной, чтобы определить, показывает ли изображение выбранный физический предмет из группы, состоящей из банковской карты, карты социального страхования и удостоверения личности. Диспетчер родительских уведомлений сконфигурирован, в ответ на определение процессором обработки изображений, что изображение показывает физический предмет, для передачи родительского уведомления на родительское отчетное устройство, идентифицированное из множества устройств в соответствии с несовершеннолетним, причем родительское уведомление указывает на раскрытие несовершеннолетним конфиденциальной информации.

[0008] Согласно другому аспекту долговременный машиночитаемый носитель хранит инструкции, которые при исполнении по меньшей мере одним аппаратным процессором компьютерной системы, предписывают компьютерной системе формировать процессор обработки изображений и диспетчер родительских уведомлений. Процессор обработки изображений сконфигурирован для анализа изображения, передаваемого как часть электронного диалога между несовершеннолетним и другой стороной, чтобы определить, показывает ли изображение выбранный физический предмет из группы, состоящей из банковской карты, карты социального страхования и удостоверения личности. Диспетчер родительских уведомлений сконфигурирован, в ответ на определение процессором обработки изображений, что изображение показывает физический предмет, для передачи родительского уведомления на родительское отчетное устройство, идентифицированное из множества устройств в соответствии с несовершеннолетним, причем родительское уведомление указывает на раскрытие несовершеннолетним конфиденциальной информации.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009] Вышеупомянутые аспекты и преимущества настоящего изобретения станут более понятными после прочтения следующего ниже подробного описания, данного со ссылками на чертежи, на которых изображено следующее:

[0010] Фиг. 1 иллюстрирует примерную систему родительского контроля, в которой отслеживаемое устройство, участвующее в обмене электронными сообщениями, защищено от сетевых угроз в соответствии с некоторыми вариантами осуществления настоящего изобретения.

[0011] Фиг. 2-А показывает примерный обмен данными между отслеживаемым устройством, сервером безопасности и отчетным устройством в соответствии с некоторыми вариантами осуществления настоящего изобретения.

[0012] Фиг. 2-В показывает альтернативный обмен данными между отслеживаемым устройством, сервером безопасности и отчетным устройством в соответствии с некоторыми вариантами осуществления настоящего изобретения.

[0013] Фиг. 3 показывает примерные программные компоненты, исполняющиеся на отслеживаемым устройстве в соответствии с некоторыми вариантами осуществления настоящего изобретения.

[0014] Фиг. 4 иллюстрирует работу примерного приложения родительского контроля, исполняемого на отслеживаемом устройстве в соответствии с некоторыми вариантами осуществления настоящего изобретения.

[0015] Фиг. 5 иллюстрирует примерный индикатор диалога в соответствии с некоторыми вариантами осуществления настоящего изобретения.

[0016] Фиг. 6 показывает примерную последовательность этапов, выполняемых приложением родительского контроля в соответствии с некоторыми вариантами осуществления настоящего изобретения.

[0017] Фиг. 7 показывает примерную последовательность этапов, выполняемых агрегатором сообщений для построения набора диалогов в соответствии с некоторыми вариантами осуществления настоящего изобретения.

[0018] Фиг. 8 показывает примерные программные компоненты, исполняющиеся на сервере безопасности, в соответствии с некоторыми вариантами осуществления настоящего изобретения.

[0019] Фиг. 9 показывает примерную работу программных компонентов, показанных на фиг.8.

[0020] Фиг. 10 показывает примерную последовательность этапов, выполняемых сервером безопасности в соответствии с некоторыми вариантами осуществления настоящего изобретения.

[0021] Фиг. 11 иллюстрирует набор примерных процессоров обработки текста в соответствии с некоторыми вариантами осуществления настоящего изобретения.

[0022] Фиг. 12 показывает набор примерных процессоров обработки изображений в соответствии с некоторыми вариантами осуществления настоящего изобретения.

[0023] Фиг. 13 иллюстрирует примерные части тела, которые процессор обработки изображений обучен детектировать на изображении, в соответствии с некоторыми вариантами осуществления настоящего изобретения.

[0024] Фиг. 14 показывает примерную конфигурацию аппаратных средств вычислительного устройства, сконфигурированного для выполнения операций родительского контроля в соответствии с некоторыми вариантами осуществления настоящего изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0025] Следует понимать, что в нижеследующем описании все перечисленные соединения между структурами могут быть прямыми функциональными соединениями или непрямыми функциональными соединениями через промежуточные структуры. Набор элементов включает в себя один или более элементов. Считается, что любое упоминание элемента относится по меньшей мере к одному элементу. Множество элементов включает по меньшей мере два элемента. Если не указано иное, любое использование «ИЛИ» относится к неисключительному или. Если не требуется иное, любые описанные этапы способа не обязательно должны выполняться в конкретном проиллюстрированном порядке. Первый элемент (например, данные), полученный из второго элемента, включает в себя первый элемент, равный второму элементу, а также первый элемент, сгенерированный обработкой второго элемента и, опционально, других данных. Принятие определения или решения в соответствии с параметром включает в себя принятие определения или решения в соответствии с параметром и, опционально, в соответствии с другими данными. Если не указано иное, индикатором некоторого количества/данных может быть само количество/данные или индикатор, отличный от самого количества/данных. Несовершеннолетний - это лицо, не достигшее возраста полной юридической ответственности. Компьютерная программа - это последовательность инструкций процессора, выполняющих задачу. Компьютерные программы, описанные в некоторых вариантах осуществления настоящего изобретения, могут быть автономными программными объектами или подобъектами (например, подпрограммами, библиотеками) других компьютерных программ. Машиночитаемые носители включают долговременные носители, такие как магнитные, оптические и полупроводниковые носители данных (например, жесткие диски, оптические диски, флэш-память, DRAM), а также каналы коммуникации, такие как проводящие кабели и оптоволоконные линии. В соответствии с некоторыми вариантами осуществления настоящее изобретение обеспечивает, среди прочего, компьютерные системы, содержащие аппаратные средства (например, один или более процессоров), запрограммированные для выполнения описанных здесь способов, а также машиночитаемые инструкции кодирования мультимедиа для выполнения способов, описанных в данном документе.

[0026] Нижеследующее описание иллюстрирует варианты осуществления изобретения в качестве примера, а не обязательно в качестве ограничения.

[0027] Фиг. 1 показывает примерную систему родительского контроля, защищающую пользователя отслеживаемого устройства от сетевых угроз, таких как кибертравля, сексуальная эксплуатация и кража конфиденциальной информации, среди прочего. В типичном сценарии в соответствии с некоторыми вариантами осуществления настоящего изобретения защищенный пользователь (например, несовершеннолетний) использует программное обеспечение для обмена сообщениями, выполняемое на отслеживаемом устройстве 10 (например, смартфоне), для обмена электронными сообщениями с пользователями других устройств-партнеров 12а-b по обмену сообщениями. В некоторых вариантах осуществления программное обеспечение безопасности, исполняющееся на отслеживаемом устройстве 10 и/или удаленном сервере 18 безопасности, может использоваться для слежения за такими диалогами, как правило, без ведома соответствующего пользователя. Затем диалоги анализируются на предмет содержания. Когда программное обеспечение безопасности определяет в соответствии с содержанием диалога, что пользователь подвержен онлайн-угрозе, некоторые варианты осуществления передают уведомление другой стороне (например, родителю, учителю, менеджеру и т.д.) через отчетное устройство 14, такое как смартфон или персональный компьютер.

[0028] Отслеживаемое устройство 10 может включать любое электронное устройство, имеющее процессор и память и способное подключаться к коммуникационной сети для обмена электронными сообщениями с устройствами-партнерами 12а-b по обмену сообщениями. Примеры отслеживаемых устройств 10 включают в себя персональные компьютеры, переносные компьютеры, планшетные компьютеры, смартфоны, игровые консоли, устройства виртуальных помощников, бытовую технику (например, интеллектуальные телевизоры, медиаплееры, холодильники) и носимые компьютерные устройства (например, умные часы).

[0029] Электронное сообщение включает коммуникацию, передаваемую между двумя электронными устройствами, при этом коммуникация включает в себя по меньшей мере кодировку текстового сообщения между двумя людьми-пользователями соответствующих устройств. Электронный обмен сообщениями обычно осуществляется с использованием платформы обмена мгновенными сообщениями, такой как FACEBOOK® Messenger®, Instagram® Direct®, Snapchat®, WhatsApp® и т.д., через электронную почту (имэйл) и/или через службу телефонных сообщений, такую как короткая служба сообщений (SMS). Платформы обмена сообщениями содержат программное обеспечение, сконфигурированное так, чтобы позволять пользователю отправлять электронные сообщения другим пользователям и получать электронные сообщения от них. Сообщения могут варьироваться по формату в зависимости от соответствующей платформы/службы, но в целом электронное сообщение включает кодировку текстовой части и/или кодировку мультимедийного файла (например, изображения, клипа, звука и т.д.). Текстовая часть может содержать текст, написанный на естественном языке (например, английском, китайском и т.д.), а также другие буквенно-цифровые и/или специальные символы, такие как смайлики, среди прочего. В типичной конфигурации сообщения координируются, централизуются и отправляются сервером 16 обмена сообщениями в том смысле, что электронные сообщения между отслеживаемым устройством 10 и устройствами-партнерами 12а-b маршрутизируются посредством сервера 16 (протокол клиент-сервер). В альтернативных вариантах осуществления электронный обмен сообщениями использует децентрализованную одноранговую сеть соединений между отслеживаемыми устройствами и их соответствующими устройствами-партнерами по обмену сообщениями, отслеживаемое устройство 10, устройство-партнер или устройства-партнеры 12а-b по обмену сообщениями и сервер 16 обмена сообщениями взаимосвязаны коммуникационной сетью 15, такой как Интернет. Части сети 15 могут включать в себя локальную сеть (LAN) и телекоммуникационную сеть (например, мобильную телефонию).

[0030] Операции обнаружения угроз могут быть разделены между отслеживаемым устройством 10 и сервером 18 безопасности различным образом, как подробно показано ниже. Сервер 18 в целом представляет собой набор взаимосвязанных компьютеров, которые могут находиться или не находиться в физической близости друг к другу. Фиг. 2-А-В показывают примерные обмены данными между отслеживаемым устройством 10 и сервером 18 безопасности в соответствии с некоторыми вариантами осуществления настоящего изобретения. В различных вариантах осуществления отслеживаемое устройство 10 может передавать данные диалога (представленные индикатором 20 диалога на фиг.2-А) и/или информацию, указывающую о угрозе (представленную индикатором 22 оценки риска на фиг.2-В), на сервер 18 безопасности. По меньшей мере часть относящегося к диалогу анализа/обнаружения угрозы может затем выполняться компонентами, исполняющимися на сервере 18 безопасности. Когда анализ указывает на потенциальную угрозу для пользователя отслеживаемого устройства 10, некоторые варианты осуществления сервера 18 безопасности отправляют родительское уведомление 24 отчетному устройству 14 (например, мобильному телефону, персональному компьютеру и т.д.), связанному с соответствующим отслеживаемым устройством, таким образом информируя пользователя отчетного устройства 14 о соответствующей угрозе. Термин «родительский» используется здесь только для простоты и не предназначен для ограничения в том смысле, что получатель соответствующего уведомления обязательно является родителем или что защищенный пользователь обязательно является ребенком. Хотя типичные приложения некоторых вариантов осуществления находятся под родительским контролем, для квалифицированного специалиста понятно, что они могут быть адаптированы для отслеживания и/или защиты других категорий пользователей/устройств. В приложениях для отслеживания детей уведомление 24 может быть отправлено учителю, опекуну или любому другому лицу, которому поручено присматривать за соответствующим ребенком. В других примерных приложениях, направленных на защиту сотрудников от травли и/или сексуальных домогательств, уведомление 24 может быть доставлено, например, менеджеру, руководителю или сотруднику отдела кадров. Примерные форматы и содержание уведомления 24 показаны ниже.

[0031] Фиг. 3 показывает примерные программные компоненты, исполняющиеся на отслеживаемым устройстве 10 в соответствии с некоторыми вариантами осуществления настоящего изобретения. Операционная система 46а может включать любую широко доступную операционную систему, такую как Microsoft Windows®, MacOS®, Linux®, iOS® или Android®, среди прочих. Операционная система (ОС) 46а предоставляет интерфейс между другими компьютерными программами (представленными приложениями 48 и 50) и аппаратными устройствами отслеживаемого устройства 10.

[0032] Приложение 48 обмена сообщениями в целом представляет собой любое программное обеспечение, сконфигурированное для обеспечения пользователя устройства 10 возможностью обмениваться электронными сообщениями с другими пользователями. Примеры приложений 48 обмена сообщениями включают, среди прочего, клиентские приложения Yahoo® Messenger®, FACEBOOK®, Instagram® и Snapchat®. Другой пример приложения 48 обмена сообщениями включает почтовый клиент. Еще один пример приложения 48 для обмена сообщениями включает программное обеспечение, обеспечивающее исполнение службы коротких сообщений (SMS) на мобильном телефоне. Приложение 48 может отображать содержимое каждого электронного сообщения на устройстве вывода (например, экране) отслеживаемого устройства 10 и может дополнительно организовывать сообщения в соответствии с отправителем, получателем, временем, темой или другими критериями. Приложение 48 может дополнительно получать ввод текста от пользователя устройства 10 (например, с клавиатуры, сенсорного экрана или интерфейса диктовки), формулировать электронные сообщения в соответствии с полученным вводимым текстом и передавать электронные сообщения на сервер 16 обмена сообщениями и/или непосредственно на устройство-партнер или устройства-партнеры 12а-Ь по обмену сообщениями. Формат и кодировка сообщения могут варьироваться в зависимости от платформы обмена сообщениями. Передача сообщения может включать, например, добавление кодировки соответствующего сообщения в исходящую очередь коммуникационного интерфейса отслеживаемого устройства 10.

[0033] В некоторых вариантах осуществления приложение 50 родительского контроля включает программное обеспечение, сконфигурированное для доступа, сбора и/или анализа содержимого обмена сообщениями между отслеживаемым устройством 10 и устройством-партнером или устройствами-партнерами 12а-b. Приложение 50 родительского контроля может быть частью более крупного программного обеспечения компьютерной безопасности, включающего, среди прочего, средства защиты от вредоносных программ и обнаружения вторжений. Фиг. 4 показывает примерные компоненты приложения 50 родительского контроля в соответствии с некоторыми вариантами осуществления настоящего изобретения.

[0034] Захватчик 52 данных сконфигурирован для извлечения содержимого сообщения, сгенерированного и/или принятого приложением 48 обмена сообщениями. Извлечение содержимого сообщения может включать идентификацию отдельных электронных сообщений и определение специфических для сообщения характеристик, таких как отправитель и/или получатель, время передачи (например, временная метка), текст соответствующего сообщения и, возможно, другие данные содержимого, такие как изображение, прикрепленное к соответствующему сообщению. Извлечение содержимого может осуществляться любым способом, известным в данной области техники. В некоторых вариантах осуществления захватчик 52 данных тайно модифицирует компонент приложения 48 обмена сообщениями (например, путем подключения через адрес) для установки программного агента, который уведомляет захватчик данных, когда приложение 48 выполняет некоторую конкретную операцию, такую как получение сообщения или ввод данных пользователя, и позволяет захватчику 52 данных извлечение информации сообщения. Некоторые варианты осуществления извлекают содержимое сообщения с использованием встроенных функций ОС 46а, таких как интерфейс прикладный программ (API) специальных возможностей. API специальных возможностей включают программное обеспечение, обычно сконфигурированное для сбора информации, отображаемой в данный момент на устройстве вывода (например, экране) отслеживаемого устройства 10, с целью сделать такую информацию доступной для людей с ограниченными возможностями. Одно примерное применение таких API специальных возможностей включает в себя перевод текста на экране в звук (голосовой текст), чтобы люди с ослабленным зрением могли использовать компьютер. Некоторые варианты осуществления захватчика 52 данных сконфигурированы для вызова определенных функций API специальных возможностей для анализа структур данных, таких как деревья пользовательского интерфейса, в то время как устройство 10 отображает контент, сгенерированный приложением 48 обмена сообщениями, и, таким образом, извлекает информацию, такую как имена/псевдонимы собеседников сообщения и содержание отдельных сообщений. Еще один вариант осуществления захватчика 52 данных может извлекать содержимое сообщения непосредственно из перехваченного сетевого трафика, поступающего в приложение 48 обмена сообщениями и/или проходящего через сетевой адаптер или сетевые адаптеры отслеживаемого устройства 10. Такие перехватчики связи могут реализовывать протоколы связи, такие как HTTP, WebSocket и MQTT, среди прочего, для анализа сообщений и извлечения структурированных данных сообщений. Когда мгновенные сообщения зашифрованы, в некоторых вариантах осуществления используются такие методы, как «человек посередине» (MITM), для расшифровки трафика для извлечения содержимого сообщения.

[0035] Некоторые варианты осуществления настоящего изобретения основаны на наблюдении, что угрозы, такие как травля и сексуальный груминг, обычно связаны со сложной социальной динамикой и поэтому более точно выводятся из расширенного диалога, а не из отдельных сообщений. Таким образом, в некоторых вариантах осуществления агрегатор 54 сообщений может объединять отдельные сообщения в диалоги, состоящие из множества сообщений, которыми обмениваются одна и та же пара собеседников (в случае взаимного обмена) или внутри одной группы (например, в случае группового чата). Агрегатор 54 сообщений может работать совместно с захватчиком 52 данных для идентификации отправителя и/или получателя каждого перехваченного сообщения, организации потока сообщений в отдельные диалоги и вывода индикатора 20 диалога. Работа агрегатора 54 сообщений более подробно описана ниже.

[0036] Примерный индикатор 20 диалога, показанный на фиг.5, включает «Пользователь_ID», идентифицирующий отслеживаемое устройство 10 и/или отдельного пользователя соответствующего устройства, и «Пара_ID», однозначно идентифицирующий пару собеседников. В некоторых вариантах осуществления индикатор 20 диалога дополнительно включает в себя множество индикаторов сообщения Сообщение_1 … Сообщение_n, каждый из которых соответствует отдельному сообщению, которым обмениваются соответствующие собеседники. Индикаторы отдельных сообщений могут, в свою очередь, включать в себя идентификатор отправителя и/или получателя, текстовое содержимое каждого сообщения (представлено как ТекстСообщения_i на фиг.5) и метку времени, указывающую момент времени, когда было отправлено и/или получено соответствующее сообщение. В альтернативном варианте осуществления индикатор 20 диалога включает объединение текстового содержимого всех сообщений в соответствующем диалоге, отдельных сообщений, расположенных в порядке передачи согласно их соответствующей временной метке.

[0037] Индикатор 20 диалога может дополнительно включать в себя набор индикаторов мультимедиа (представлено как МедиаФайл_j на фиг.5), например копии файлов изображений/видео/аудио, прикрепленных к сообщениям, принадлежащим соответствующему диалогу, или сетевые адреса/унифицированный указатель ресурса (URL), где находится соответствующий файл мультимедиа. Другие примерные индикаторы мультимедиа могут включать в себя индикатор формата мультимедиа (протокола кодирования) и т.д. Для квалифицированного специалист понятно, что фактический формат данных для кодировки индикатора 20 диалога может различаться в разных вариантах осуществления; примерные форматы включают, среди прочего, версию расширяемого языка разметки (XML) и Обозначения Объектов Javascript (JSON).

[0038] Фиг. 6 показывает примерную последовательность этапов, выполняемых приложением 50 родительского контроля в соответствии с некоторыми вариантами осуществления настоящего изобретения. Фиг. 7 дополнительно иллюстрирует примерный алгоритм построения диалогов из отдельных сообщений (этап 204 на фиг.6).

[0039] Приложение 50 родительского контроля может представлять каждый диалог как структуру отдельных данных (например, объект с множеством полей данных). Диалоги могут быть определены согласно различным критериям, таким как длина (например, общее число сообщений, общее число слов) и/или время (например, сообщения, которыми обмениваются в заранее определенном временном интервале). В некоторых вариантах осуществления диалог считается активным, пока число сообщений не превышает заранее определенного значения; в качестве альтернативы, диалог может считаться активным до тех пор, пока время, прошедшее с момента его первого сообщения, не превышает заранее установленное пороговое значение времени, и/или пока время, прошедшее с момента его последнего сообщения, не превышает другое заранее определенной пороговое значение времени. Диалоги, которые больше не активны, считаются закончившимися. В одном примере, проиллюстрированном на фиг.7, приложение 50 родительского контроля отслеживает множественные активные диалоги, при этом каждый диалог идентифицируется уникальным идентификатором диалога. На этапе 212 определяют количество времени, прошедшее с момента последнего сообщения каждого активного диалога. Когда указанное количество времени превышает заранее определенное пороговое значение (например, один час), агрегатор 54 сообщений может считать соответствующий диалог закрытым/закончившимся и удалить его из набора активных диалогов. На следующем этапе 230 можно сформулировать индикатор 20 диалога для соответствующего диалога и передать соответствующие данные для дальнейшего анализа. Подобная блок-схема может описывать работу альтернативного агрегатора сообщений, который считает, что диалог завершен, когда количество сообщений превышает заранее определенное пороговое значение (например, 500).

[0040] Тем временем захватчик 52 данных может перехватывать новые сообщения (этап 216). Когда сообщение детектировано, этап 220 может идентифицировать собеседников соответствующего сообщения, например, путем разбора данных сообщения или путем анализа пользовательского интерфейса приложения 48 обмена сообщениями (см. выше в отношении использования API специальных возможностей). Когда в текущее время имеется по меньшей мере активный диалог с соответствующими собеседниками, на этапе 226 агрегатор 54 может добавить данные, характеризующие текущее сообщение, к объекту диалога, идентифицированному текущими собеседниками (например, идентификатор (ID) пары). Когда в настоящее время нет активного диалога между собеседниками текущего сообщения, на этапе 224 могут инициализировать новый объект диалога, идентифицированный текущим идентификатором собеседников/пары, и могут добавить данные сообщения к вновь инициализированному объекту. Приложение 50 может затем вернуться к перехватыванию новых сообщений и/или к определению, закончился ли какой-либо текущий диалог.

[0041] На фиг.8-9 показаны примерные программные компоненты, исполняющиеся на сервере 18 безопасности, и, соответственно, примерная работа таких компонентов в соответствии с некоторыми вариантами осуществления настоящего изобретения. Фиг. 10 дополнительно детализирует работу упомянутых компонентов в качестве примерной последовательности этапов.

[0042] В некоторых вариантах осуществления данные диалога принимают от агрегатора 54 сообщений в форме индикатора (индикаторов) 20 диалога. Каждый индикатор 20 может представлять один диалог, который, в свою очередь, может содержать несколько сообщений, которыми обмениваются одни и те же собеседники в течение определенного периода времени. В некоторых вариантах осуществления индикаторы 20 диалога накапливают в очереди в ожидании дальнейшей обработки. Такая обработка может включать выбор диалога и удаление его из очереди (этапы 302-204-306 на фиг.10). Выбранный индикатор 20 затем загружают в анализатор 51 диалога, который анализирует содержание соответствующего диалога, чтобы определить множество индикаторов оценки (например, числовые или логические балы, метки категорий и т.д.) и вывести их в блок 53 принятия решений. На дополнительном этапе 312 блок 53 принятия решений может агрегировать результаты анализа, полученные от анализатора 51 диалога, и применять набор критериев принятия решения для определения, подвергается ли пользователь отслеживаемого устройства 10 онлайн-угрозе, такой как травля, сексуальные домогательства, груминг и т.д. В некоторых вариантах осуществления блок 53 принятия решений передает единый индикатор 22 оценки риска диспетчеру 59 уведомлений. На этапе 314 диспетчер уведомлений может определить, удовлетворено ли условие уведомления в соответствии с принятым индикатором оценки. Если да, диспетчер 59 может сформулировать и передать родительское уведомление 24 отчетному устройству 14. Некоторые из вышеперечисленных этапов будут подробно описаны ниже.

[0043] В некоторых вариантах осуществления анализатор 51 диалога содержит набор процессоров 56 обработки текста, сконфигурированных для анализа текстового содержимого диалога, и/или набор процессоров 58 обработки изображений, сконфигурированных для анализа изображения и/или видео контента диалога. Каждый процессор 56-58 может анализировать каждый диалог согласно отдельному аспекту соответствующего диалога и/или согласно отдельному алгоритму. Например, каждый процессор 56-58 может определять, подвергается ли пользователь другому типу угрозы (травля, сексуальные домогательства, груминг и т.д.). В другом примере может быть несколько процессоров, обнаруживающих один и тот же тип угрозы, но каждый процессор может использовать другой критерий или алгоритм или может учитывать разные аспекты анализируемого диалога. Например, некоторые процессоры обработки текста могут искать в проанализированном диалоге определенные ключевые слова, в то время как другие могут использовать нейронную сеть для получения показателя или метки, характеризующей соответствующее сообщение или диалог, и т.д. Другие примерные аспекты диалога включают, среди прочего, агрессивность, дружелюбие и сексуальное содержание.

[0044] В некоторых вариантах осуществления текстовое содержимое диалога нормализуется при подготовке к подаче, по меньшей мере, в некоторые из процессоров 56 обработки текста (этап 308 на фиг.10). Такая нормализация может включать проверку орфографии, расширение аббревиатур, обнаружение и интерпретацию смайликов, URL-адресов, имен людей и/или мест. Нормализация может включать поиск словаря соответствующего естественного языка (например, английского), дополненного сленговыми элементами и различными выражениями/акронимами, часто используемыми в мгновенном обмене сообщениями.

[0045] Некоторые примерные процессоры 56-58 обработки текста и изображений проиллюстрированы на фиг.11-12 соответственно. Каждый процессор 56 обработки текста может выводить индикатор 26 оценки текста. Точно так же процессоры 58 обработки изображений могут выводить набор индикаторов 28 оценки изображения. Один примерный индикатор 26 оценки текста включает в себя числовой показатель, указывающий вероятность того, что по меньшей мере один собеседник является объектом онлайн-угрозы (например, травли), согласно текстовому содержанию соответствующего диалога. Примерный индикатор 28 оценки изображения может указывать, содержит ли текущий диалог по меньшей мере одно изображение, принадлежащее определенной категории (например, изображение обнаженной или частично обнаженного тела, фотографию кредитной карты и т.д.)

[0046] Некоторые варианты осуществления настоящего изобретения основаны на наблюдении, что из-за сложности социальных взаимодействий, которые особенно эмоционально заряжены в детстве и подростковом возрасте, один алгоритм/протокол анализа вряд ли будет успешно детектировать угрозы, такие как травля. Например, дети и подростки часто обращаются друг к другу, используя унизительные прозвища, оскорбления и уничижительные выражения, даже если они не подразумевают никакого вреда. Такое «позирование» просто считается крутым или забавным занятием. Следовательно, алгоритм анализа текста, направленный просто на обнаружение оскорблений и/или выражений, указывающих на конфликт, может ошибочно классифицировать дерзкий обмен мнениями между близкими друзьями как словесную ссору или проявление травли. Чтобы избежать таких ложных срабатываний, в некоторых вариантах осуществления используется несколько алгоритмов обработки естественного языка для анализа различных аспектов каждого диалога и извлечения различных индикаторов оценки. Некоторые варианты осуществления для этого повышают надежность обнаружения угрозы за счет агрегирования информации, предоставленной множеством отдельных индикаторов оценки. Индикаторы оценки изображения могут быть комбинированы с индикаторами оценки текста. Например, изображение обнаженного тела может дать дополнительный ключ к подозрению в секстинге и т.д.

[0047] Примерные процессоры 56 обработки текста, показанные на фиг.11, включают, среди прочего, оценщик агрессивности, оценщик дружелюбия, оценщик сексуального содержания, оценщик настроения и оценщик конфиденциальности текста. Каждый процессор 56 обработки текста может выводить набор показателей, меток и т.д. Такие показатели/метки могут быть определены для каждого отдельного сообщения диалога или могут быть определены для соответствующего диалога в целом.

[0048] Примерный оценщик агрессивности вычисляет показатель для каждого сообщения диалога, причем показатель указывает уровень агрессии, на который указывает язык соответствующего сообщения. Показатель агрессивности может быть выражен как двоичное число (1/0, ДА/НЕТ) или как недвоичное число, которое может принимать любое значение между заранее определенными границами. Оценщики агрессивности могут использовать такие методы, как обнаружение наличия определенных ключевых слов, указывающих на агрессию, или любой другой метод, известный в данной области. Предпочтительный вариант осуществления обучает рекуррентную нейронную сеть (RNN) с использованием векторного представления каждого слова в словаре. Иллюстративные векторные представления могут быть получены с использованием версии алгоритмов семейства word-2-vec и/или Glove. Каждое сообщение диалога может быть представлено как последовательность векторов. Архитектура оценщика агрессивности может включать, среди прочего, долгую кратковременную память (LSTM), размещенную поверх слоя закрытого рекуррентного блока (GRU). При обучении могут применяться определенные правила, например, только оскорбления, сформулированные в адрес второго человека, могут быть обозначены как положительные/агрессивные. В одном из таких примеров фраза «ты такой глупый» может иметь более высокий показатель по агрессивности, чем «он такой глупый». Выходные данные такой нейронной сети могут содержать показатель/метку, определенную для каждого отдельного сообщения, или показатель/метку, определенную для всего диалога.

[0049] Архитектура примерного оценщика сексуального содержания может быть аналогична архитектуре, описанной для оценщика агрессивности. Однако оценщик сексуального содержания может быть специально обучен выводить показатель, указывающий, содержит ли каждый диалог и/или сообщение сексуальный язык. Иногда в диалоге сосуществуют сексуальный и агрессивный язык, поэтому это пример того, как наличие независимых экспертов по каждому аспекту диалога может дать более тонкую и, возможно, более точную классификацию соответствующего диалога. Некоторые варианты осуществления могут быть дополнительно обучены для идентификации других текстовых шаблонов, которые могут не иметь откровенного сексуального характера, но тем не менее могут указывать на груминг или сексуальное хищничество. Например, некоторые варианты осуществления могут определять, запрашивает ли сообщение о встрече, личный адрес и т.д. Некоторые варианты осуществления оценщика сексуального содержания могут быть обучены различать несколько сценариев и/или категорий сексуального содержания (например, груминг, секстинг и т.д.). В одном таком примере оценщик сексуального содержания может вывести вектор показателей, каждый показатель соответствует отдельной категории/сценарию и указывает вероятность того, что анализируемый диалог попадает в соответствующую категорию/сценарий.

[0050] Примерный оценщик дружелюбия нацелен на обнаружение фраз, которые демонстрируют привязанность и дружеское отношение к тому или иному собеседнику. Поскольку друзья часто дразнят друг друга ненормативной лексикой, индикатор/показатель дружелюбия может помочь отличить истинные оскорбления от поведения, которое может показаться агрессивным, но на самом деле, является игривым и доброжелательным. Примерный оценщик дружелюбия может использовать систему, основанную на правилах, для определения прямой положительной фразы в отношении собеседника (например, «Ты мне нравишься») и/или косвенной формулировки, при которой текущее сообщение используется для положительного ответа на предыдущее (например, «Я тебе нравлюсь?», «Боже, ты глупый. Конечно! Ты лучше всех." Это еще один пример, в котором анализ текстового содержимого коррелируется между несколькими сообщениями одного и того же диалога, в отличие от анализа каждого сообщения по отдельности.

[0051] Примерный оценщик настроения может использовать любой метод, известный в данной области техники, для определения числового или категориального индикатора тональности/настроения соответствующего диалога. Примерный индикатор может иметь положительные значения, когда диалог считается счастливым/расслабленным, и отрицательные значения, когда диалог указывает на стресс, депрессию, гнев и т.д. Значение соответствующего индикатора оценки может указывать на интенсивность соответствующего настроения. Примерный оценщик настроения использует методологию словаря учета подтекста и обоснования настроений (VADER), в которой каждый токен сообщения (например, каждое слово или фраза) помечается в соответствии с его семантической ориентацией как положительный или отрицательный, а агрегированный показатель/метка вычисляется путем комбинирования отдельных меток токенов. Агрегированный показатель может быть вычислен на уровне детализации отдельных сообщений или для диалога в целом. В некоторых вариантах осуществления агрессивный диалог, при котором только одна сторона чувствует себя плохо/расстроено, является убедительным признаком того, что происходит травля. Таким образом, такая ситуация может получить относительно высокий агрегированный индикатор травли для соответствующего диалога.

[0052] Примерный оценщик конфиденциальности текста может определять, передает ли диалог конфиденциальную информацию, которой соответствующий пользователь (например, ребенок, сотрудник) не должен делиться с другими. Некоторыми примерами такой информации являются, среди прочего, номера кредитных карт, номера социального страхования и домашние адреса. Один примерный оценщик конфиденциальности текста может использовать сопоставление с образцом символов (например, регулярные выражения) для идентификации данных, таких как номера и адреса кредитных карт. Другие варианты осуществления могут обучать нейронную сеть обнаруживать текстовые шаблоны, которые похожи на информацию о кредитной карте, номера социального страхования и т.д. Оценщик конфиденциальности текста может вывести вектор показателей, каждый показатель указывает, содержит ли текст текущего диалога отдельную категорию конфиденциальных данных. Такие показатели конфиденциальности текста могут быть определены для диалога в целом.

[0053] В некоторых вариантах осуществления процессор 58 обработки изображений (см. фиг.5 и 10) использует различные методы/алгоритмы для обнаружения различных характеристик изображения и/или видеоданных, которыми обмениваются в рамках диалога. Один примерный процессор 58 обработки изображений содержит оценщик наготы, сконфигурированный для возврата показателя, указывающего на вероятность того, что изображение содержит наготу. В альтернативном варианте осуществления оценщик наготы может вернуть множество показателей, каждый из которых указывает вероятность того, что изображение показывает конкретную часть тела (например, лицо, грудь, сосок, ногу), и/или то, что соответствующее изображение, вероятно, относятся к определенному типу образов (сексуальная активность, солнечные ванны и т.д.). В некоторых вариантах осуществления оценщик наготы дополнительно выполнен с возможностью возвращать индикатор того, является ли каждая видимая часть тела обнаженной или покрытой.

[0054] Фиг. 13 показывает несколько иллюстративных частей 60а-с тела, которые примерный оценщик наготы обучен обнаруживать в файле изображения, переданном как часть диалога, в соответствии с некоторыми вариантами осуществления настоящего изобретения. Каждая часть 60а-с тела включает часть человеческого тела, такую как голова, лицо, волосы, грудь, декольте, грудь, сосок, подгрудная область, живот, пупок, нижняя часть талии, промежность, гениталии, анус, ягодица, крестец, нижняя часть спины, средняя часть спины, лопатка, шея, затылок, верхняя часть руки, нижняя часть руки, кисть, бедро, верхняя часть ноги, голень, колено и ступня, среди прочего. Некоторые такие части тела могут перекрываться. Некоторые варианты осуществления дополнительно обучены определять, принадлежит ли часть тела, обнаруженная на изображении, мужчине или женщине.

[0055] В предпочтительном варианте осуществления оценщик наготы может содержать набор взаимосвязанных искусственных нейронных сетей, например стек сверточных нейронных сетей, дополнительно подаваемых на полностью связанный уровень. Соответствующий оценщик наготы может принимать проанализированное изображение в качестве входных данных и может быть сконфигурирован для вывода набора оценок и/или меток. Нейронные сети можно обучать на сборнике аннотированных изображений. Обучение нейронной сети может включать в себя итеративную настройку набора функциональных параметров (например, весов соединений) соответствующей нейронной сети в попытке уменьшить несоответствие между фактическим выводом сети и желаемым выводом, таким как тот, который предоставляется аннотацией.

[0056] Другой примерный процессор 58 обработки изображений содержит оценщик конфиденциальности изображения, сконфигурированный для возврата показателя, указывающего вероятность того, что соответствующее изображение содержит конфиденциальную информацию. Примеры конфиденциальных данных изображения включают изображение банковской карты, изображение официального документа, удостоверяющего личность, такого как водительские права, карточка социального страхования или паспорт, изображение номерного знака автомобиля, изображение дома/школы пользователя и т.д. Банковские карты включают, среди прочего, кредитные и дебетовые карты.

[0057] В некоторых вариантах осуществления, оценщик конфиденциальности изображения содержит набор взаимосвязанных искусственных нейронных сетей (например, сверточных нейронных сетей), обученных вводить изображение и выводить набор показателей и/или меток, указывающих вероятность того, что изображение попадает в рамки специализированной категории (например, изображение показывает определенный тип физического объекта, например банковскую карту). Соответствующие нейронные сети могут быть обучены на аннотированном сборнике, содержащем изображения различных видов документов в различных контекстах, например, банковские карты, выпущенные разными банками и имеющие различный дизайн, паспорта и/или водительские удостоверения, выданные разными странами и т.д.

[0058] Некоторые варианты осуществления детектируют присутствие физического объекта на изображении согласно характерным признакам соответствующего физического объекта. Например, чтобы обнаруживать наличие банковской карты, примерный оценщик конфиденциальности изображения может быть обучен обнаруживать изображение магнитной полосы, изображение собственноручной подписи, расположенной рядом с магнитной полосой, изображение встроенного микрочипа, изображение из 16 цифр, выровненных и разделенных на группы по четыре (т.е. номер карты), изображение логотипа VISA ® или MASTERCARD® и т.д. В случае карты социального страхования оценщик конфиденциальности изображения может быть обучен определять, содержит ли анализируемое изображение логотип управления социального обеспечения и/или набор из 11 цифр, выровненных и разделенных на три группы (т.е. номер социального страхования). Водительские удостоверения и паспорта также могут быть идентифицированы по характерным признакам, таким как фотография человеческой головы, и специфическому размещению различных данных в соответствующем документе.

[0059] В некоторых вариантах осуществления оценщик конфиденциальности изображения (например, нейронная сеть) может быть обучен выводить множество показателей, причем каждый показатель указывает на вероятность того, что анализируемое изображение показывает отличительную особенность банковской карты, карты социального обеспечения, и т.д. Например, один показатель может указывать на вероятность того, что изображение показывает встроенный микрочип карты, другой показатель может указывать на вероятность того, что изображение показывает логотип VISA® и т.д. Такие отдельные показатели затем могут быть агрегированы блоком 53 принятия решения, например, с использованием средневзвешенного значения или алгоритма принятия решения.

[0060] Некоторые варианты осуществления оценщика конфиденциальности изображений можно дополнительно обучить извлекать структурированные данные из проанализированных изображений. Например, помимо определения того, что изображение показывает кредитную карту, некоторые варианты осуществления могут определять тип карты (например, VISA®), банк-эмитент и т.д. Точно так же, помимо обнаружения изображения водительского удостоверения, некоторые варианты осуществления могут автоматически определять имя водителя и т.д.

[0061] В некоторых вариантах осуществления блок 53 принятия решений (фиг.9) вводит отдельные индикаторы 26-28 оценки, полученные от процессоров 56-58 обработки текста и/или изображений, соответственно, и выводит агрегированный индикатор 22 оценки риска, определенный в соответствии с отдельными индикаторами оценки риска. Примерный агрегированный индикатор 22 оценки риска определяется для диалога в целом и содержит набор показателей, где каждый показатель указывает вероятность отдельного типа угрозы или сценария (например, ссоры, травли, депрессии, сексуального раскрытия, груминга, потери конфиденциальных данных и т.д.). Агрегированные индикаторы 22 или показатели могут быть вычислены с использованием любого метода, известного в данной области техники. Один пример включает вычисление средневзвешенного значения отдельных оценочных индикаторов/ показателей. В другом примере агрегированный показатель определяется в соответствии с алгоритмом принятия решения: если показатель х соответствует ДА, а показатель у ниже 0,4, то агрегированный показатель составляет 0,8.

[0062] Агрегированный показатель за травлю может быть определен в соответствии со следующими наблюдениями. Травля обычно случается разрозненными вспышками, а не равномерно во время диалога. Обычно в оскорбительном диалоге бывает несколько таких вспышек. В некоторых вариантах осуществления, чтобы квалифицировать как травля, агрессивный язык должны быть постоянными в пределах отдельной вспышки (т.е. единичное оскорбительное сообщение не указывает на травлю). Чаще всего дети используют ненормативную лексику без намерения причинить вред. Обычно в такого рода взаимодействиях (т.е. без травли) проявляется дружеский язык, а общий тон диалога скорее позитивный или нейтральный. Наконец, во многих случаях агрессивный язык и сексуальный язык пересекаются.

[0063] Используя вышеупомянутые наблюдения, некоторые варианты осуществления сканируют каждый диалог с помощью окна фиксированной длины и фиксированного шага (то есть заранее определенного числа последовательных сообщений за раз). Для каждого такого сегмента диалога и каждого собеседника блок 53 принятия решений может создать вектор, в котором каждый элемент представляет комбинированный показатель, определенный для отдельного сообщения соответствующего диалога. Отдельные индикаторы оценки текста можно комбинировать следующим образом:

[0064] где S_i обозначает комбинированный показатель для конкретного сообщения, A_i и F_i обозначают показатель агрессивности и дружелюбия соответствующего сообщения, a X_i обозначает показатель сексуального содержания (например, секстинга) соответствующего сообщения. Например, могут возникнуть некоторые из следующих ситуаций: если сообщение является только агрессивным, соответствующий комбинированный показатель S_i, равен 1; если детектировано, что сообщение является одновременно агрессивным и сексуальным, комбинированный показатель S_i, равен 0 (сексуальный язык отменяет агрессивный язык); если детектировано, что сообщение является одновременно агрессивным и дружелюбным, комбинированный показатель S_i, также будет равен 0 (дружеский язык отменяет агрессивный язык).

[0065] На следующем этапе можно вычислить показатель концентрации агрессивности для текущего сегмента диалога, например, используя формулу:

[0066] где N обозначает общее число сообщений в соответствующем сегменте диалога, S_i представляет собой комбинированный показатель каждого сообщения соответствующего сегмента, a d_i обозначает интервал (например, число сообщений) между текущим сообщением и ближайшим агрессивным сообщение (например, с комбинированным показателем S_i = 1). Формула [2] дает относительно более высокое значение для сегментов диалога, которые содержат близко расположенные агрессивные сообщения, по сравнению с другими сегментами диалога. На следующем этапе значение С можно сравнить с заранее определенным пороговым значением (например, 0,5). Значение, превышающее пороговое значение, указывает на агрессивного пользователя для соответствующего сегмента диалога. Расчет может выполняться отдельно для каждого собеседника и каждого сегмента диалога. Некоторые варианты осуществления могут затем определять тип взаимоотношений между собеседниками, например: нормальные -ни один из собеседников не является чрезмерно агрессивным; травля - один из собеседников существенно агрессивнее другого; ссора - оба собеседника по существу и одинаково агрессивны. Для вынесения вердикта о травле некоторые варианты осуществления могут дополнительно определять, является ли обидчик пользователем отслеживаемого устройства 10 или нет, чтобы диспетчер 59 уведомлений мог включать такую информацию в родительское уведомление 24.

[0067] В некоторых вариантах осуществления специфичные для диалога индикаторы/показатели 22 оценки риска сравнивают с набором заранее определенных пороговых значений, специфичных для каждого типа угрозы. Показатель, превышающий соответствующее пороговое значение, может указывать на наличие соответствующей угрозы/сценария. Когда показатель превышает соответствующее пороговое значение, некоторые варианты осуществления диспетчера 59 уведомлений могут формулировать и отправлять родительское уведомление 24 на отчетное устройство 14.

[0068] Несколько примерных фрагментов диалога и связанное с ними оценивание показаны ниже.

[0069] Пример 1: Травля

[0070] Этот пример характеризуется существенным дисбалансом агрессии: пользователь А оскорбляет пользователя В, а В не отвечает тем же. Индикатор концентрации агрессивности, определенный согласно формуле [2], дает 2,0 для пользователя А и 0,0 для пользователя В. Некоторые варианты осуществления сравнивают разницу в агрессивности между двумя пользователями с пороговым значением (например, 0,5), и, поскольку разница превышает пороговое значение, определяют, что пользователь А значительно агрессивнее, чем В. Следовательно, А подвергает травле В.

[0071] Пример 2: Не травля

[0072] В этом примере агрессивный язык сосуществует с дружелюбным языком. Однако, показатель дружелюбия превышает показатель агрессивности, и формула [2] дает отрицательные значения для обоих собеседников. Поэтому диалог не классифицируется как травля.

[0073] Пример 3: Секстинг

[0074] В этом примере агрессивный язык сосуществует с секстингом, и, следовательно, показатель агрессивности аннулируется. Диалог не квалифицируется как травля, даже с учетом того, что только одна сторона диалога агрессивна.

[0075] Пороговые значения и/или другие оценочные параметры (например, веса, присвоенные конкретным показателям) могут быть адаптированы и/или скорректированы для отслеживаемого устройства, пользователя и/или категории пользователей, например, в соответствии с типом подписки или договором о сервисном обслуживании, что обеспечивает настраиваемую степень бдительности. Некоторые варианты осуществления основаны на наблюдении, что то, что считается «приемлемым поведением», может широко варьироваться между странами, культурами и даже отдельными людьми. Например, в некоторых странах и культурах женщины обязаны покрывать свои волосы на публике, поэтому изображение женщины с непокрытой головой может показаться неприемлемо откровенным, тогда как в других культурах это совершенно нормально. То же самое верно и для других частей тела, например, лодыжки или плеча. Даже в западных обществах консервативные семьи относятся строже к поведению детей и подростков, чем более либеральные. Например, для одних короткая юбка может показаться нормой, а для других - слишком откровенной. Следовательно, в некоторых вариантах осуществления настоящего изобретения пороговые значения и/или стратегии агрегирования оценок могут регулироваться в соответствии с персональным выбором, культурными критериями и/или в соответствии с географическим расположением устройств 10 и/или 14. В одном из таких примеров при установке и/или настройке программного обеспечения на отслеживаемом устройстве 10 и/или отчетном устройстве 14 пользователю может быть показан интерфейс конфигурации и предложено настроить набор критериев для получения родительских уведомлений. Например, пользователю может быть предложено выбрать общий уровень бдительности (например, по скользящей шкале от 0 до 10) и/или выбрать подмножество сценариев, которые должны инициировать уведомления из более широкого набора примерных сценариев. В некоторых вариантах осуществления программное обеспечение может автоматически выбирать набор значений параметров (например, сценарии уведомления, уровень бдительности и т.д.) в соответствии со страной и/или культурой соответствующего пользователя. Такой автоматический выбор может включать, например, автоматическое обнаружение геолокации отчетного устройства 14 и/или отслеживаемого устройства 10 и поиск в базе данных настроек, специфичных для местоположения. Такие настройки затем могут быть автоматически преобразованы в специфичные пороговые значения и/или другие параметры агрегирования показателей.

[0076] При определении агрегированного индикатора 22 оценки блок 53 принятия решения может комбинировать индикаторы оценки текста с индикаторами оценки изображения, определенными для того же диалога. В одном из таких примеров выходные данные оценщика сексуального содержания (текст) могут быть объединены с выходными данными оценщика наготы (изображение) для генерации агрегированного показателя сексуального содержания. Когда текст диалога включает сексуальное содержание, соответствующее содержание может просто представлять собой вульгарную лексику, используемую в словесной ссоре. Таким образом, показатель, присвоенный соответствующему диалогу оценщиком сексуального содержания, может быть недостаточно высокой, чтобы можно было отнести диалог к категории сексуальной угрозы. Однако, когда соответствующий диалог также включает в себя раскрывающееся изображение, показатель, выставленный оценщиком наготы, может быть объединен с показателем, возвращаемым текстовым процессором, для получения агрегированного показателя, который превышает соответствующее пороговое значение. Показатели могут быть комбинированы, например, как средневзвешенное значение, при этом каждый отдельный вес может отражать релевантность соответствующего показателя для конкретной угрозы/ситуации. На примере сексуального содержания, показатель, создаваемый процессором обработки изображений, может иметь более высокий вес, чем показатель, создаваемый процессором обработки текста.

[0077] При подготовке к отправке родительского уведомления 24 диспетчер 59 может идентифицировать соответствующего получателя соответствующего уведомления, то есть отчетное устройство 14. В некоторых вариантах осуществления услуги родительского контроля предоставляются в соответствии с подпиской и/или договором о сервисном обслуживании (SLA). Для предоставления таких услуг в некоторых вариантах осуществления поддерживается база данных записей подписки или учетных записей, в которой каждая запись может быть прикреплена к отчетному устройству 14, так что уведомления, сгенерированные в отношении соответствующей подписки/учетной записи, доставляются на соответствующее отчетное устройство. Отчетное устройство 14 может быть идентифицировано, например, по сетевому адресу или по уникальному идентификатору, сгенерированному программным агентом, исполняющимся на устройстве 14, и сконфигурированным для взаимодействия с сервером 18 при доставке уведомлений. Соответствующая запись о подписке/учетной записи может дополнительно указывать набор отслеживаемых устройств 10 в качестве целей для сбора и анализа данных диалога. Одна подписка/учетная запись может обслуживать несколько отслеживаемых устройств 10. Запись о подписке/учетной записи может дополнительно указывать на отслеживаемого пользователя устройства 10, например, в качестве имени пользователя, псевдонима и/или аватара, используемых отслеживаемым пользователем (например, несовершеннолетним) в приложении 48 обмена сообщениями. Связь между отслеживаемыми устройствами 10, пользователями и отчетным устройством 14 позволяет диспетчеру 59 выборочно идентифицировать отчетное устройство 14 в соответствии с идентификатором отслеживаемого устройства 10 и/или в соответствии с идентификатором пользователя устройства 10.

[0078] Доставка уведомления 24 может происходить в соответствии с любым способом, известным в данной области техники, например, путем отправки уведомления 24 программному агенту/приложению, исполняющемуся на отчетном устройстве 14, включая уведомление 24 в виде сообщения электронной почты или SMS и т.д.

[0079] Родительское уведомление 24 может содержать уведомление, сформулированное на естественном языке, например английском. Уведомляющие сообщения могут включать в себя индикатор детектированного инцидента/сценария/угрозы, например, травля ребенка, ребенок отправил конфиденциальную информацию и т.д. Чтобы сохранить конфиденциальность отслеживаемого пользователя, некоторые варианты осуществления не раскрывают фактическое содержание сообщения родителям/опекунам/администраторам. Некоторые варианты осуществления дополнительно включают родительские советы/предложения о том, как реагировать на соответствующий детектированный сценарий или угрозу, и/или набор психологических ресурсов (гиперссылки, литературные ссылки и т.д.), относящихся к соответствующему детектированному инциденту/угрозе. Уведомления могут быть сформулированы в максимально возможной степени, чтобы не тревожить родителя/опекуна и не раскрывать личности сторон, участвующих в соответствующих диалогах. При детектировании травли сообщение с уведомлением может указывать, является ли пользователь отслеживаемого устройства 10 источником или получателем оскорблений. Ниже приведены некоторые примеры уведомлений.

Кибертравля и антихищничество

[0080] Примеры уведомлений в ответ на сценарии/угрозы, детектированные с помощью анализа текста:

[0081] Ребенок вступает в словесную ссору один на один: «Дженни вовлечена в словесную ссору в чате под названием [название диалога]. Говоря о поведении в сети, напоминайте ребенку, что агрессия никогда не бывает «просто шуткой». Даже если кажется, что все это делают, это не нормально.

[0082] Ребенок подвергается травле один на один: «Дженни подвергается кибер травле в чате под названием [название диалога]. Выслушайте своего ребенка. Узнайте, что именно произошло, что она чувствовала и почему. Вот несколько советов о том, как начать диалог: [ссылка] »

[0083] Ребенок участвует в групповом чате и является единственным агрессивным: «Дженни участвует в словесном диспуте в групповом чате под названием [название диалога]. Ее поведение кажется агрессивным по отношению к собеседникам. Говоря о поведении в сети, напоминайте ребенку, что агрессия никогда не бывает «просто шуткой». Даже если кажется, что все это делают, это не нормально.

[0084] Ребенок участвует в групповой словесной ссоре, но не агрессивен: «Дженни участвует в словесном диспуте в групповом чате под названием [название диалога]. Ее поведение не кажется агрессивным по отношению к собеседникам. Говоря о поведении в сети, напоминайте ребенку, что агрессия никогда не бывает «просто шуткой». Даже если кажется, что все это делают, это не нормально» Безопасность детей, сексуальное хищничество и груминг

[0085] Примеры уведомлений в ответ на сценарии/угрозы, детектированные с помощью анализа текста:

[0086] Ребенок получает личный адрес: «Дженни получила личный адрес в диалоге под названием [название диалога]. Сохраняйте спокойствие и поговорите с ребенком лицом к лицу о важности конфиденциальности. Вот несколько советов о том, как начать диалог: [ссылка]»

[0087] Ребенка просят о личной встрече: «Дженни получила запрос на встречу в чате под названием [название диалога]. Спокойно поговорите с ребенком о просьбе встречи, желательно лично».

[0088] Ребенок соглашается на личную встречу: «Дженни согласилась на встречу в диалоги под названием [название диалога] в 19:00. Это не обязательно означает, что что-то не так. Может быть, просто хорошо, что вы это знаете»

[0089] У ребенка просят изображения: «Дженни получила запрос на фотографии в чате под названием [название диалога]. Напомните своим детям, что если они будут делиться всем, это сделает их уязвимыми. Как в сети, так и вне сети некоторые вещи должны оставаться конфиденциальными».

[0090] У ребенка появился новый контакт в социальных сетях: «Дженни начала общаться в сети с новым контактом в чате под названием [название диалога]. Сохраняйте хороший баланс. Новый контакт не обязательно означает неприятности, и вы не должны допрашивать ребенка. Тем не менее, вы можете проверить профиль нового контакта и обратить внимание на любые изменения в поведении вашего ребенка».

[0091] Примеры уведомлений в ответ на сценарии/угрозы, детектированные с использованием анализа изображений или комбинации текста и изображений:

[0092] Ребенок получает слишком открытую картинку. «Дженни получила фото с обнаженной натурой в чате под названием [название диалога]. Если вашему ребенку было отправлено изображение или видео сексуального характера, посоветуйте ему/ ей немедленно удалить их и не делиться ими с кем-либо. Поговорите об этом позже».

[0093] Ребенок отправляет слишком открытую картинку: «Дженни отправила изображение, содержащее наготу, в чат под названием [название диалога]. Сохраняйте спокойствие и начните диалог со своим ребенком, спросив: «Если бы вы поссорились с этим человеком, ты бы хотел(а), чтобы он отправил тебе эту фотографию?».

[0094] У ребенка есть открытая фотография, хранящаяся на ее устройстве: «На портативном устройстве Дженни обнаружен неподобающий медиа-контент. Если вашему ребенку было отправлено изображение или видео сексуального характера, посоветуйте ему/ ей немедленно удалить их и не делиться ими с кем-либо. Поговорите об этом позже».

Конфиденциальность, кража личных данных и безопасность семьи

[0095] Примеры уведомлений в ответ на случаи/угрозы, детектированные с помощью анализа текста:

[0096] У ребенка спрашивают ее личный адрес: «Кто-то спросил у Дженни личный адрес в чате под названием [название диалога]. Напомните своему ребенку, что ваш адрес должен сообщаться только с вашего согласия определенным людям ».

[0097] Ребенок отправляет свой личный адрес: «Дженни отправила личный адрес в диалоге под названием [название диалога]. Сохраняйте спокойствие и поговорите с ребенком лицом к лицу о важности конфиденциальности»

[0098] У ребенка спрашивают номера кредитных карт: «У Дженни спросили номер кредитной карты в чате под названием [название диалога]. Спокойно, но твердо посоветуйте ребенку не разглашать такую информацию. Обсудите последствия более подробно, лицом к лицу».

[0099] У ребенка спрашивают номер социального страхования: «У Дженни спросили номер социального страхования в чате под названием [название диалога]. Спокойно, но твердо посоветуйте ребенку не разглашать такую информацию. Обсудите последствия более подробно, лицом к лицу».

[0100] Ребенок отправляет номер кредитной карты в диалоге: «Дженни отправила номер кредитной карты в диалоге под названием [название диалога]. Сохраняйте спокойствие и поговорите с ребенком лицом к лицу о рисках разглашения финансовой информации».

[0101] Ребенок отправляет номер социального страхования в диалоге: «Дженни отправила номер социального страхования в диалоге под названием [название диалога]. Сохраняйте спокойствие и поговорите с ребенком лицом к лицу о рисках разглашения личной информации».

[0102] Примеры уведомлений в ответ на события/угрозы, детектированные с использованием анализа изображений или комбинации изображения и текста:

[0103] Ребенок отправляет фотографию кредитной карты: «Дженни отправила изображение кредитной карты в диалоге под названием [названиед налога]. Похоже, это карта Mastercard, выпущенная Chase. Детали этой кредитной карты теперь доступны онлайн и находятся во владении другого человека. Вы должны обезопасить соответствующую карту в соответствии с банковской процедурой. После этого спокойно, но твердо поговорите об этом со своим ребенком»

[0104] Ребенок отправляет фотографию карты социального страхования: «Дженни отправила фотографию карты социального страхования в диалоге под названием [название диалога]. Номером социального страхования теперь владеет другой человек. К вашему номеру социального страхования прикреплены различные конфиденциальные данные. Вот несколько шагов, которые вы можете предпринять, чтобы проверить, используется ли полученная информация в злонамеренных целях, таких как кража личных данных [ссылка]. Спокойно, но твердо поговорите об этом со своим ребенком».

[0105] Ребенок отправляет фотографию документа, удостоверяющего личность: «Дженни отправила фотографию документа, удостоверяющего личность, в диалоге под названием [название диалога]. Документ похож на американский паспорт. Спокойно, но твердо поговорите с ребенком о краже личных данных и/или рисках разглашения личной информации в Интернете»

[0106] На устройстве ребенка хранится фотография, на которой изображена кредитная карта. «На портативном устройстве Дженни было обнаружено изображение кредитной карты. Сохраняйте спокойствие и поговорите с ребенком лицом к лицу о рисках разглашения финансовой информации»

[0107] У ребенка есть фотография, хранящаяся на ее устройстве, фотография показывает удостоверение личности: «Фотография удостоверения личности была обнаружена на портативном устройстве Дженни. Сохраняйте спокойствие и поговорите с ребенком лицом к лицу о рисках разглашения личной информации».

[0108] Хотя приведенное выше описание относится к конфигурации, описанной на фиг.3 и 8, квалифицированный специалист поймет, что альтернативные варианты осуществления могут использовать другое распределение программных компонентов. Например, в некоторых вариантах осуществления анализатор 51 диалога и блок 53 принятия решения может исполняться на отслеживаемом устройстве 10 вместо сервера 18, как показано на фиг.8. В таких конфигурациях типичный обмен данными между устройством 10 и сервером 18 показан на фиг.2-В. Такие конфигурации могут иметь то преимущество, что все содержимое сообщения остается на отслеживаемом устройстве 10, таким образом обеспечивая конфиденциальность соответствующего пользователя. Недостатком является то, что операции анализатора 51 диалога и/или блока 53 принятия решений обычно требуют больших вычислительных ресурсов и могут создать неприемлемую нагрузку на относительно ограниченное устройство, такое как мобильный телефон или планшетный компьютер. Другим потенциальным недостатком выполнения обработки текста и/или изображения на отслеживаемом устройстве 10 является необходимость распространения обновлений программного обеспечения на все такие устройства. Напротив, когда анализ диалога исполняется на сервере 18 безопасности, одна машина может обрабатывать данные диалога, полученные от множества (возможно, тысяч) отслеживаемых устройств.

[0109] В еще одном альтернативном варианте осуществления агрегатор 54 сообщений может исполняться на сервере 18 безопасности вместо отслеживаемого устройства 10, как показано на фиг.4. В таких конфигурациях агрегатор 54 может принимать индикаторы сообщений от множества устройств. Такие конфигурации могут позволить агрегировать диалоги между несколькими устройствами, например, когда пользователь запускает обмен сообщениями FACEBOOK® на смартфоне, но продолжает его позже с персонального компьютера.

[0110] фиг.14 показывает примерную конфигурацию аппаратных средств вычислительного устройства 70, запрограммированного для выполнения некоторых из способов, описанных в данном документе. Устройство 70 может представлять собой любое из отслеживаемого устройства 10, сервера 18 безопасности и отчетного устройства 14 с фиг.1. Изображенная конфигурация соответствует конфигурации персонального компьютера; другие вычислительные устройства, такие как мобильные телефоны, планшетные компьютеры и носимые устройства, могут иметь немного другое аппаратное обеспечение. Процессор(ы) 72 содержат физическое устройство (например, микропроцессор, многоядерную интегральную схему, сформированную на полупроводниковой подложке), конфигурированное для исполнения вычислительных и/или логических операций с набором сигналов и/или данных. Такие сигналы или данные могут быть закодированы и доставлены в процессор(ы) 72 в форме инструкций процессора, например машинного кода. Процессор(ы) 72 может включать в себя центральный процессор (ЦП) и/или массив графических процессоров (ГП).

[0111] Блок 74 памяти может содержать энергозависимый машиночитаемый носитель (например, динамическое запоминающее устройство с произвольным доступом -DRAM), хранящий кодировки данных/сигналов/инструкций, к которым осуществляется доступ, или которые генерируются процессором или процессорами 72 в ходе выполнения операций. Устройства 76 ввода могут включать в себя компьютерные клавиатуры, мыши и микрофоны, среди прочего, в том числе соответствующие аппаратные интерфейсы и/или адаптеры, позволяющие пользователю вводить данные и/или инструкции в вычислительное устройство 70. Устройства 78 вывода могут включать в себя устройства отображения, такие как мониторы и динамики, среди прочего, а также аппаратные интерфейсы/адаптеры, такие как графические карты, позволяющие вычислительному устройству 70 передавать данные пользователю. В некоторых вариантах осуществления устройства 76-78 ввода и вывода совместно используют общее аппаратное оборудование (например, сенсорный экран). Устройства 82 хранения включают в себя машиночитаемые носители, обеспечивающие энергонезависимое хранение, чтение и запись программных инструкций и/или данных. Примерные устройства хранения включают в себя магнитные и оптические диски и устройства флэш-памяти, а также съемные носители, такие как CD и/или DVD диски и приводы. Сетевой адаптер или сетевые адаптеры 84 позволяют вычислительному устройству 70 подключаться к электронной коммуникационной сети (например, к сети 15 на фиг.1) и/или к другим устройствам/компьютерным системам.

[0112] Контроллер-концентратор 80 в целом представляет множество системных, периферийных шин и/или шин набора микросхем и/или всех других схем, обеспечивающих связь между процессором или процессорами 22 и остальными аппаратными компонентами устройства 70. Например, контроллер-концентратор 80 может включать контроллер памяти, контроллер ввода/вывода (I/O) и контроллер прерываний. В зависимости от производителя оборудования некоторые такие контроллеры могут быть включены в единую интегральную схему и/или могут быть интегрированы с процессором или процессорами 72. В другом примере контроллер-концентратор 80 может содержать процессор 72 подключения северного моста к памяти 74 и/или процессор 72 подключения южного моста к устройствам 76, 78, 82 и 84.

[0113] Для рядового специалиста в данной области техники также будет очевидно, что аспекты изобретения, как описано выше, могут быть реализованы в различных формах программного обеспечения, встроенного программного обеспечения и оборудования или их комбинации. Например, некоторые части изобретения могут быть описаны как специализированная аппаратная логика, которая выполняет одну или несколько функций. Эта специализированная логика может включать в себя специализированную интегральную схему (ASIC) или программируемую вентильную матрицу (FPGA). Фактический программный код или специализированное управляющее оборудование, используемое для реализации аспектов соответствует принципам изобретения не ограничивает настоящее изобретение. Таким образом, работа и поведение аспектов изобретения были описаны без ссылки на конкретный программный код - при этом понятно, что специалист в данной области техники сможет разработать программное обеспечение и аппаратное обеспечение для реализации аспектов на основе настоящего описания.

[0114] Примерные системы и способы, описанные в данном документе, позволяют защищать уязвимых пользователей сети Интернет (например, несовершеннолетних) от онлайн-угроз, таких как кибертравля, онлайн оскорблений, груминга, сексуальных домогательств или эксплуатации, а также кражи конфиденциальной информации, среди прочего. Такие системы и методы обычно относятся к категории родительского контроля. Однако некоторые системы и методы, описанные здесь, могут выходить за рамки классических приложений родительского контроля, например, для обнаружения оскорблений в Интернете, таких как расистские, сексистские или гомофобные выпады, совершенные против взрослых с использованием служб обмена сообщениями в Интернете.

[0115] В некоторых вариантах осуществления электронные сообщения, которыми обменивается отслеживаемый пользователь, автоматически и тайно собираются с электронного устройства (например, смартфона, планшетного компьютера), который соответствующий пользователь использует для связи. Затем сообщения выборочно объединяются в диалоги, состоящие из сообщений, которыми обмениваются одни и те же собеседники. Затем данные диалога анализируются по различным критериям. Когда в результате анализа приходят к выводу, что отслеживаемый пользователь подвергается онлайн-угрозе, некоторые варианты осуществления передают сообщение с уведомлением смотрителю соответствующего пользователя (например, родителю, учителю, менеджеру и т.д.).

[0116] Некоторые варианты осуществления основаны на наблюдении, что социальная динамика, вовлеченная в опасные сценарии, такие как травля, относительно сложна. Следовательно, при определении того, подвергается ли пользователь такой онлайн-угрозе, некоторые варианты осуществления агрегируют информацию из множества сообщений и/или множества аспектов диалога. Например, некоторые варианты осуществления объединяют результат анализа текста диалога с результатом анализа изображения, переданного как часть соответствующего диалога. В свою очередь, анализ текстовой части также может быть многогранным: в некоторых вариантах совмещены оценки агрессивности, дружелюбия и сексуального содержания диалога.

[0117] Другие примерные варианты осуществления объединяют анализ изображения с анализом текста, чтобы определить, участвует ли отслеживаемый пользователь в рискованном поведении по раскрытию конфиденциальной информации, такой как данные кредитной карты и номера социального страхования, среди прочего. В одном из таких примеров изображения, собранные из электронных сообщений, анализируются, чтобы определить, содержат ли они фотографию банковской карты, карты социального страхования, водительских прав и т.д. Обнаружение такого изображения может вызвать уведомление родителей.

[0118] Специалисту в данной области техники понятно, что вышеупомянутые варианты осуществления могут быть различным образом изменены, без выхода при этом за рамки объема правовой охраны настоящего изобретения. Соответственно, объем правовой охраны настоящего изобретения определен следующей ниже формулой изобретения и ее юридическими эквивалентами.