СПОСОБ ОПРЕДЕЛЕНИЯ ТРЕНДА ПОКАЗАТЕЛЯ СТЕПЕНИ ВОВЛЕЧЕННОСТИ ПОЛЬЗОВАТЕЛЯ

Область техники

[01] Настоящее техническое решение относится к способам и системам для определения тренда показателя степени вовлеченности пользователя в отношения с веб-сервисом.

Уровень техники

[02] За последние годы А/В тестирование на современном уровне техники стало инструментом улучшения веб-сервисов на основе ориентированных на данные решений. А/В тестирование сравнивает два варианта сервиса одновременно, обычно его текущую версию (контрольную версию) и новую (тестовую версию, к которой применяется эксперимент), предлагая их двум группам пользователей. Оно используется большим количеством различных поставщиков услуг, включая поисковые системы и социальные сети. Самые большие веб-сервисы разрабатывают специальные экспериментальные платформы, которые позволяют им проводить А/В тестирование на огромных выборках.

[03] Одной из целей А/В тестирования является обнаружение обычного эффекта на пользователя, который использует участвующий в эксперименте веб-сервис. Открытой проблемой является выбор подходящего критерия, применимого на практике, поскольку критерий должен соответствовать двум определяющим условиям, которые часто противоречат друг другу.

[04] Во-первых, критерий должен предоставлять количественное значение, которое позволит сделать заключение об изменении качества системы, в частности, о признаке и степени этого изменения. Другими словами, значение критерия должно обладать четкой интерпретацией. В данной области техники известно, что многие критерии могут привести к противоречивым интерпретациям, и их использование на практике может вводить в заблуждение. Следовательно, верный выбор подходящего критерия является сложной задачей.

[05] Во-вторых, когда существует эффект условий опыта (например, эффект модификаций на поведении пользователя), критерий должен определять различие двух версий системы на высоком уровне статистической значимости для различения эффекта условий опыта в шуме, наблюдаемом, когда эффект условий опыта не проявляется. Это качество называется чувствительностью измерения. Распространенной проблемой является низкая чувствительность показателей в тех случаях, когда тестируется лишь незначительная модификация, или когда изменение в системе влияет лишь на небольшой объем пользовательского трафика.

[06] Критерии текущего уровня техники для оценки производительности двух версий, в основном, основаны на средних значениях показателей пользовательского поведения. Тем не менее, недостатком этого критерия являются средние значения показателей пользовательского поведения, которые усредняются за экспериментальный период, и могут не отражать общий тренд вовлеченности пользователя за экспериментальный период.

Раскрытие

[07] Задачей предлагаемого технического решения является устранение по меньшей мере некоторых недостатков, присущих известному уровню техники.

[08] Одним из объектов настоящего технического решения является исполняемый на компьютере способ определения показателя степени вовлеченности пользователя в отношения с веб-сервисом, способ выполняется сервером. Способ включает в себя получение сервером множества запросов пользовательских устройств, которые относятся к веб-сервису за экспериментальный период, множество запросов пользовательских устройств производятся от множества пользовательских устройств; предоставление сервером тестовой версии веб-сервиса тестовой группе, выбранной из множества пользовательских устройств, тестовая версия веб-сервиса является веб-сервисом, к которому был применен эксперимент; предоставление сервером контрольной версии веб-сервиса контрольной группе, выбранной из множества пользовательских устройств, контрольная версия веб-ресурса является версией веб-сервиса, к которой не был применен эксперимент; получение показателя амплитуды и показателя фазы для каждого из пользовательских устройств из контрольной и тестовой групп. Получение включает в себя, для данного одного из пользовательских устройств из контрольной и тестовой групп, получение сервером множества указаний для данного устройства, множество указаний основано на взаимодействиях данного устройства с соответствующим ему веб-сервисом, получение доступа ко множеству указаний для данного устройства, вычисление периодичности показателя на основе, по меньшей мере частично, на дискретном преобразовании, которое выполняется на множестве указаний, вычисление показателя амплитуды на основе, по меньшей мере частично, на величине показателя периодичности, показатель амплитуды представляет собой величину изменения показателя степени вовлеченности пользователя в отношения с соответствующим веб-сервисом, и вычисление показателя фазы на основе, по меньшей мере частично, на мнимой части показателя периодичности, показатель фазы представляет собой направление изменения показателя степени вовлеченности пользователя в отношения с соответствующим веб-сервисом. Способ дополнительно включает в себя определение сервером средней группы показателей, включая вычисления среднего контрольного показателя амплитуды путем усреднения показателей амплитуды, вычисленных для каждого из пользовательских устройств контрольной группы, вычисление среднего тестового показателя амплитуды путем усреднения показателей амплитуды, вычисленных для каждого из пользовательских устройств тестовой группы, и вычисление среднего тестового показателя фазы путем усреднения показателей фазы, вычисленных для каждого из пользовательских устройств тестовой группы; и определение тренда показателя степени вовлеченности пользователя в отношения с веб-сервисом, определение тренда основано на анализе среднего контрольного показателя амплитуды и средних тестовых показателей амплитуды и фазы.

[09] В некоторых вариантах осуществления настоящего технического решения, анализ среднего контрольного показателя амплитуды и средних тестовых показателей амплитуды и фазы включает в себя определение разницы между средним тестовым показателем амплитуды и средним контрольным показателем амплитуды.

[10] В некоторых вариантах осуществления настоящего технического решения, способ дополнительно включает в себя определение того, что эксперимент, применяемый к веб-сервису, инициировал возрастание тренда показателя степени вовлеченности пользователя по сравнению с веб-сервисом, к которому не применялся эксперимент, причем разница между средним тестовым показателем амплитуды и средним контрольным показателем амплитуды является положительной, и средний тестовый показатель фазы является положительным.

[11] В некоторых вариантах осуществления настоящего технического решения, возрастающее значение показателя степени вовлеченности пользователя указывает на положительный эффект эксперимента на вовлеченность пользователя, и возрастающий тренд в показателе степени вовлеченности пользователя указывает на возрастание вовлеченности пользователя за экспериментальный период.

[12] В некоторых вариантах осуществления настоящего технического решения, способ дополнительно включает в себя определение того, что эксперимент, применяемый к веб-сервису, инициировал возрастание тренда показателя степени вовлеченности пользователя по сравнению с веб-сервисом, к которому не применялся эксперимент, причем разница между средним тестовым показателем амплитуды и средним контрольным показателем амплитуды является отрицательной, и средний тестовый показатель фазы является отрицательным.

[13] В некоторых вариантах осуществления настоящего технического решения, убывающее значение показателя степени вовлеченности пользователя указывает на положительный эффект эксперимента на вовлеченность пользователя, и возрастающий тренд в показателе степени вовлеченности пользователя указывает на снижение вовлеченности пользователя.

[14] В некоторых вариантах осуществления настоящего технического решения, способ дополнительно включает в себя определение того, что эксперимент, применяемый к веб-сервису, инициировал убывание тренда показателя степени вовлеченности пользователя по сравнению с веб-сервисом, к которому не применялся эксперимент, причем разница между средним тестовым показателем амплитуды и средним контрольным показателем амплитуды является положительной, и средний тестовый показатель фазы является отрицательным.

[15] В некоторых вариантах осуществления настоящего технического решения, убывающее значение показателя степени вовлеченности пользователя указывает на положительный эффект эксперимента на вовлеченность пользователя, и убывающий тренд в показателе степени вовлеченности пользователя указывает на снижение вовлеченности пользователя.

[16] В некоторых вариантах осуществления настоящего технического решения, способ дополнительно включает в себя определение того, что эксперимент, применяемый к веб-сервису, инициировал убывание тренда показателя степени вовлеченности пользователя по сравнению с немодифицированной версией веб-сервиса, причем разница между средним тестовым показателем амплитуды и средним контрольным показателем амплитуды является отрицательной, и средний тестовый показатель фазы является положительным.

[17] В некоторых вариантах осуществления настоящего технического решения, убывающее значение показателя степени вовлеченности пользователя указывает на положительный эффект эксперимента на вовлеченность пользователя, и убывающий тренд в показателе степени вовлеченности пользователя указывает на увеличение вовлеченности пользователя.

[18] В некоторых вариантах осуществления настоящего технического решения, взаимодействия данного пользовательского устройства включают в себя по меньшей мере число сеансов.

[19] В некоторых вариантах осуществления настоящего технического решения, взаимодействия данного пользовательского устройства включают в себя по меньшей мере время покоя.

[20] В некоторых вариантах осуществления настоящего технического решения, взаимодействия данного пользовательского устройства включают в себя по меньшей мере время сеанса.

[21] В некоторых вариантах осуществления настоящего технического решения, взаимодействия данного пользовательского устройства включают в себя по меньшей мере число кликов.

[22] В некоторых вариантах осуществления настоящего технического решения, дискретное преобразование выполняется с помощью дискретного преобразования Фурье.

[23] В некоторых вариантах осуществления настоящего технического решения, дискретное преобразование выполняется с помощью по меньшей мере одного из вейвлет преобразования и преобразования Лапласа.

[24] В некоторых вариантах осуществления настоящего технического решения, взаимодействия данного пользовательского устройства включают в себя по меньшей мере число запросов.

[25] В некоторых вариантах осуществления настоящего технического решения, веб-сервис представляет собой поисковую систему.

[26] В некоторых вариантах осуществления настоящего технического решения, веб-сервис представляет собой страницу результатов поиска.

[27] Другим объектом настоящего технического решения является сервер, включающий в себя процессор, который выполнен с возможностью определять тренд показателя степени вовлеченности пользователя по отношению к экспериментальному веб-сервису. Процессор выполнен с возможностью осуществлять: получение сервером множества запросов пользовательских устройств, которые относятся к веб-сервису за экспериментальный период, множество запросов пользовательских устройств производятся от множества пользовательских устройств; предоставление сервером тестовой версии веб-сервиса тестовой группе, выбранной из множества пользовательских устройств, тестовая версия веб-сервиса является веб-сервисом, к которому был применен эксперимент; предоставление сервером контрольной версии веб-сервиса контрольной группе, выбранной из множества пользовательских устройств, контрольная версия веб-ресурса является версией веб-сервиса, к которой не был применен эксперимент; получение показателя амплитуды и показателя фазы для каждого из пользовательских устройств из контрольной и тестовой групп. Получение включает в себя, для данного одного из пользовательских устройств из контрольной и тестовой групп, получение сервером множества указаний для данного устройства, множество указаний основано на взаимодействиях данного устройства с соответствующим ему веб-сервисом, получение доступа ко множеству указаний для данного устройства, вычисление периодичности показателя на основе, по меньшей мере частично, на дискретном преобразовании, которое выполняется на множестве указаний, вычисление показателя амплитуды на основе, по меньшей мере частично, на величине показателя периодичности, показатель амплитуды представляет собой величину изменения показателя степени вовлеченности пользователя в отношения с соответствующим веб-сервисом, и вычисление показателя фазы на основе, по меньшей мере частично, на мнимой части показателя периодичности, показатель фазы представляет собой направление изменения показателя степени вовлеченности пользователя в отношения с соответствующим веб-сервисом. Процессор дополнительно выполнен с возможностью осуществлять определение сервером средней группы показателей, включая вычисление среднего контрольного показателя амплитуды путем усреднения показателей амплитуды, вычисленных для каждого из пользовательских устройств контрольной группы, вычисление среднего тестового показателя амплитуды путем усреднения показателей амплитуды, вычисленных для каждого из пользовательских устройств тестовой группы, вычисление среднего контрольного показателя фазы путем усреднения показателей фазы, вычисленных для каждого из пользовательских устройств контрольной группы, и вычисление среднего тестового показателя фазы путем усреднения показателей фазы, вычисленных для каждого из пользовательских устройств тестовой группы; и определение тренда показателя степени вовлеченности пользователя в отношения с веб-сервисом, определение тренда основано на анализе средних контрольных показателей амплитуды и фазы и средних тестовых показателей амплитуды и фазы.

[28] В некоторых вариантах осуществления настоящего технического решения сервер может быть реализован как поисковая система.

[29] В некоторых вариантах осуществления настоящего технического решения, веб-сервис является страницей результатов поиска.

[30] В контексте настоящего описания, если четко не указано иное, «электронное устройство», «пользовательское устройство», «сервер» и «компьютерная система» подразумевают под собой аппаратное и/или системное обеспечение, подходящее к решению соответствующей задачи. Таким образом, некоторые неограничивающие примеры аппаратного и/или программного обеспечения включают в себя компьютеры (серверы, настольные компьютеры, ноутбуки, нетбуки и так далее), смартфоны, планшеты, сетевое оборудование (маршрутизаторы, коммутаторы, шлюзы и так далее) и/или их комбинацию.

[31] В контексте настоящего описания, если четко не указано иное, "машиночитаемый носитель" и "память" подразумевает под собой носитель абсолютно любого типа и характера, не ограничивающие примеры включают в себя ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB-ключи, флеш-карты, твердотельные накопители и накопители на магнитной ленте.

[32] В контексте настоящего описания, если конкретно не указано иное, слова «первый», «второй», «третий» и т.д. используются в виде прилагательных исключительно для того, чтобы отличать существительные, к которым они относятся, друг от друга, а не для целей описания какой-либо конкретной взаимосвязи между этими существительными. Так, например, следует иметь в виду, что использование терминов «первый сервер» и «третий сервер» не подразумевает какого-либо порядка, отнесения к определенному типу, хронологии, иерархии или ранжирования (например) серверов/между серверами, равно как и их использование (само по себе) не предполагает, что некий "второй сервер" обязательно должен существовать в той или иной ситуации. В дальнейшем, как указано здесь в других контекстах, упоминание «первого» элемента и «второго» элемента не исключает возможности того, что это один и тот же фактический реальный элемент. Так, например, в некоторых случаях, «первый» сервер и «второй» сервер могут являться одним и тем же программным и/или аппаратным обеспечением, а в других случаях они могут являться разным программным и/или аппаратным обеспечением.

Краткое описание чертежей

[33] Для лучшего понимания настоящего технического решения, а также других его аспектов и характерных черт сделана ссылка на следующее описание, которое должно использоваться в сочетании с прилагаемыми чертежами, где:

[34] На Фиг. 1 изображена принципиальная схема неограничивающего варианта осуществления исполняемой на компьютере системы, выполненного в соответствии с настоящим техническим решением;

[35] На Фиг. 2 изображена другая принципиальная схема неограничивающего варианта осуществления исполняемой на компьютере системы, показанной на Фиг. 1;

[36] На Фиг. 3 показано схематическое изображение неограничивающего варианта осуществления исполняемого на компьютере способа, выполненного в соответствии с настоящим техническим решением.

[37] На Фиг. 4 представлен пример таблицы данных, отображающей множество указаний пользователя для двух пользовательских устройств за десятидневный экспериментальный период, таблица данных расположена на сервере системы, показанной на Фиг. 1; и [38] На Фиг. 5 изображена блок-схема неограничивающего варианта осуществления технического решения, исполняемого на компьютере способа, показанного на Фиг. 3.

Осуществление

[39] Настоящее подробное описание представлено только как описание иллюстративных примеров настоящего технического решения. Это описание не предназначено для определения объема или установления границ настоящего технического решения. В некоторых случаях, полезные примеры модификаций настоящего технического решения также могут быть охвачены нижеследующим описанием с целью помощи в понимании технического решения, а не с целью установления границ настоящего технического решения. Эти модификации не являются исчерпывающим списком, и возможны также и другие модификации. Кроме того, это не должно интерпретироваться так, что там, где не были изложены примеры модификаций, никакие модификации невозможны, и/или что то, что описано, является единственным вариантом осуществления этого конкретного аспекта настоящего технического решения. Кроме того, следует иметь в виду, что настоящее подробное описание представляет собой в некоторых конкретных аспектах достаточно простой вариант осуществления настоящего технического решения, и в подобных случаях представлено в подобном виде только с целью облегчения понимания технического решения. Различные варианты осуществления настоящего технического решения могут обладать гораздо большей сложностью.

[40] На Фиг. 1 и Фиг. 2 представлена упрощенная версия исполняемой на компьютере системы 100 (или просто системы 100), выполненной в соответствии с неограничивающими вариантами осуществления настоящего технического решения. Система 100 включает в себя сеть 150, которая позволяет связываться различным компонентам системы. В других неограничивающих вариантах осуществления технического решения, сеть 150 может быть реализована как сеть 150 Интернет. В других вариантах осуществления настоящего технического решения, сеть 150 может быть реализована иначе - в виде глобальной сети 150 передачи данных, локальной сети 150 передачи данных и т.п.

[41] Пользовательские устройства 1101, 1102, 1103, 1104, 1105, 1106 (1101-1106) также включены в систему 100, каждое пользовательское устройство 1101-1106 является устройством, которое использует пользователь системы 100, на Фиг. 1 явно показаны только пользовательские устройства 1101, 1102 и 1106. Пользовательские устройства 1101-1106 соединены с сетью 150, и пользовательские устройства 1101-1106 могут передавать и получать информацию от других компонентов системы 100. Несмотря на то, что представлено только шесть пользовательских устройств 1101-1106 (все показаны на Фиг. 2, и Фиг. 1), подразумевается, что любое число пользовательских устройств 1101-1106 может быть соединено с системой 100. Далее подразумевается, что в некоторых вариантах осуществления технического решения, число пользовательских устройств 1101-1106, которые включены в систему 100, может достигать десятков или сотен тысяч.

[42] Пользовательские устройства 1101-1106 представляют собой ноутбуки 1101-1106, как показано на Фиг. 1. Тем не менее, различные типы пользовательских устройств 1101-1106 могут быть использованы в контексте настоящего технического решения. Подразумевается, например, что пользовательское устройство 1101-1106 может представлять собой смартфон, планшет, ноутбук, компьютер, телевизор, игровую консоль или любой другой тип пользовательского устройства 1101-1106, с которым возможно осуществлять связь по сети 150. Пользовательское устройство 1101-1106 может быть связано с сетью 150 напрямую или через экстранет-сервер, Wi-Fi точку, поставщика интернет услуг, поставщика мобильной связи и так далее.

[43] Сервер 120 обладает процессором 130, который также включен в систему 100. Сервер 120 соединен через сеть 150, причем сервер 120 может передавать и получать информацию от других компонентов системы 100. На Фиг. 1 представлен только один сервер, но подразумевается, что система 100 может включать в себя два или более серверов 120. Также подразумевается, что сервер 120 может представлять собой множество соединенных серверов 120, которые совместно (параллельно или последовательно) выполняют различные процедуры, которые будут описаны ниже.

[44] Для упрощения настоящего описания, система 100 представлена только с двумя категориями нодов, а именно - пользовательское устройство 1101-1106 и сервер 120, связанные через сеть 150. Подразумевается, тем не менее, что система 100 может включать в себя большее число категорий нодов, и в рамках каждой категории нодов может быть использовано множество типов оборудования. Подразумевается, что система 100 может включать в себя дополнительные серверы 120, серверы веб сайта, серверы предоставляют веб-сервис, системы хранения, базы данных и дальнейшие сети. Каждая категория нодов может связываться с другими категориями нодов в соответствии с установленными протоколами и стандартами. Дополнительно подразумевается, что число каждых нодов может отличаться в других вариантах осуществления технического решения.

[45] Способ 400 для определения тренда степени вовлеченности пользователя в отношении экспериментального веб-сервиса в соответствии с настоящим техническим решением далее будет описан в общем виде со ссылкой на Фиг. 3, на которой представлен общий вид способа 400. Более подробное описание конкретных этапов и характеристик способа 400 будет описано со ссылкой на Фиг. 5; общий вид предоставляется для более общего понимания способа 400, соответствующего настоящему техническому решению.

[46] Первая часть способа 400 представляет собой экспериментальный период 402, за время которого к веб-сервису применяется эксперимент, который проверяется в отношении вовлеченности пользователя. За время экспериментального периода 402, сервер 120 получает множество запросов 1151-1156 на веб-сервис от пользовательских устройств 1101-1106 по сети 150, как показано на Фиг. 1.

[47] Как показано на Фиг. 2, часть пользовательских устройств 1101-1106 выбирается как контрольная группа 210. Контрольная группа 210, которая состоит из пользовательских устройств 1101, 1102, 1103, получает контрольную версию 200 веб-сервиса от сервера 120 на время экспериментального периода 402. Аналогично, часть пользовательских устройств 1101-1106 выбирается как тестовая группа 260. Тестовая группа 260, которая состоит из пользовательских устройств 1104, 1105, 1106, получает тестовую версию 200 веб-сервиса от сервера 120 на время экспериментального периода 402. Тестовая версия 250 веб-сервиса является версией веб-сервиса, к которой применяется эксперимент. Примерами экспериментов могут являться, без установления ограничений: эстетический вид веб-сервиса, алгоритм представления и изменение в ранжировании или способе поиска. Контрольная версия 200 веб-сервиса является версией веб-сервиса, к которой не применяется эксперимент. Часто, контрольная версия 200 представляет собой версию веб-сервиса, которая была ранее протестирована для пользователей и для которой ожидается хорошая степень вовлеченности пользователей. Подразумевается, что контрольная версия 200 может получить менее хорошие отзывы при тестировании.

[48] За время экспериментального периода 402, при каждом запросе 1151-1156, пользовательские устройства 1101-1106 взаимодействуют с соответствующей версией 200, 250 веб-сервиса. Указания на множество взаимодействий пользовательских устройств 1101-1106 с соответствующей версией 200, 250 далее получает 441 сервер 120. Сервер 120 далее может получать 441 множество указаний либо во время экспериментального периода 402, либо после его завершения.

[49] После завершения экспериментального периода 402, способ 400 продолжается на этапе определения показателей амплитуды 342 и фазы 344 в отношении степени вовлеченности пользователя каждого пользовательского устройства 1101-1106. Сначала сервер 120 получает 441 множество указаний, если это не было осуществлено за время экспериментального периода 402, и далее сервер 120 получает 442 доступ к этим указаниям для выполнения серии вычислений. Подразумевается, что получение 441 может включать в себя, без установления ограничений, сохранение указаний в хранилище сервера 120. Аналогично подразумевается, что получение 442 доступа может включать в себя, без установления ограничений, получение множества указаний из хранилища сервера 120 и подготовку множества указаний в виде таблицы данных, например, таблицы 300 данных, которая показана на Фиг. 4, или аналогичной информационной структуры для подготовки данных, с которыми будет работать сервер 120. Пример того как множество указаний на два из пользовательских устройств 1101-1106 организовано в таблицу данных показан на Фиг. 4 и будет более подробно описан далее.

[50] Сервер 120 вычисляет 443 показатель периодичности для каждого пользовательского устройства 1101-1106, в общем случае на основе дискретного преобразования набора данных, созданных из множества указаний. Сервер 120 далее вычисляет 444, 445 показатели амплитуды 342 и фазы 344 на основе величины и мнимых частей показателя периодичности соответственно. Вычисление 443, 444, 445 будет более подробно описано далее.

[51] После того как показатели периодичности, амплитуды 342 и фазы 344 были вычислены 443, 444, 445 для каждого из пользовательских устройств 1101-1106, определяются 450 средние показатели для контрольной и тестовой групп 210, 260. Для контрольной группы 210 сервер вычисляет 451 средний контрольный показатель 351 амплитуды, который в общем случае представляет собой величину изменения в степени вовлеченности пользователя за экспериментальный период 402 в среднем для членов контрольной группы 210. Аналогично, сервер вычисляет 452 средний тестовый показатель 352 амплитуды для тестовой группы 260, который в общем случае представляет собой величину изменения в степени вовлеченности пользователя в среднем для членов тестовой группы 260. Средний тестовый показатель 354 фазы также вычисляется 454, который в общем случае представляет собой тренд изменения в степени вовлеченности пользователя за экспериментальный период 402 в среднем для членов контрольной группы 210.

[52] Способ 400 далее определяет 460 тренд в степени вовлеченности пользователя с учетом применения эксперимента к веб-сервису, конкретно путем анализа средних показателей 351, 352, 354 контрольной группы 210 и тестовой группы 260. Как будет более подробно описано далее, тренд в степени вовлеченности пользователя должен учитываться в отношении конкретного показателя степени вовлеченности пользователя (типа взаимодействия, представленного множеством указателей) для определения того, произвел ли эксперимент положительный или отрицательный эффект на степень вовлеченности пользователя в целом.

[53] Этапы и свойства способа 400 теперь будут описаны более подробно в отношении линейной блок-схемы варианта осуществления способа 400 в соответствии с неограничивающими вариантами осуществления настоящего технического решения настоящего технического решения, как указано на Фиг. 5. Исполняемый на компьютере способ 400 для определения тренда в степени вовлеченности пользователя в отношения с веб-сервисом выполняется сервером 120 компьютерной системы, например, системы 100.

[54] Веб-сервис может предоставляться либо напрямую от сервера 120, либо от сервера веб-сервиса через или по запросу сервера 120. Веб-сервис может включать в себя, без установления ограничений: веб-сайт поисковой системы, страницу результатов поиска, веб-страницу и веб-сайт. Веб-сервис может далее включать в себя любой вычислительный сервис, доступный по сети 150. В некоторых вариантах осуществления настоящего технического решения, подразумевается, что сервер 120 может просто направлять запросы пользовательского устройства, отслеживать взаимодействия и/или получать взаимодействия после экспериментального периода 402.

[55] Конкретный эксперимент, применяемый к веб-серверу, как правило, зависит от типа рассматриваемого веб-сервиса. Подразумевается, что эксперимент может включать в себя огромное количество возможных вариантов, включая, без установления ограничений: эстетические изменения домашней страницы веб-сервиса и экспериментальные алгоритмы ранжирования, которые используются для результатов поиска на странице результатов поиска.

[56] Контрольная версия 200 предоставляется для того чтобы определить, происходят ли перемены в степени вовлеченности пользователя, которые фиксируются за экспериментальный период 402 на пользовательском устройстве 1104, 1105, 1106, из-за самого эксперимента или вызваны иными причинами. Как и во многих других подобных случаях, перемены в результатах контрольной группы 210 сравниваются с соответствующими результатами тестовый группы 260. Любые дополнительные отличия, зафиксированные в тестовой группе 260 за время экспериментального периода 402, считаются связанными с экспериментом.

[57] Способ 400 начинается с получения 410 сервером 120 множества запросов 1151-1156 пользовательского устройства в отношения с веб-сервисом за время экспериментального периода 402, множество запросов 1151-1156 пользовательских устройств поступает от множества пользовательских устройств 1101-1106 (см. Фиг. 1). Поскольку только один запрос 1151-1156 пользовательских устройств показан как исходящий от каждого пользовательского устройства 1101-1106, следует иметь в виду, что он является только примером, и что множество запросов 1151-1156 пользовательских устройств исходит от каждого пользовательского устройства 1101-1106 за экспериментальный период 402.

[58] Запросы 1151 -1156 пользовательских устройств, в случае веб-сервиса, который, например, является страницей результатов поиска, будут представлять собой поисковые запросы, введенные пользователем в поисковую систему. Подразумевается, что запросы 1151-1156 пользовательских устройств могут представлять собой, без установления ограничений, запросы на доступ к веб-сайтам и запросы на получение веб-сервиса. Также подразумевается, что запросы 1151-1156 пользовательских устройств могут быть созданы автоматически пользовательскими устройствами 1101-1106 в некоторых вариантах осуществления настоящего технического решения.

[59] Способ 400 продолжается с тестовой группой 260, которая состоит из пользовательских устройств 1104, 1105, 1106, на которую поступает 420 тестовая версия 250 веб-сервиса от сервера 120 на время экспериментального периода 402. Аналогично, контрольная группа 210, которая состоит из пользовательских устройств 1101, 1102, 1103, получает 430 контрольную версию 200 веб-сервиса от сервера 120 на время экспериментального периода 402.

[60] В настоящем варианте осуществления технического решения, половина пользовательских устройств 1101-1106 выбирается для контрольной группы и половина для тестовой группы 260, подразумевается, что контрольная и тестовая группы 210, 260 могут быть сформированы из больших или меньших частей от общего числа пользовательских устройств 1101-1106. Также подразумевается, что некоторые запросы 1151-1156 пользовательских устройств могут быть полностью исключены из эксперимента, поскольку предоставляются другой версией веб-сервиса.

[61] Подразумевается, что этапы предоставления 420 тестовой версии 250 и предоставления 430 контрольной версии 200 могут происходить в этом порядке или же обратном. Поскольку этапы 420, 430 могут повторяться много раз для каждого или всех пользовательских устройств 1101-1106, поскольку пользователи обращаются к веб-сервису множество раз за время экспериментального периода 402, в некоторых вариантах осуществления технического решения этапы 420 и 430 также выполняются одновременно.

[62] Способ 400 продолжается при получении 440 показателя 342 амплитуды и показателя 344 фазы для каждого из пользовательских устройств 1101-1106 из контрольной и тестовой групп 210, 260. Для простоты назовем одно пользовательское устройство из пользовательских устройств 1101-1106 при выполнении этапов получения 440, пользовательским устройством 110y. Получение 440 включает в себя под-этапы для каждого из пользовательских устройств 1101-1106 из контрольной и тестовой групп 210, 260.

[63] Для каждого пользовательского устройства 110y, получение 440 начинается с получения 441 сервером 120 множества указаний для пользовательского устройства 110y с его соответствующим веб-сервером, либо тестовой версии 250, либо контрольной версии 200.

[64] Эти указания являются данными, которые представляют индикаторы пользователя и взаимодействий пользовательского устройства с веб-сервисом или, конкретнее, соответствующую контрольную 200 или экспериментальную 250 версию веб-сервиса. Эти указания могут включать в себя, без установления ограничений: число сеансов, настоящее время, введение запроса, число введенных запросов, число кликов, число кликов на запрос и время отсутствия. Указания могут представлять собой данные, связанные с любым указанием, которое представляет степень вовлеченности пользователя, включая данные, относящиеся к определению величины или показателя, указывающего на степень вовлеченности пользователя. Следует отметить, что указания, описанные здесь, могут представлять собой или быть взаимозаменяемыми с показателями степени вовлеченности пользователя, поскольку они предоставляют, по меньшей мере, частично, величину степени вовлеченности пользователя в отношения с веб-сервисом. Например, возрастающее время покоя от пользовательского устройства 110y может указывать на возрастающий уровень степени вовлеченности пользователя пользовательского устройства 110y.

[65] Для каждого пользовательского устройства 110y, указания получают 441 путем сбора и сохранения данных и по меньшей мере некоторой информации, связанной со временем взаимодействия, либо напрямую сервером 120, либо через промежуточное хранилище, которое доступно серверу 120 через сеть 150. По меньшей мере некоторые временные данные получаются со множеством указаний на причины, которые будут описаны далее. Указания могут быть далее использованы как временные серии указаний, пример которых представлен на Фиг. 4 для пользователей устройств 1101 и 1106.

[66] Временные серии указаний на пользовательское взаимодействие могут быть представлены сериями пользовательских взаимодействий y, состоящих из ежедневных временных серий взаимодействий (y₀, y₁, y₂, …, y_N-1) за экспериментальный период 402 в N дней. В примерном наборе данных, показанном на Фиг. 4, N=10 дней, причем временные серии для пользовательского устройства 1101 равны y=(1, 2, 1, 3, 4, 1, 2, 5, 4, 1), что представляет собой число сеансов, которые осуществлялись пользовательским устройством 1101 с контрольной версией 200 веб-сервиса каждый день из 10 дней экспериментального периода 402. Аналогично, временные серии для пользовательского устройства 1106 равны y=(2, 3, 1, 1, 2, 4, 1, 4, 5, 2), что представляет собой число сеансов, которые осуществлялись пользовательским устройством 1106 с тестовой версией 250 веб-сервиса каждый день из 10 дней экспериментального периода 402.

[67] Несмотря на то, что экспериментальный период 402 для примерного набора данных на Фиг. 4 равен десяти дням, экспериментальный период 402 является примером только для одного варианта осуществления технического решения. Подразумевается, что экспериментальный период 402 может занимать больший или меньший период времени. Также подразумевается, что экспериментальный период 402 может быть разделен на различные временные сегменты, отличные от дней, включая, без установления ограничений: минуты, часы, недели и месяцы. Также подразумевается, что экспериментальный период 402 может представлять собой множество отдельных временных периодов, например, первый день каждого месяца за многомесячный период.

[68] Способ 400 продолжается на этапе получения 442 доступа ко множеству указаний для пользовательского устройства 110y, которые были получены 441 сервером 120 после окончания экспериментального периода 402. На основе множества указаний, способ 400 далее продолжается на этапе вычисления 443, для каждого пользовательского устройства 100y, показателя периодичности на основе, по меньше мере, частично, дискретного преобразования, выполняемого на множестве указаний. Преобразование действует для превращения временных серий данных, например, показанных на Фиг. 4, в функцию от частоты (периодичности).

[69] Показатель периодичности, основывающийся на множестве указаний, включая, по меньшей мере, некоторую временную информацию, используется для определения изменений в степени вовлеченности пользователя за экспериментальный период 402, вместе средней степени вовлеченности пользователя за экспериментальный период 402, как это иногда осуществляется в других технологиях. Например, пользователь, который сильно вовлечен в начале экспериментального периода 402 и не вовлечен в конце экспериментального периода 402, может обладать тем же средним значением, что и пользователь, который выполнял использование постоянно. Несмотря на то что пользователи могут обладать той же средней степенью вовлеченности за период 402, эффект эксперимента может по факту отличаться для двух пользователей.

[70] В представленном варианте осуществления настоящего технического решения, дискретное преобразование реализовано как дискретное преобразование Фурье. Тем не менее, подразумевается, что другие подходящие функции могут быть использованы. Функция дискретного преобразования также может быть реализована как, например, вейвлет преобразование или преобразование Лапласа.

[71] В некоторых вариантах осуществления настоящего технического решения, преобразование Лапласа может быть использовано как дискретное преобразование. В общем случае, преобразование Лапласа является интегральным преобразованием, которое преобразовывает функцию с положительной действительной переменной в функцию с комплексной переменной.

[72] В случае вейвлет преобразования будет использовано дискретное вейвлет преобразование, причем дискретное вейвлет преобразование представляет собой любое вейвлет преобразование, для которого вейвлеты сэмплируются дискретно. Подразумевается, что выполняемое дискретное вейвлет преобразование может представлять собой, без установления ограничений, вейвлеты Хаара и комплексное вейвлет-преобразование двумерного дерева.

[73] В одном варианте осуществления дискретного вейвлет преобразования, реализация вейвлетов может быть интерпретирована как вычисление вейвлет коэффициентов дискретного набора дочерних вейвлетов для данного родительского вейвлета. В случае дискретного вейвлет преобразования набора данных f(x), родительский вейвлет ψ и дочерние вейвлеты v определяются следующим образом:

[74] В представленном варианте осуществления настоящего технического решения, вычисление 443 включает в себя, для каждого пользователя 100y, применение дискретного преобразования Фурье к временным сериям указаний, например, набору 300 данных. Преобразование Фурье y может быть представлено как сумма серий гармоник X_k, показанных на уравнении 1 ниже. Показатель периодичности является первым периодом гармоники из серий X_k, который представлен X₁.

[75] Способ 400 далее продолжается при вычислении 444 показателя амплитуды 342 для каждого пользовательского устройства 110y на основе, по меньшей мере, частично, величины показателя периодичности Х₁. Показатель 342 амплитуды, А, является величиной показателя Х₁ периодичности, нормализованного по числу сеансов N, как показано на уравнении Ур. 2. Подразумевается, что в некоторых вариантах осуществления технического решения показатель А амплитуды может быть нормализован другим фактором.

[76] Показатель 342 амплитуды, который основан на величине первого периода гармоники, не зависит от знака. Конкретнее, поскольку величина вычисляется с помощью абсолютного значения показателя периодичности, показатель 342 амплитуды не может быть использован, если эксперимент вызывает возрастание или убывание в степени вовлеченности пользователя; он только указывает на размер изменений.

[77] Способ 400 далее продолжается при вычислении 445 показателя 344 фазы для каждого пользовательского устройства 110y на основе, по меньшей мере, частично, мнимой части показателя периодичности для пользовательского устройства 110y. Конкретнее, показатель Р вычисляется 445 с учетом мнимой части показателя периодичности Х₁, как показано в уравнении 3.

[78] Показатель Р 344 фазы, на основе мнимой части первого периода гармоники, связан с фазой показателя периодичности. Для периодической функции, например, показателя Х₁ периодичности, фаза связана с трендом функции и более конкретно, с тем, возрастает или убывает этот показатель. Тем не менее, он не дает информацию о величине показателя. Таким образом, показатель Р 344 фазы не может указывать на то, насколько степень вовлеченности изменилась за экспериментальный период 402, на основе указаний на пользовательские взаимодействия. Но он предоставляет указания на направление (возрастание или убывание), в котором происходит изменение степени вовлеченности пользователя за экспериментальный период 402.

[79] Следует отметить, что большие или положительные значения показателя 342 амплитуды и/или показателя 344 фазы напрямую не указывают на возрастание степени вовлеченности пользователя за экспериментальный период 402. Некоторые показатели степени вовлеченности пользователя, представленные множеством указаний, могут указывать на отрицательные эффекты на степень вовлеченности пользователя при положительном или отрицательном значении. Например, возрастающие значения времени отсутствия между сеансами указывают на убывание степени вовлеченности пользователя. Интерпретация различных значений показаний амплитуды 342 и фазы 344 будет более подробно описана ниже.

[80] Следует отметить, что этапы 442-445 могут выполняться для каждого из пользовательских устройств 1101-1106 последовательно, или каждый этап 442-445 может выполняться для всех пользовательских устройств 1101-1106 до перехода к следующему этапу. Подразумевается, что этапы вычисления 444, 445 показатели 342, 344 амплитуды и фаз могут выполняться в другом порядке или одновременно, обязательно учитывая, что вычисление 443 показателя Х₁ периодичности обязательно должно выполняться до этапов 444, 445. Подразумевается, что в некоторых вариантах осуществления настоящего технического решения, показатель контрольной фазы также может вычисляться для контрольной группы 210.

[81] После того как в способе 400 были вычислены 444, 445 показатели 342, 344 амплитуды и фазы для каждого из пользовательских устройств 1101-1106, способ 400 выполняется на этапе, где сервер 120 определяет 450 средние групповые показатели.

[82] Средний контрольный показатель 351 амплитуды вычисляется 451 путем усреднения контрольных показателей 351 амплитуды, вычисленных для каждого из пользовательских устройств 1101-1103 контрольной группы 210. Аналогично, средний тестовый показатель 352 амплитуды вычисляется 452 путем усреднения тестовых показателей 342 амплитуды, вычисленных для каждого из пользовательских устройств 1104-1106 тестовой группы 260. Средний тестовый показатель 354 фазы далее вычисляется 454 путем усреднения тестовых показателей 344 фазы, вычисленных для каждого из пользовательских устройств 1104-1106 тестовой группы 260.

[83] Способ 400 далее продолжается, после того как вычисления 451, 452, 454 были завершены, на этапе определения 460 тренда показателя степени вовлеченности пользователя в отношения с веб-сервисом. Определение 460 тренда основывается на анализе среднего контрольного показателя 351 амплитуды и средних тестовых показателя 352 амплитуды и показателя 354 фазы. В некоторых вариантах осуществления настоящего технического решения, средний показатель фазы контрольной группы может быть определен наряду со средними показателями фазы для каждого члена контрольной группы 210, но это не является обязательным для всех вариантов осуществления настоящего технического решения.

[84] Конкретнее, определение 460 путем анализа включает в себя определение разницы между средним контрольным показателем 351 амплитуды и средним тестовым показателем 352 амплитуды, которая далее будет упоминаться как амплитудная разница. Поскольку контрольный и тестовый средние показатели 351, 352 амплитуд указывают на величины изменений в степени вовлеченности пользователя за экспериментальный период 402 для соответствующих групп, амплитудная разница в общем случае представляет собой разницу в степени вовлеченности пользователя вследствие применения эксперимента к веб-сервису. Определение 460 тренда путем анализа далее завершается путем сравнения знака амплитудной разницы со знаком среднего тестового показателя 354 фазы (знак показателей просто означает, являются ли они математически положительными или отрицательными).

[85] Поскольку амплитудная разница и средний тестовый показатель 354 фазы обладают двумя возможными значениями знака (положительным или отрицательным), это дает четыре возможных результата в тренде степени вовлеченности пользователя, которые возможны для определения 460.

[86] В первом из четырех возможных сценариев, способ 400 далее включает в себя определение того, что эксперимент, применяемый к веб-сервису, инициировал возрастание тренда показателя степени вовлеченности пользователя по сравнению с веб-сервисом, к которому не применялся эксперимент, причем разница между средним тестовым показателем 352 амплитуды и средним контрольным показателем 351 амплитуды является положительной, и средний тестовый показатель 354 фазы является положительным. В этом «положительном/положительном» сценарии считается, что это указание на возрастающий тренд показателя степени вовлеченности пользователя, причем средний тестовый показатель 352 амплитуды больше чем средний контрольный показатель 451 амплитуды, и средний тестовый показатель 354 фазы является положительным, что указывает на то, что средний тестовый показатель 352 амплитуды является возрастающим.

[87] Во втором из четырех возможных сценариев, способ 400 далее включает в себя определение того, что эксперимент, применяемый к веб-сервису, инициировал возрастание тренда показателя степени вовлеченности пользователя по сравнению с веб-сервисом, к которому не применялся эксперимент, причем разница между средним тестовым показателем 352 амплитуды и средним контрольным показателем 351 амплитуды является отрицательным, и средний тестовый показатель 354 фазы является отрицательным.

[88] Интерпретация второго сценария, который может выглядеть чуть менее интуитивным, следует той же логике. В этом случае, поскольку «направление» изменения степени вовлеченности пользователя указывает на то, что средний тестовый показатель 354 фазы направлен в отрицательную сторону, тренд амплитудной разницы в отрицательную сторону и становится больше (в отрицательном направлении). Таким образом, тренд в степени вовлеченности пользователя возрастает в том смысле, что он становится более существенным. Следует отметить, что указания (или показатели вовлеченности пользователя) не могут фактически быть отрицательными; например, число кликов за сеанс может быть нулевым или положительным, но не отрицательным. Отрицательный знак амплитудной разницы и фазы является только математической абстракцией, поскольку рост в отрицательном направлении обладает тем же значением, что и рост в положительном направлении. В этом «отрицательном/положительном» сценарии считается, что это указание на возрастающий тренд показателя степени вовлеченности пользователя, причем средний тестовый показатель 352 амплитуды меньше чем средний контрольный показатель 451 амплитуды, и средний тестовый показатель 354 фазы является отрицательным, что указывает на то, что средний тестовый показатель 352 амплитуды является убывающим (дальнейший «рост» амплитудной разницы).

[89] Для случая показателя степени вовлеченности пользователя, где возрастающее значение указывает на положительный эффект эксперимента на степень вовлеченности пользователя, возрастающий тренд в показателе степени вовлеченности пользователя, как описано в двух предыдущих сценариях, указывает на возрастание степени вовлеченности пользователя за экспериментальный период 402. Например, если было определено 460, что тренд возрастает по числу кликов, это будет указывать на положительный эффект на степень пользовательской вовлеченности от применения эксперимента на веб-сервис. Но при этом, наоборот, возрастающий тренд будет указывать на отрицательный эффект на степень пользовательской вовлеченности от применения эксперимента на веб-сервис, если показатель степени вовлеченности пользователя представляет собой, например, время отсутствия (большие значения времени отсутствия указывают на отрицательный эффект на фактическую степень вовлеченности пользователя).

[90] В третьем из четырех возможных сценариев, способ дополнительно включает в себя определение того, что эксперимент, применяемый к веб-сервису, инициировал убывание тренда показателя степени вовлеченности пользователя по сравнению с веб-сервисом, к которому не применялся эксперимент, причем разница между средним тестовым показателем 352 амплитуды и средним контрольным показателем 354 амплитуды является положительной, и средний тестовый показатель 354 фазы является отрицательным.

[91] В этом «положительном/отрицательном» сценарии считается, что тренд показателя степени вовлеченности пользователя убывает. В этом случае, поскольку «направление» изменения степени вовлеченности пользователя указывает на то, что средний тестовый показатель 354 фазы направлен в отрицательную сторону, и, таким образом, тренд амплитудной разницы направлен в отрицательную сторону. Несмотря на то что амплитудная разница обладает положительным знаком, она, тем не менее, направлена в отрицательную сторону, и это указывает на тренд в сторону убывания размера амплитудной разницы.

[92] В четвертом из четырех возможных сценариев, способ 400 дополнительно включает в себя определение того, что эксперимент, применяемый к веб-сервису, инициировал убывание тренда показателя степени вовлеченности пользователя по сравнению с немодифицированной версией веб-сервиса, причем разница между средним тестовым показателем 352 амплитуды и средним контрольным показателем 354 амплитуды является отрицательной, и средний тестовый показатель 354 фазы является положительным.

[93] В этом «отрицательном/положительном» сценарии считается, что тренд показателя степени вовлеченности пользователя убывает. В этом случае, поскольку «направление» изменения степени вовлеченности пользователя указывает на то, что средний тестовый показатель 354 фазы направлен в положительную сторону, и, таким образом, тренд амплитудной разницы направлен в положительную сторону. Поскольку амплитудная разница обладает отрицательным знаком, тем не менее, амплитудная разница направлена в положительную сторону, и это указывает на убывание значения амплитудной разницы.

[94] Для случая показателя степени вовлеченности пользователя, где возрастающее значение указывает на положительный эффект эксперимента на степень вовлеченности пользователя, убывающий тренд в показателе степени вовлеченности пользователя, как описано в третьем и четвертом сценариях, указывает на убывание степени вовлеченности пользователя за экспериментальный период 402. Например, если было определено 460, что тренд убывает по числу кликов, это будет указывать на отрицательный эффект на степень пользовательской вовлеченности от применения эксперимента на веб-сервис. И наоборот, убывающий тренд будет указывать на положительный эффект на степень пользовательской вовлеченности от применения эксперимента на веб-сервис, если показатель степени вовлеченности пользователя представляет собой, например, время отсутствия (меньшие значения времени отсутствия указывают на положительный эффект на фактическую степень вовлеченности пользователя).

[95] Наконец, подразумевается, что в некоторых вариантах осуществления способа 400, определение 460, которое включает в себя определение амплитудной разницы, может в результате дать амплитудную разницу равную нулю. Амплитудная разница равная нулю не подойдет ни к одному из четырех вышеописанных сценариев, и определение 460, включающее в себя анализ, будет сосредоточено только на среднем тестовом показателе 354 фазы. В таких вариантах осуществления настоящего технического решения, тренд показателя степени вовлеченности пользователя будет интерпретирован как возрастающий, если средний тестовый показатель 354 фазы положителен, и как убывающий, если средний тестовый показатель 354 фазы отрицателен.

[96] С учетом вышеописанных вариантов осуществления настоящего технического решения, которые были описаны и показаны со ссылкой на конкретные этапы, выполненные в определенном порядке, следует иметь в виду, что эти этапы могут быть совмещены, разделены, обладать другим порядком выполнения - все это не выходит за границы настоящего технического решения. Соответственно, порядок и группировка этапов не является ограничением для настоящего технического решения.

[97] Важно иметь в виду, что варианты осуществления настоящего технического решения могут быть выполнены с проявлением и других технических результатов.

[98] Некоторые из этих этапов, а также передача-получение сигнала хорошо известны в данной области техники и поэтому для упрощения были опущены в конкретных частях данного описания. Сигналы могут быть переданы-получены с помощью оптических средств (например, оптоволоконного соединения), электронных средств (например, проводного или беспроводного соединения) и механических средств (например, на основе давления, температуры или другого подходящего параметра).

[99] Модификации и улучшения вышеописанных вариантов осуществления настоящего технического решения будут ясны специалистам в данной области техники. Предшествующее описание представлено только в качестве примера и не несет никаких ограничений. Таким образом, объем настоящего технического решения ограничен только объемом прилагаемой формулы изобретения.