Исследование по индексации в Яндексе на примере крупного портала

В качестве объекта мини-исследования аналитиками компании «Пиксель Плюс» был взят большой портал в тематике грузоперевозки в регионе Москва с порядка 200 000 страниц в индексе поисковой системы Яндекс. В данном случае стояла задача по выявлению признаков документов, изменение которых будет повышать вероятность попадания документа в индекс поисковой системы Яндекс.

В качестве факторов были выбраны классические общедоступные характеристики документов, с которыми работает SEO-специалист; к ним были добавлены дополнительные параметры, характеризующие специфику страниц сайта.

Список анализируемых признаков

В качестве анализируемых документов были использованы страницы детальных карточек заказов (аналог карточек товаров интернет-магазина). Фактически это страницы, которые создают посетители ресурса, заходя на сайт и формируя заказ. После этого владельцы авто и грузовые компании могут оставлять заявки на выполнение данного заказа посредством формы на данной странице. Документ выглядит следующим образом:

Другие типы страниц в рамках исследования не анализировались. Ниже приведен полный список признаков документов, по которым проводилось исследование:

• вес страницы по Page Weight;
• количество просмотров документа;
• длина мета-тега description;
• длина URL вместе с доменным именем;
• длина тега Title;
• длина отрезка текста в верхней части страницы;
• количество исходящих внутренних ссылок с документа;
• длина h1;
• количество предложений по заказу;
• статус заказа (открыт, закрыт и так далее всего порядка 4 статусов);
• количество входящих внутренних ссылок на документ;
• уровень вложенности.

Ход исследования

Изначально была сформирована выборка из 132 643 объектов. Далее она была разбита на две части:

• обучающая из порядка 120 000 объектов (класс 1 — порядка 112 000 объектов; класс 2 — порядка 7000 объектов);
• а также тестовая выборка из порядка 13 000 документов (класс 1 — порядка 12 000 объектов, класс 2 — порядка 800 объектов).

Было проведено обучение решающего бинарного дерева, на основании данных по индексации детализаций на 120 000 объектах обучающей выборки.

Ниже приведен небольшой фрагмент, получившегося бинарного дерева:

Фактически, имея документ с заданным набором параметров (PR, УВ, количество входящих ссылок и так далее), двигаясь по дереву сверху вниз, мы сможем в итоге узнать попадет ли данный документ в индекс или нет.

По результатам построения дерева была посчитана важность тех или иных признаков (на фрагменте дерева этот параметр отмечен как «gini»). Чем больше значение, тем выше важность признака (сумма важности всех признаков равна 1). Важность признака рассчитывается как (нормализованное) полное вычитание/снижение критерия качества классификации, привнесенного этим признаком. То есть насколько будет плохо работать классификация, если убрать этот признак.

Проще говоря мы получили число, показывающее насколько сильно данный признак делит всю выбору на группы по размеру. Если его изменение никак не сказывается на классификации (разделении на равные или соизмеримые группы), то важность признака -> 0.

Далее в качестве в качестве определения качества классификации рассчитали средневзвешенное точности и полноты (F-мера), поскольку выборка у нас получилась несбалансированная, то есть страниц не в индексе (класс 0) значительно меньше страниц в индексе (класс 1). Итоговое значение у нас получилось F=0.86679091231806893 (максимум 1). То есть это означает, что классификатор обладает довольно высокими показателями точности и полноты.

Результаты исследования

Ниже приведен список факторов (признаков) и их вес (суммарный вес =1):

Чем больше значение признаков с максимальными значениями параметра «Важность», тем больше вероятность попадания документа в индекс поисковой системы. То есть каждый из заданных признаков отыгрывает в положительную сторону.

Таким образом, минимальное значение параметра «Важность» у ряда факторов, может говорить о том, что с уменьшением значения таких признаков вероятность попадания документов в индекс поисковой системы Яндекс будет также увеличиваться. В частности, это касается уровня вложенности: минимальное значение параметра «Важность» может говорить о том, что чем меньше значение фактора, тем выше вероятность попадания документа в индекс.

Выводы по результатам исследования

Многие данные, полученные в ходе исследования, оказались вполне ожидаемыми, но также выявился ряд закономерностей, которые оказался довольно интересным.

• C многократным перевесом первым по списку идет PR.
• Также в группе лидеров идут входящие ссылки и количество просмотров. Со ссылками все ожидаемо, а что касается просмотров, то тут возможно несколько вариантов. Возможно, что страницы попадали в индекс и потому число просмотров у них значительно больше, а возможен и вариант, что попадание в индекс – следствие пользовательской активности на нем.
• Отдельно любопытно, что в лидирующую группу попал фактор «статус заказа». Тут вполне может быть логика, что статус заказа — как косвенный показатель активности пользователей на документе. Статус заказа=4 — значит, что заказ закрыт, то есть на документе было уже очень много людей, ставок, заходов и к этому моменту Яндекс успевал добавить документ в индекс. Учитывая, что статус заказа и количество просмотров оказались среди наиболее важных признаков, то с большей уверенностью можно говорить о том, что активное поведение пользователей на страницах приводит к попаданию документов в индекс.
• Следующей группой идет длина Title и description. Здесь может играть фактор, что если основные зоны документы содержат какой-то контент и он не маленький, то вероятно такой документ при попадании в поисковый индекс сможет показываться в результатах поиска по каким-либо запросам. Нет смысла держать в индексе документы с маленьким/пустым Title — все-равно при попадании в индекс они не будут показываться не по каким запросам.
• С исходящими ссылками получилось интересно. Это как бы намек, что учитывается хабовость документа, то есть много исходящих ссылок — значит документ может быть полезен и перенаправить пользователя на множество других документов. Разве что тут можно сделать предположение, что важно не только много исходящих ссылок, а то, чтобы они шли на документы с высоким PR (то есть на авторитетные страницы). Такой намек на алгоритм Hits, только граф в рамках сайта, а не интернета.
• Ну и никак не отыграли параметры: длина URl, предложений по заказу, длина h1, длина отрезка текста в верхней части страницы. В целом можно предположить, что если всю текстовую составляющую объединить в один фактор (длина Title, h1, текст), то он тоже сможет закрепиться в середине таблицы.
• Отдельно стоит сказать про наличие УВ последним в списке. Наличие этого фактора на последнем месте может говорить о том, что большой УВ является отрицательным параметром. То есть чем меньше УВ, тем больше вероятность попадания документа в индекс Яндекса.

Практические выводы

На основании проведенного мини исследования специалистами компании «Пиксель Плюс» был составлен список факторов, акцент при работе с которыми выглядит перспективным для увеличения числа страниц в индексе поисковой системы Яндекс. Таким образом, при наличии на сайте большого числа страниц не в индексе, требуется выполнить ряд базовых действий:

• проставить на страницы не в индексе ссылки с самых PR-ых страниц в рамках сайта;
• увеличить общее количество входящих на документ внутренних ссылок;
• постараться, чтобы максимальное число страниц на сайте имели базовый уровень оптимизации (например, по шаблону): Title, h1, небольшой текст;
• обеспечить минимальный УВ страниц;
• добавить исходящие с документа ссылки на наиболее PR-ые страницы сайта;
• добавить на документы больше интерактивных элементов, с которыми пользователи могли бы взаимодействовать, тем самым увеличивая время нахождения на документе, а также увеличивая количество активных действий (клики, скроллинг);
• поставить на документы ссылки с самых трафикогенерирующих страниц входа, для обеспечения внутренних переходов на документы в рамках сессии.

Как можно видеть, каждый фактор по отдельности вносит небольшой вклад в итоговое значение вероятности попадания документа в индекс. Параллельная работа с каждым из указанных факторов позволит значительно увеличить вероятность попадания документа в индекс поисковой системы.