11 дек. 2015 г.

Многорукие бандиты Яндекса

Рассылка SearchEngines.ru Неправильно отображается?
Посмотреть в браузере.
11 декабря

2015 года

СЕГОДНЯ В ВЫПУСКЕ
Рекламный блок, удаляем, если не нужно

Многорукие бандиты Яндекса

Станислав Поломарь
Автор: Станислав Поломарь - руководитель направления продвижения Webit.

Взгляд со стороны поиска

Значимую роль в современном ранжировании играют поведенческие факторы. В том числе, факторы, связанные с переходами из выдачи по конкретному запросу. Но в таком случае, огромное количество сайтов оказывается без каких-либо значений соответствующих факторов.
Дело в том, что основная часть кликов приходится на первые результаты выдачи, как можно видеть на графике ниже, где представлено распределение CTR vs Позиция по большой выборке коммерческих запросов по региону Москва.

Таким образом, если рассматривать именно эти метрики, то происходит постепенная «консервация» первых мест выдачи.

Возможно, в том числе по этим причинам, сотрудники Яндекса последние 2-3 года проводят активные исследования и онлайн-эксперименты в выдаче. На ресурсе https://research.yandex.ru можно найти более 20 публикаций, которые, так или иначе, связаны с этими вопросами, не менее 10 статей датированы 2015 годом.

Первое, что приходит в голову в ходе решения задачи по получению значений для этих метрик и для большего числа сайтов, – это ротация выдачи.

Вот, что пишет на этот счет Яндекс: «Поэтому имеет смысл периодически показывать в области видимости документы, по которым пользовательской информации недостаточно для принятия решения о полезности документа; при этом априорная релевантность такого документа может оказаться не самой высокой».

Понятно, что эта ротация не должна приводить к ухудшению качества выдачи, т.е. Яндекс должен уметь:

  1. хорошо предсказывать, какие документы стоит «подкинуть»;
  2. быстро определять, как то или иное изменение выдачи влияет на ее качество.

В статье «Gathering Additional Feedback on Search Results by Multi-Armed Bandits with Respect to Production Ranking», которую рекомендует к ознакомлению Яндекс, рассматривается подход к подобному «подмешиванию». Вот как оценивается алгоритм в публикации: «Finally, we applied the whole scheme to several SMAB algorithms and experimentally demonstrated that it enables to notably increase the performance of a major search system in terms of NDCG measure averaged over a 10 day period».

Не так давно Яндекс представил доклад «Практика детерминированного хаоса», в котором подробней рассказал про механизм ротации выдачи. Добавочную релевантность они назвали «Exploration feature». Известно про нее следующее:

То есть, ожидаемо выбираются документы, которые могут быть полезными. Ниже представлена детализация расчета:

Очевидно, что чем выше вероятность, то тем сильнее амплитуда колебания документа. Для того чтобы не было хостовых перекосов, вводится рандом по хосту.

По словам представителей Яндекса, качество выдачи растет, хотя из приведенного графика сильного роста не было видно.

Изменения выдачи при этом – существенны:

Таким образом, сомнений о наличии, так называемых, «бандитных» результатов в выдаче не остается.

 

Анализируем «бандита»

Для определения «бандитных» результатов в выдаче, мы исходим из двух предпосылок:

  • Результаты в выдаче упорядочены по релевантности.
  • В случае невыполнения пункта выше мы имеем дело с группой документов, которые целенаправленно повышены или понижены.

Собственно, среди документов из последнего пункта мы и ожидаем найти нужные нам результаты (бандита). Наиболее типичным примером, заниженных документов до недавнего времени был пост-штраф за переоптимизацию.

Эту задачу с определенной долей погрешности решает сравнение по хостам или документам. Примеры обоих запросов представлены ниже.

В целом большой разницы, что использовать, здесь нет. Однако стоит отметить следующий момент: при различных пост-штрафах мы часто видим в выдаче другой документ хоста. В случае сравнения вида «site | site» подобная проблема решается за счет сравнения по всем документам с хоста.

Проанализируем несколько запросов за сентябрь-ноябрь. Для этого отберем несколько сайтов в тематике и сравним их со всеми документами из ТОП-100.

В таблице, приведенной ниже, синим отмечены продвигаемые документы; белым – документы, которые «должны быть выше»; желтым – документы, которые «должны быть ниже».

Картина представлена по четырем сайтам по одному ВК-ВЧ запросу.

Явно видны «подкинутые» документы. Особенно хорошо это заметно на примере сайта №4, которого на второй апдейт полюбил «бандит».

Срез по другому СК-СЧ запросу за те же апдейты сентябрь-ноябрь:

Справа представлена та же картинка уже с точностью до отдельных документов.

Интересно наблюдать за различными сценариями дальнейшей судьбы подкинутых документов:

  1. после пересчета могут быстро закрепиться в топе;
  2. постепенно сползают;
  3. достаточно сильно проваливаются, как не оправдавшие надежд.

Также хорошо видно, что по этим запросам «бандит» стал гораздо менее активен в ноябре.

Для того чтобы немного ближе познакомиться с теми, кого «подкидывает», рассмотрим несколько обнаруженных нами документов. К примеру, http://www.me-group.ru/

Или проанализируем позиции http://gibka-lazer.ru/

Стоит отметить, что последний сайт находится высоко уже не за счет «бандита». В отличие от 1-го примера, он сумел воспользоваться шансом.

Статистика по «бандиту» на продвигаемых проектах

В предыдущей части статьи был представлен точеный разбор отдельных запросов. Однако не менее интересно посмотреть статистику на какой-то значительной выборке из сотен сайтов и тысяч запросов.

Подобное сравнение представлено в таблице.

Для наглядности в таблице отобраны запросы с большой амплитудой: то есть, по которым «отработал бандит». Посмотрим, как сильно изменяются позиции:

Как видно, сайты «улетают» сильнее, чем «подкидываются». Это понятно, ведь в отслеживаемой выборке большая часть запросов уже занимала хорошие позиции и «подкидывать» их больше некуда.

В раскладке по Wordstat можно увидеть, что затрагивает все запросы – от НЧ до ВЧ.

Интересно проанализировать силу «шторма» на выборке из хостов, чтобы понять насколько сильно в рамках всего хоста влияет бандит. Для этого посмотрим долю запросов в зависимости от амплитуды колебаний. По ссылке представлена выборка из 30-ти сайтов.

Видно, что лишь небольшую часть сайтов «сильно штормит» по значительной доле отслеживаемых запросов, а на части сайтов «бандита» нет и вовсе.

Таким образом, чем шире продвигаемая семантика, тем в среднем устойчивее будет себя чувствовать проект. Хотя, конечно, возможны перекосы из-за отдельных высокочастотных запросов.

Далее приведём несколько примеров в разрезе 3-х разных сайтов. Первая колонка это позиции в выдаче, а вторая колонка это позиция полученная сравнением с сайтами из ТОП-100. Запросы с большой вероятностью подкинутые бандитом, отмечены жирным.

В этом примере интересно, что ряд страниц подкидывается практически по всей отслеживаемой семантике.

На скриншотах ниже мы же видим, что это скорее исключение из правил:

Подводя итог всему изложенному ранее, можно выделить следующие особенности «бандита»:

  • октябрь-ноябрь уменьшалось количество подмесов;
  • бандит снова запущен с конца ноября/начала декабря;
  • основным окном для «подброса» является ТОП30;
  • алгоритм работает позапросно;
  • хватает как НЧ, так и СЧ или ВЧ;
  • в рамках документа, как правило, работает однонаправлено;
  • есть документы, которые подкидываются почти по всей семантике;
  • со временем добавочная релевантность пересчитывается в реальную;
  • пересчет происходит в течение нескольких апдейтов;
  • мало/нет активности в регионах и по информационных запросам.

Следует отметить, что выше представлен детальный разбор бандита на уровне запросов и отдельных сайтов. В рамках совместного доклада с Михаилом Сливинским, который прозвучал на конференции Optimization-2015, был представлен анализ изменений выдачи за аналогичный период по значительной выборке сайтов, а также анализ схожих по поведению кластеров.

Как же продвигать сайт в новых реалиях?

Чтобы ответить на этот вопрос, рассмотрим несколько примеров из практики.

Проект в тематике «полиграфия» активно «бандитился» в августе 2015. За счет продвижения по таргетированному трафику (в Webit – это «целевые клики») в целом не было больших провалов по трафику На графике ниже удобнее всего сравнивать пики/падения трафика Яндекса относительно Google:

Проект «оседлал» волну и за счет «бандита» хорошо вырос:

Проект в тематике «дома», который также продвигали по целевым кликам, продемонстрировал следующую динамику. Он был «подкинут» в начале августа. Далее получилось укрепить данный тренд.

Для сравнения, представим динамику проекта в той же тематике при продвижении по позициям:

В этом примере – налицо гораздо более ощутимые потери в трафике в недели, когда «бандит» был «неблагосклонен» к сайту, а также отсутствие особого позитивного тренда.

Рассмотрев особенности поведения этого алгоритма Яндекса и обобщив текущие практические наработки, можно рекомендовать следующий подход к продвижению:

  • Продвигать как можно более широкую семантику. Проект не проседает целиком за счет «бандита».
  • Ориентироваться на все поисковые машины. Уходить от позиций к трафику (как минимум).
  • Не стоит рассчитывать на существенный вклад ссылочных факторов.
  • При встрече с бандитом важно иметь наилучшие показатели поведенческих и CTR.
  • Фокусироваться на: техническом SEO; внутренней оптимизации; улучшении запросных и иных поведенческих факторов; аналитике.

Версию статьи с подробными иллюстрациями читайте на сайте Searchengines.ru 16 декабря 2015.

Опрос о продуктах Яндекса для вебмастеров – делаем мир лучше!

В этом году Яндекс много работал над тем, чтобы сделать работу вебмастеров с поиском удобнее: были разработаны новые сервисы, открылась Школа вебмастеров, где рассказано было об инструментах и технологиях Яндекса, саппорт отвечал на вопросы и оказывал всяческую поддержку.

Яндексу важно понять, хорошо ли организована его работа с вебмастерами и куда нужно двигаться дальше, а также выяснить, с какими проблемами чаще всего сталкиваются вебмастера, поэтому он организовал Опрос вебмастеров о продуктах Яндекса.

Searchengines.ru, как первый в рунете отраслевой ресурс в целом, и как Энциклопедия поисковых систем в частности, не может остаться в стороне от благого дела сбора достоверных данных от оптимизаторов, маркетологов и вебмастеров –

Участвуйте в опросе, вам это ничего не стоит, зато всем будет польза! Давайте вместе делать экосистему рунета лучше!

Самое интересное за неделю

AdWords представил новый инструмент оптимизации кампаний – Smart Goals

Google объявил о запуске нового функционала Smart Goals («умные цели»), призванного помочь рекламодателям оптимизировать кампании в AdWords для привлечения на сайт большего количества потенциальных покупателей...

AdSense обновил дизайн мобильных текстовых объявлений

Google AdSense снова обновил дизайн мобильных текстовых объявлений. В числе основных изменений – затенённый фон, круглая синяя кнопка вместо овальной серой и показ в блоке ссылки на сайт рекламодателя. Дизайн кнопки разработчики сервиса позаимствовали из текстовых объявлений с графическими элементами, запущенных в августе...

Пользователи заметили, что Google тестирует показ четырёх объявлений AdWords над органическими результатами поиска. Специалисты отрасли недовольны текущим экспериментом, поскольку так органические результаты поиска сдвигаются ещё ниже...

В локальной выдаче Google появятся интерактивные блоки

Google запускает новый тип микроразметки Place Actions, позволяющий пользователям взаимодействовать с блоками сниппетов в локальной выдаче. К примеру, оформлять заказы, записываться на приём к различным специалистам либо бронировать столики в кафе и ресторанах. Посредством функционала глубоких ссылок пользователь будет перенаправлен на целевую страницу компании либо в приложение, где он сможет завершить начатое действие...

 

Яндекс купил технологии Agnitum для использования в Яндекс.Браузере

Яндекс приобрел технологии петербургского разработчика ПО в сфере информационной безопасности Agnitum и переводит в свой штат сотрудников компании. Эти технологии будут использоваться для защиты пользователей Яндекс.Браузера...

В Японию также может прийти европейское «право на забвение». Об этом говорят два прецедента, связанных с судебным решением удалить из поисковой выдачи ссылки на компрометирующие пользователей материалы. Два японских суда, независимо друг от друга, постановили исключить из поисковой выдачи Yahoo Japan и Google ссылки на материалы, нарушающие право на неприкосновенность частной жизни пользователей...

Удаление всех ссылок из файла Disavow в разы увеличило трафик из Google

На форуме WebmasterWorld активно обсуждается случай из практики: один из SEO-специалистов случайно удалил все входящие ссылки из файла Disavow. Через неделю трафик на его сайт из Google вырос «в разы». Краткая хронология событий: 22 ноября 2015 года был случайно переписан файл Disavow. В результате запрет на ссылки на уровне отдельных доменов был снят...
 

Российские власти готовят законопроект, регулирующий работу мессенджеров

Роскомнадзор хочет привязать сервисы мгновенных сообщений к операторским сетям связи, об этом сообщает издание «Ведомости», в распоряжении которого находится копия законопроекта, регулирующего работу мессенджеров в России. Авторы законопроекта предлагают внести в законы «Об информации...» и «О связи» поправки, дополняющие их новым понятием «информационно-коммуникационных сервисов»...

 

Google запустит в России музыкальный сервис Play Music Consierge

Музыкальный сервис Google Play Music Consierge начнёт работу в России. Об этом заявил Марк Беннетт, директор Google Play в регионе EMEA, на конференции Google Mobile Day. По словам руководителя, Россия является ключевым рынком для компании. Работа Play Music Consierge основана на алгоритмах самообучения. Сервис подбирает музыкальные станции, исходя из поведения пользователей и текущего контекста...

Mozilla отказывается от показа рекламы в Firefox

Mozilla объявила о своём решении прекратить показ рекламы в блоке «Предлагаемые сайты» на стартовой странице браузера Firefox. «Мы продолжим экспериментировать со вкладками в Firefox, позволяющими пользователям находить новый контент. Однако мы прекращаем показ спонсированного контента в блоке «Предлагаемые сайты»...

YouTube начнёт показывать новые фильмы и сериалы

YouTube ведёт переговоры с киностудиями и продюсерскими компаниями о покупке прав на трансляцию новых сериалов и фильмов в YouTube Red, сообщает The Wall Street Journal со ссылкой на свои источники. Этот шаг призван создать видеосервис, который составит конкуренцию Netflix, Amazon и Hulu на рынке платного онлайн-видео...

На портале Спутник заработал сервис «Спутник/Кино»

Поисково-сервисный портал Спутник начал показ легального киноконтента, запустив сервис «Кино». С его помощью пользователи могут выбрать и легально посмотреть любой фильм из медиатеки, предоставленной партнерами проекта. Сервис доступен по адресу kino.sputnik.ru на портале Спутник и является навигатором по предложениям онлайн-кинотеатров рунета...
 

Объём мирового рынка интернет-рекламы составит $158 млрд в 2015 году

Мировой рынок рекламы растёт, подогреваемый digital. По прогнозам ZenithOptimedia, в 2016 году глобальные расходы на маркетинговые услуги и медиаканалы в общей сумме достигнут $1 триллиона. Аналитики компании отмечают, что тенденция роста продлиться вплоть до 2019 года. По итогам 2015 года мировой рынок рекламы вырастет на 3,9%; в 2016 – на 4,7%; в 2017 – на 4,3%; в 2018 – на 4,2%...

Находясь в безумном ритме современной жизни, легко заметить (даже тем, кто ни на миг не сбавляет оборотов), что во всём этом «есть что-то не то». В то время как окружающий мир крутится всё быстрее и быстрее, нагружая нас избыточными делами, заботами, информацией – наш собственный мозг то и дело начинает давать сбои, сопротивляться, спотыкаться. В конечном счёте, есть риск перегореть и заработать себе хронический стресс, а то и депрессию.

А те самые задачи и печали, которыми мы были так заняты, при этом остаются недоделанными. И, очевидно, не будут доделаны уже никогда – ещё больше усугубляя наш стресс.

Основной тезис книги звучит примерно так: у работника интеллектуального труда главное его орудие – мозг. Надо хорошо знать устройство мозга, его функции, что для него хорошо, а что – плохо. И очень бережно к нему относиться...

Подписаться на Twitter    Подружиться на Facebook    Отправить другу 
Copyright © 2015 Searchengines.ru,, All rights reserved.
Вы получили эту рассылку, поскольку регистрировались на сайте Searchengines.ru. Вы можете всегда отписаться от нее, переслать другу, а также обновить свой профиль подписчика.

Наш почтовый адрес:
Searchengines.ru, , Moscow, 65000, Russia
отписаться от этой рассылки    обновить настройки подписки 

Комментариев нет:

Отправить комментарий

GoHa.Ru | Игровые новости

...