29 сент. 2017 г.

Как обработать данные по поисковым запросам из органики в Google BigQuery

Рассылка SearchEngines.ru Неправильно отображается?
Посмотреть в браузере.
29 сентября

2017 года

СЕГОДНЯ В ВЫПУСКЕ

Надоело зависеть от настроения менеджеров партнерки? Пускай они зависят от твоего!

Партнерская программа EssayPartner предоставляет White Label каждому партнеру, независимо от количества приведенных заказов. Твой домен — твои условия.

Формат White Label с EssayPartner – это:

  • мгновенный старт: бесплатный дизайн и полноценная техподдержка еще до первого заказа;
  • быстрый рост: уникальный номер телефона после первых 10 заказов и бесплатный контент после 50;
  • неограниченное развитие: уникальный дизайн при 150 заказах в месяц.


Твой бренд уже готов к запуску - https://www.essaypartner.com/

Как обработать данные по поисковым запросам из органики в Google BigQuery

Автор: Антон Леонтьев, руководитель отдела веб-аналитики eLama

Практически каждый сайт так или иначе оптимизируют для поисковых систем, а в рунете для двух — Яндекса и Google. Для оценки эффективности SEO-продвижения, необходимо отслеживать переходы на сайт из органики и поисковые запросы. С Яндексом все достаточно просто: в отчете «Поисковые системы» в Метрике доступны список поисковых фраз в Яндексе и динамика переходов по ним.

C Google все несколько сложней. В Google Analytics нет статистики по поисковым фразам. Можно только связать ресурс Google Analytics с Google Search Console, откуда и будут подгружаться данные в систему аналитики, но со следующими ограничениями:

  1. Не будет привязки конкретной поисковой фразы к сеансу на сайте. Поисковые фразы доступны только в единственном отчете ‘Источники трафика’ -> ‘Search Console’ -> ‘Запросы’, и нет возможности использовать их в сегментах или любых других отчетах.
  2. Отслеживаются не все поисковые фразы, многие помечаются как ‘(other)’. Например, на сайте eLama.ru таких поисковых фраз около 40%, а на ppc.world — до 80%.
  3. В Google Analytics для импорта из Search Console можно настроить только один ресурс, а не набор ресурсов. Это имеет значение если у вас есть поддомены.
  4. Сейчас нет возможности дать доступ другому пользователю к набору ресурсов в Search Console.
  5. В нем хранятся данные за последние 90 дней:

 

 

Первые две проблемы невозможно решить без серьезных изменений на стороне Google. Но как решить последние три, мы рассмотрим в этой статье. Заодно построим два отчета. Первый — с динамикой переходов из поиска Google с разбивкой на брендовые и небрендовые запросы:

 

 

Показатели в таблице:

period — отчетный месяц;

b_clicks — количество кликов по брендовым запросам;

b_percent — доля кликов по брендовым запросам;

b_impressions — количество показов по брендовым запросам;

b_ctr — CTR брендовых запросов;

nb_clicks — количество кликов по небрендовым запросам;

nb_percent — доля кликов по небрендовым запросам;

nb_impressions — количество показов по небрендовым запросам;

nb_ctr — CTR небрендовых запросов;

o_clicks — количество кликов по неизвестным запросам (others);

o_part_off — какую долю от всех переходов из поиска Google составляют эти фразы (others);

o_impressions — количество показов по неизвестным запросам (others);

o_ctr — CTR неизвестных запросов (others).

Второй отчет будет содержать список небрендовых запросов и их статистику по месяцам:

 

 

Показатели:

search_term — поисковая фраза;

clicksAllTime — количество кликов за все время;

c_17_03 — количество кликов в марте 2017 г.

p_17_03 — позиция, которую занимала фраза в марте 2017 г.

Чтобы получить такие отчеты, мы будем каждый месяц скачивать из Google Search Console CSV-файл со статистикой за предыдущий месяц и загружать его в облачную базу данных Google BigQuery, где данные будут храниться и обрабатываться. Итак, подробнее по шагам:

  1. Нужно зайти в Search Console и скачать статистику за определенный месяц. Ограничение — доступно максимум 999 поисковых запросов. Если вам нужно больше данных — они доступны в Google Search Console API.

 

 

  1. В Google BigQuery создадим dataset, например ‘search_console_google’. О том, как начать работать с BigQuery можно прочитать в одной из моих предыдущих статей. Загрузим полученные CSV-файлы в созданный dataset:

 

 

  1. У вас, скорее всего, сначала получится загрузить статистику только за 2-3 месяца. Для ppc.world выгружали статистику из Search Console раньше, поэтому у нас данных больше. Вот так выглядят загруженные таблицы в веб-интерфейсе BigQuery:

 

 

  1. Теперь в нужно создать виртуальную таблицу (view) search_console_google.all, содержащую этот SQL-скрипт.

Отредактируйте его под свой проект, запустите в BigQuery и сохраните view. Эта таблица будет содержать подробную информацию по каждому поисковому запросу за каждый отчетный месяц по вашему сайту или нескольким поддоменам. Ее нужно будет дополнять каждый месяц.

 

 

Посмотрим на результат выполнения этого скрипта (нужно нажать Edit Query, Run Query):

 

 

Показатели отчета:

period — отчетный период, соотносится с каждой таблицей из Search Console, прописывается в SQL-запросе;

domain — домен, соотносится с каждой таблицей из Search Console, прописывается в SQL-запросе;

search_term — поисковая фраза;

type — тип ключевой фразы, определяется в SQL-запросе, принимает три значения: ‘(other)’, ‘branded’, ‘not branded’;

clicks — количество кликов; для фраз ‘(other)’ значение нужно взять из Google Analytics, потому что в Search Console эти значения не отображаются, и прописать в SQL-запросе (соответственно если у вас несколько поддоменов, то получиться указать значения только для одного из них) ;

impressions — количество показов, аналогично как с кликами;

ctr — CTR поисковой фразы, берется из загруженного CSV-файла без изменений; для фраз ‘(other)’ не указывается (NULL);

position — позиция поисковой фразы, берется из загруженного CSV-файла и преобразуется в тип FLOAT; для фраз ‘(other)’ не указывается (NULL).

  1. Чтобы получить первый отчет о динамике переходов из поиска Google с разбивкой на брендовые и небрендовые запросы, создайте view search_console_google.months, содержащий следующий SQL-скрипт.

В нем ничего менять не нужно кроме project-id из BigQuery, он сразу должен заработать. В скрипте рассчитываются параметры на основе значений из search_console_google.all, который мы настроили в предыдущем пункте.

  1. Чтобы получить второй отчет со статистикой по небрендовым запросам, создайте view search_console_google.kewords на основе следующего SQL-скрипта.

В этом скрипте необходимо заменить project-id из BigQuery, и потом нужно будет ежемесячно добавлять новые строки для обработки статистики по новому месяцу.

  1. Отчеты созданы. Теперь можно расшарить своим коллегам dataset и входящие в него отчеты.

 

 

  1. С такими отчетами можно работать не только в веб-интерфейсе Google BigQuery, но и просто сохранить в Google Sheets или скачать CSV. Можно поступить другим образом — создать Google Sheets с доступом коллегам, а в него данные подтягивать через OWOX BI BigQuery Reports. Или же подключить инструменты визуализации: Google Data Studio, Redash, Tableau и другие.

Таким образом мы разобрались, как можно сохранить статистику переходов из органики Google, а также автоматизировать отчетность.

55% всех переходов по рекламным объявлениям осуществляют пользователи 45+

Больше половины всех переходов по объявлениям (55%) осуществляют пользователи 45 лет и старше. Как показывают данные РСЯ, это самая большая часть аудитории, а также самая лояльная к рекламе — у нее самый высокий среди всех возрастов CTR. 28% кликов обеспечивают пользователи от 25 до 34 лет. Меньше всего по рекламе переходят молодые люди от 18 до 24 лет — всего 4% кликов.

Читать новость на сайте

Павел Дуров о будущем Telegram в России

Основатель Telegram Павел Дуров заявил, что обвинения российских властей в адрес сервиса не повлияют на его работу. Юридически компания не представлена в РФ. Последняя связь между Telegram и Российской Федерацией была разорвана в июле, когда сервис расторг договор с «Telegraf» – компанией, базирующейся в Санкт-Петербурге, которой Telegram передал на аутсорсинг борьбу со спамом, поступающим из России и Ирана.

По мнению Дурова, попытки российских властей ограничивать свободы – архаический пережиток, который только вредит экономике страны.

«Эта история подчёркивает то, что местные регуляторы часто склонны игнорировать: сейчас 2017 год, и мир является открытым и подключенным. Если вы принимаете архаические законы, которые ограничивают свободы, вы убиваете свою собственную экономику. В последние несколько лет Google, Oracle и Microsoft (Skype) закрыли свои офисы по развитию в России, и их примеру последовало множество более мелких компаний».

Самое интересное за неделю

Google вводит автоматический возврат средств за фиктивный трафик

Новая инфраструктура будет внедрена в ближайшие месяцы.
 

Google не планирует помечать HTTP-сайты как ненадёжные в результатах поиска

Об этом рассказал сотрудник компании Гэри Илш на мероприятии Brighton SEO.
 

Apple снова стал использовать поиск Google в Siri и Spotlight

После нескольких лет использования поиска Bing в Siri и Spotlight, Apple снова вернулся к Google – своему первоначальному поисковому партнёру
 

YouTube запускает инструмент для массового создания рекламных роликов

С помощью Director Mix рекламодатели смогут создавать сотни и даже тысячи вариантов рекламных роликов.
 

Google AdSense обновил адаптивные рекламные блоки

На мобильных устройствах они теперь будут показываться на всю ширину экрана.
 

Facebook добавил новую цель для рекламных кампаний – сообщения

В ближайшие месяцы нововведение станет доступно рекламодателям по всему миру.
 

Google, Яндекс и ВКонтакте стали самыми посещаемыми сервисами в августе

Российский поисковик лидирует среди пользователей десктопа (31,2 млн, против 26 млн у Google) и, практически с таким же разрывом проигрывает в мобайле (26,1 против 31,7 у Google)
 

Adblock Plus представил очередное решение для блокировки рекламы в Facebook

Adblock Plus разработал новое решение, позволяющее бороться с рекламой в Facebook.
 

ВКонтакте запустил «Прометей» — механику поиска и поддержки интересных авторов и сообществ

Теперь искусственный интеллект будет постоянно находить создателей уникального контента и следить за их достижениями.
 

Минкульт РФ предложил досудебное удаление сайтов из выдачи

Минкульт РФ опубликовал поправки к закону «Об информации», расширяющие антипиратские полномочия правообладателей.

 

Google Data Studio начал работать в России

Сервис Google Data Studio (Центр данных) стал доступен в России. Об этом Google Analytics сообщил в письме, разосланном пользователям. Ранее воспользоваться инструментом можно было только через VPN.

Бесплатный сервис для визуализации данных Google Data Studio был запущен весной прошлого года. Для создания отчётов он берёт сведения из AdWords, Google Analytics, YouTube, BigQuery, Attribution 360 и Google Таблиц...

Читать новость на сайте

Подписаться на Twitter    Подружиться на Facebook    Отправить другу 
Copyright © 2017 Searchengines.ru,, All rights reserved.
Вы получили эту рассылку, поскольку регистрировались на сайте Searchengines.ru. Вы можете всегда отписаться от нее, переслать другу, а также обновить свой профиль подписчика.

Наш почтовый адрес:
Searchengines.ru, , Moscow, 65000, Russia
отписаться от этой рассылки    обновить настройки подписки 

Комментариев нет:

Отправить комментарий

«Проект небольшого дома» для пользователя Торговый Дом

Проект дома с мансардой 10x9 из газобетона (пеноблоков), c террасой, котельной и кухней-столовой + т     ...