ДеловКайфДеловкайф
Главная SEO-продвижение

Как работают поисковики Яндекс и Google?

Поисковые системы каждый день сканируют тысячи сайтов. Понимание последовательности их работы позволит подойти к SEO-продвижению осознанно.

Как работают поисковики Яндекс и Google?

Прежде чем приступать к практическим действиям по развитию и оптимизации сайта в поиске (ПС) Яндекс и Гугл, необходимо разобраться, как они работают. В статье мы объединили и проработали информацию из различных источников, чтобы вы могли:

  • осознанно подойти к продвижению и не работать вслепую;
  • сэкономить кучу времени и денег на курсах от «псевдо» гуру;
  • увеличить прибыль, получаемую от вашего сайта/бизнеса;
  • правильно выбрать подрядчика по SEO.

Типы поисковых систем в интернете

Существует 2 основных типа систем.

  1. Системы, использующие веб-краулеры. Краулер – это робот (программа), который «путешествует» по страницам в интернете, сканирует их и заносит в базу данных (поисковый индекс). Поэтому, иногда, индекс называют «малой» копией интернета.

Далее, человек вводит запрос. Поисковик обращается к своему индексу, сортирует документы по степени их соответствия информационным нуждам пользователя (релевантности) и выдаёт их на странице результатов поиска (по англ. SERP – search engine result page). К такому типу относятся: Яндекс, Mail.ru, Yahoo, Google, Rambler и другие.

  1. Каталоги данных с добавлением информации вручную. Хорошим примером может служить библиотека. Пользователь вводит название книги или какую-либо другую идентифицирующую информацию, а система выдаёт ему список результатов.

Этапы работы

Изображение 1

Рассмотрим более подробно работу поиска Яндекса.

Поиск новых документов/сайтов

О новых сайтах поисковики узнают с помощью:

  • ссылок, по которым «ходит» поисковый паук (краулер);
  • сервисов (например, Яндекс Вебмастер);
  • подконтрольных браузеров (например, Яндекс браузер или Google Chrome);
  • систем аналитики (Яндекс Метрика, Google Analytics и другие);
  • тулбаров (например, Яндекс бар);
  • других источников.

Извлечение информации с сайта

После попадания на сайт краулер сканирует его и извлекает информацию. Поэтому для оптимального краулинга так важна:

  • Скорость ответа сайта.
  • Объём страницы, где находится контент.
  • Размер сайта в целом. Чем объёмнее сайт, тем больше времени необходимо на его полное сканирование.

На втором этапе извлечённая информация добавляется в поисковый индекс. Индекс бывает прямой и обратный.

Прямой

В нём каждому документу сопоставлен список встречаемых в документе слов. Пример:

Шаг № 1 – краулинг.
Doc № 1Он пошёл гулять вечером.
Doc № 2Дерево было очень зелёное.
Шаг № 2. Добавление в индекс. После индексации мы получаем:
Doc № 1он, пойти, гулять, вечер
Doc № 2дерево, быть, очень, зелёный

Шаг № 3. При вводе запроса «зелёное дерево» будет показан Doc № 2.

Инвертированный (обратный)

В нём каждому слову сопоставлен список документов, где встречается данное слово. Он представляет собой предметный указатель, который можно встретить во многих книгах. Пример:

Шаг № 1 – краулинг.
Doc №1Самолёт набирал высоту.
Doc №2Истребитель является самолётом.
Шаг № 2 – Добавление в индекс. После индексации получаем:
СамолётDoc 1, Doc 2
НабиратьDoc 1
ВысотаDoc 1
ЯвлятьсяDoc 2
ИстребительDoc 2

Шаг № 3. При вводе запроса «самолёт» нам будет показан Doc 1 и 2.

Естественно, эти примеры являются простейшими и на практике всё намного сложнее. Например, в инвертированный индекс добавляется частота встречаемых слов и так далее.

Переколдовка запроса

На 3 этапе работы пользователь вводит запрос. За кулисами производится переколдовка запроса. Это механизм, при котором в запрос пользователя добавляются синонимы слов, похожие термины. То есть производится расширение запроса. Это делается для увеличения релевантности поисковой выдачи. Как точно работает «переколдовка» мы не знаем.

Ранжирование

После переколдовки со множества серверов поискового индекса извлекаются лучшие результаты по запросу пользователя, которые объединяются в один список.

Полученный список сортируется по степени релевантности. Этот процесс называется ранжированием. Ранжирование производится с помощью специального алгоритма — в Яндекс он называется Matrixnet. Для вывода лучших результатов алгоритм оперирует множеством факторов — В Яндекс их более 800, а в Google >200.

К основным факторам относятся:

  • текстовые;
  • ссылочные;
  • коммерческие;
  • технические;
  • поведенческие;
  • социальные (на данный момент учитываются слабо).

Отображение

Изображение 2

После выбора самых релевантных документов производится их отображение. На данном этапе оптимизатору важно понимать, как управлять отображением сниппета. Сниппет – это блок информации о сайте, который отображается в результатах выдачи. Одним из способов является микроразметка.

Персонализация

Отдельно стоит отметить персонализацию поисковой выдачи. То есть двум разным людям по одному и тому же запросу может показываться разная выдача. Это делается с помощью анализа поведения пользователей: их предпочтений и интересов, геолокации (страна и город), предыдущих запросов и т. д.

Например, если один пользователь введёт запрос «питон», в большей степени, ему покажут страницы со змеями. А другому пользователю по такому же запросу покажут страницы по языку программирования Python.

Кеширование

При отображении поисковая система не каждый раз обращается к своей базе данных. Она «копит» новые документы (кеширует их), затем ранжирует и добавляет в выдачу. Период обновления результатов кеша в Yandex – это несколько дней. Обычно за неделю происходит до 2 обновлений – апдейтов. Поэтому при изменении какого-то элемента на сайте, он не сразу отображается в выдаче Яндекса.

В Гугл отсутствует понятие «кеширование». Google старается переносить новые документы в выдачу непрерывно, поэтому он работает намного быстрее Яндекса. Поэтому каждую минуту мы можем видеть разные результаты выдачи.

Проверка качества результатов выдачи

Изображение 3

После отображения результатов поисковой системе необходимо проверить качество выдачи.

Рассмотрим два основных способа, как это делается:

Оценка поведения пользователей. Поисковик анализирует, по каким сайтам в поисковой выдаче кликают пользователи, как долго задерживаются на этих сайтах и возвращаются ли в поиск после того, как перешли на определённый сайт.

Привлечение асессоров. Асессоры — это специально обученные люди, задача которых совершенствовать поисковый алгоритм. Асессоры смотрят выдачу по определённым запросам и выставляют оценки документам:

  • Витальный ответ. Присваивается официальной информации.
  • Полезный. Присваивается документам, которые дают исчерпывающий ответ на запрос пользователя.
  • Релевантный плюс. Дан полный ответ на запрос.
  • Релевантный минус. Предоставлен НЕ полный ответ.
  • Нерелевантный. Документ не отвечает на запрос.
  • Не про то. Страница, вообще, не должна находиться в выдаче по запросу.
  • Поисковый спам. Страница попала в выдачу из-за несовершенства алгоритмов ранжирования.

Помимо оценок, некоторые асессоры проверяют и другие параметры, например, ассортимент, дизайн и т. д. На основе полученной информации с помощью искусственного интеллекта совершенствуется поисковый алгоритм, который непосредственно влияет на результаты поиска.

Тестирование нововведений

Прежде чем новый функционал уйдёт в релиз, его проверяют на ряде пользователей. Поэтому на двух разных компьютерах может отличаться функционал или отображение элементов в выдаче поисковика.

Полезное видео

Рекомендую ознакомиться с полезным видео по теме от блогера Devaka:

Резюме

Теперь вы знаете, как работают поисковые системы и можете углубиться в изучение каждого аспекта отдельно. При возникновении вопросов задавайте их в комментариях ниже.

Понравилось? Расскажите друзьям:

Также будет полезно

Комментарии