Все хитрости sitemap.xml

Каждый день, каждую минуту и каждую секунду сканеры различных поисковых систем изучают и собирают информацию с огромного количества веб-сайтов по всему миру. Эти программы автономны и обучены таким образом, чтобы эффективно сканировать страницы веб-сайта. Собранная информация о веб-страницах передается в индекс, и их можно ранжировать по конкретным поисковым запросам. ─ Но куда приходит карта сайта? — спрашиваешь ты. Они необходимы для того, чтобы процедура сканирования веб-страниц и контента сайта была максимально точной.

Сегодня создание и регулярное обновление XML-карты сайта является стандартом по умолчанию для большинства веб-сайтов, а также входит в число обязательных этапов технической оптимизации.

к содержанию ↑

Что такое XML-карта сайта?

XML-карта сайта — это XML-файл, содержащий список всех доступных URL-адресов сайта, каждый из которых имеет определённые метаданные. Наиболее важными являются:

• Адрес и тип веб-страницы
• Дата и время последнего обновления веб-страницы
• Частота обновления
• Приоритет веб-страницы в общей структуре сайта
• Доступность языковых версий

Следует отметить, что использование протокола карты сайта не гарантирует, что веб-страницы будут индексироваться поисковыми системами. Это всего лишь дополнительная подсказка для гусеницев, которые могут выполнить более тщательное сканирование сайта. Однако в большинстве случаев использование карты сайта помогает оптимизировать процесс сканирования и предотвратить возможные ошибки.

к содержанию ↑

Цель XML-карты сайта

Использование XML-карты сайта позволяет сканерам поисковых систем быть более эффективными следующими способами:

• Расставьте приоритеты на веб-страницах в соответствии с заданными параметрами.
• Исправьте частоту обновления страниц сайта.
• Определите, какая из страниц сайта новая и требует обязательной индексации.
• Определите, были ли какие-либо изменения в страницах, которые индексировались ранее.
• Сканируйте медиаконтент на веб-сайте (изображения и видео).
• Отсканируйте новостную ленту сайта.
• Индексируй все необходимые страницы веб-сайта.

Теперь мы можем сделать вывод, что главная цель XML-карты сайта — помочь роботам поисковых систем максимально правильно отсканировать различный контент на страницах сайта.

к содержанию ↑

XML-форматы карты сайта

Согласно справочной информации Search Console, Google поддерживает следующие форматы карты сайта:

• XML
• RSS, mRSS и атом 1.0
• Текстовый файл
• Сайт платформы Google

В этой статье мы будем рассматривать только формат XML, поэтому не будем останавливаться на других форматах. Для формата XML необходимо соблюдать три обязательных требования при создании XML-карты сайта:

1. Один файл не может содержать более 50 000 URL-адресов.
2. Размер файла не должен превышать 50 МБ.
3. Допускается только кодировка UTF-8.

Как видите, основные ограничения связаны с размером, поэтому существует возможность создавать несколько файлов. В этом случае вы можете создать карту сайта, так называемый индексный файл карты сайта и перечислить в нём все используемые файлы. Если ваш XML карты сайта больше 50 МБ, его можно сжать с помощью архиватора GZIP.

к содержанию ↑

XML-классификация карты сайта

Согласно справочной информации Search Console, Google поддерживает расширенный синтаксис в XML-файле для следующих типов данных:

• Изображения
• Видео
• Новости

XML-карта сайта для изображений — это файл с информацией только об изображениях веб-сайта. С помощью этого вы можете указать список изображений, доступных на сайте, и, самое главное, информацию для каждого изображения. Это может быть название изображения, его подпись, местоположение и т. д.

XML-карта сайта для видео — это файл с информацией о видеоконтенте сайта. В нём вы можете перечислить видеоконтент, доступный на сайте, и описать его. Описание может содержать продолжительность видео, количество просмотров, дату публикации, название и т. д.

XML-карта сайта для новостей используется для оптимизации вашего сайта для Google News.

Самая простая и часто используемая карта сайта — это XML-карта сайта для страниц сайта, которая фактически описывает структуру сайта. Начнём с этого.

к содержанию ↑

Как создать карту сайта для Google?

Специальные XML-теги используются для создания XML-карты сайта для страниц сайта. Они могут быть обязательными или необязательными.

Пример XML-картографии сайта для страницы веб-сайта:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> 
  <url>
    <loc>http://www.example.com/foo.html</loc>
   <lastmod>2018-06-04</lastmod>
  </url>
</urlset>

Чтобы создать индексный файл карты сайта, вы также должны использовать специальные XML-теги:

Символ		Экранированная последовательность
Амперсанд	&	&
Одинарные кавычки	‘	'
Двойные кавычки	«	"
Больше чем	>	>
Меньше чем	<	&lt;

Маскирование в XML-файлах предназначено для интерпретации обычных символов в их псевдокодах в HTML-формате. Формат XML-файлов дочерней карты сайта похож на стандартную XML-карту сайта для страниц сайта. В XML-файлах маскировка символов должна использоваться для всех значений данных, включая URL-адреса. Симвые символы, которые должны быть замаскированы, показаны в таблице:

к содержанию ↑

Карта сайта XML для изображений

Используя XML-карту сайта для изображений, вы повысите вероятность того, что изображения с сайта появятся в результатах поиска Google. Это указано в консоли справки — поиска.

Это самое большое преимущество XML-карты сайта для изображений и может принести владельцам тех сайтов, которые ранжируются при поиске по изображениям. Кроме того, использование XML карты сайта для изображений поможет поисковой системе найти контент, загруженный с помощью JavaScript.

Основные теги для описания изображений:

<image: image> — информация об одном изображении. Каждый URL (тег) может включать до 1000 тегов .
<image: loc> — URL изображения.
<image: caption> — подпись к изображению.
<image: geo_location> — местоположение (страна, город и т. д.).
<image: license> — URL-адрес лицензии на изображение.

XML-карта сайта Пример для изображений:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
  <url>
    <loc>http://example.com/sample.html</loc>
    <image:image>
      <image:loc>http://example.com/image.jpg</image:loc>
    </image:image>
    <image:image>
      <image:loc>http://example.com/photo.jpg</image:loc>
    </image:image>
  </url> 
</urlset> 

к содержанию ↑

Карта сайта XML для видео

Вот наиболее важные рекомендации из списка, предоставленного справкой по консоли поиска для создания XML-карты сайта для видео:

• Полное описание видео может увеличить вероятность его появления в результатах поиска Google на более высоких позициях благодаря дополнительным метаданным.
• Google будет использовать описание видео, которое он считает наиболее информативным. Это может быть описание в карте сайта или текст на веб-странице.
• Google Crawler не будет просматривать видео, если не найдет его по URL-адресу, указанному в XML-карте сайта.
• Google Crawler должен иметь доступ к исходному видеофайлу или проигрывателю.
• Google Crawler может проверить точность указанной информации о ваших видео. Если информация, представленная в XML-карте сайта, не соответствует действительности, видео может не индексироваться.

Давайте посмотрим на основные теги (обязательные и необязательные) для описания видео.

Требуемые теги:

<loc> — веб-страница, на которой находится видео

<video: title> — название видео (до 100 символов)

<video: player_loc> — местоположение проигрывателя для видео

<video: content_loc> — размещение конкретного видео

<video: thumbnail_loc> — предварительный просмотр видео (не менее 120×90 пикселей)

<video: video> — контейнер для описания видео

<video: description> — описание видео (до 2000 символов)

Дополнительные теги:

<video: duration> — продолжительность видео

<video: category> — категория видео

<video: publication_date> — дата публикации

<video: view_count> — количество просмотров видео

Поисковая система Google поддерживает следующие форматы видеофайлов:

• *.Mpg, *.mpeg;
• *.Mp4, *.m4v;
• *.Wmv;
• *.Asf;
• *.Avi;
• *.Ra, *.ram, *.rm;
• *.Mov;
• *.Flv.

Пример XML-картографии сайта для видео:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">
   <url>
     <loc>http://www.example.com/videos/some_video_landing_page.html</loc>
     <video:video>
       <video:thumbnail_loc>http://www.example.com/thumbs/123.jpg</video:thumbnail_loc>
       <video:title>Grilling steaks for summer</video:title>
       <video:description>Alkis shows you how to get perfectly done steaks every
         time</video:description>
       <video:content_loc>
          http://streamserver.example.com/video123.mp4</video:content_loc>
       <video:player_loc>
         http://www.example.com/videoplayer.php?video=123</video:player_loc>
       <video:duration>600</video:duration>
       <video:expiration_date>2021-11-05T19:20:30+08:00</video:expiration_date>
       <video:rating>4.2</video:rating>
       <video:view_count>12345</video:view_count>
       <video:publication_date>2007-11-05T19:20:30+08:00</video:publication_date>
       <video:family_friendly>yes</video:family_friendly>
       <video:restriction relationship="allow">IE GB US CA</video:restriction>
       <video:price currency="EUR">1.99</video:price>
       <video:requires_subscription>yes</video:requires_subscription>
       <video:uploader
         info="http://www.example.com/users/grillymcgrillerson">GrillyMcGrillerson
       </video:uploader>
       <video:live>no</video:live>
     </video:video>
   </url>
</urlset>

Следует отметить, что если вы размещаете видео на своем сайте с помощью iframe из сервиса YouTube, отдельная XML-карта сайта не требуется.

к содержанию ↑

XML-карта сайта для Google News

И снова мы имеем в виду официальную информацию из Help — Google Console, которая гласит, что наличие отдельного XML-файла карты сайта для новостей обеспечивает ускоренный поиск и индексацию всех новостных статей на сайте. Поэтому отдельная XML-карта сайта для новостей станет лучшим решением для новостных сайтов, которые хотят публиковать свой контент в Google News.

Вот список ключевых рекомендаций от Google по созданию новостной карты XML:

• Файл должен содержать URL-адреса статей, опубликованных за последние два дня.
• Статьи, опубликованные более двух дней назад, должны быть удалены из файла. В то же время они останутся в индексе Google News в течение стандартного 30-дневного периода.
• Карта сайта должна обновляться по мере публикации статей на сайте.
• При публикации новых статей вам просто нужно добавить их URL-адреса в существующий файл.

Список тегов для XML Новости Теги:

• PressRelease — официальный пресс-релиз
• Satire — статья, которая раскрывает тему обсуждения в комической форме.
• Blog — статья, которая публикуется в блоге или в формате блога.

Пример XML-картографии сайта для Google News:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"       
        xmlns:news="http://www.google.com/schemas/sitemap-news/0.9">
  <url>
    <loc>http://www.example.org/business/article55.html</loc>
    <news:news>
    <news:publication>
      <news:name>The Example Times</news:name>
      <news:language>en</news:language>
    </news:publication>
    <news:publication_date>2008-12-23</news:publication_date>
      <news:title>Companies A, B in Merger Talks</news:title>
    </news:news>
  </url>
</urlset>

Согласно информации в разделе Справка Google Search Console, наличие отдельного XML-файла карты сайта для новостей обеспечивает ускоренный поиск и индексацию всех новостных статей на сайте.

к содержанию ↑

XML-карта сайта для многоязычных сайтов

Многие сайты, ориентированные на широкую аудиторию, имеют многоязычную поддержку. Чтобы гусеничный Google правильно понял, что сайт многоязычный, чтобы правильно сканировать свои страницы на разных языках, вам нужно использовать атрибут rel=”alternate” hreflang=”x”.

В XML-файле создайте отдельный элемент URL для каждого адреса, который, в свою очередь, должен включать:

Тег loc, указывающие на URL-адреса

XHTML: ссылка rel = «альтернативный» hreflang = «x» для каждой альтернативной версии страницы, всегда включая текущую версию.

Например, на английском сайте есть возможность выбрать немецкий язык. В этом случае мы должны сообщить о наличии альтернативных страниц на немецком языке. Такой пример может выглядеть следующим образом:
(картинка)

Ознакомившись с различными типами XML-карт и ознакомившись с синтаксисом создания файлов, вы можете перейти к инструментам, которые могут генерировать карту сайта.

Инструменты для создания XML-карты сайта и работы с ней

Вот несколько вариантов создания XML-карты сайта:

Руководствуясь правилами синтаксиса, рассмотренными выше

Настольные программы для генерации XML-карты сайта (программы для гусениц)

Онлайн генераторы XML-карт сайта

Инструменты CMS или отдельные плагины.

Понятно, что создание файлов, с помощью которых сотни и тысячи строк вручную, очень трудоемко, если не практически невозможно. Поэтому мы сосредоточимся только на настольных программах, онлайн-генераторах, CMS и их плагинах.

Программы сканирования для поколения XML-карт сайта

Зеничные программы обычно используются для больших сайтов с объёмом страниц от 1000. Большинство из них не являются свободными программами. Его используют в работе опытные специалисты, которые могут правильно настроить необходимые параметры и в полной мере воспользоваться продуктом.

В рамках этой статьи мы рассмотрим 3 программы, которые зарекомендовали себя при создании XML-карт сайта:

1. Screaming Frog

Программный продукт британской компании Screaming Frog Ltd. Работает на семействах Windows, Mac OS и Linux. Существует бесплатная версия, которая позволяет генерировать XML карты сайта до 500 URL-адресов.
(картинка)

Программа имеет простой и интуитивно понятный интерфейс и довольно большой набор настроек для создания XML-карты сайта:

Приоритет страницы

Экспорт в MS Excel

Автоматическая настройка lastmod и changefreq

Формирование карты для изображений

2. PowerMapper Desktop

PowerMapper Desktop специализируется на создании HTML и XML карт сайта. Он работает с операционными системами Windows и Mac.
(картинка)

Отличительной особенностью этой программы является представление карты сайта в удобной, наглядной форме. Это может быть древовидная структура, табличная, трёхмерная, облачная и т. д.

к содержанию ↑

Онлайн генераторы XML-карт сайта

Сегодня онлайн-сервисы для автоматической генерации XML-карт сайта используются большинством разработчиков, потому что это просто, удобно и быстро.

Мы выделим 5 самых известных и популярных онлайн-сервисов для автоматического поколения XML-карт сайта. У каждого из них есть свои преимущества и недостатки, но окончательный выбор того, что использовать, зависит от вас. Мы проведем краткий обзор каждой из услуг и подчеркним их возможности и особенности.

к содержанию ↑

1. XML-карты

Сервис позволяет быстро генерировать XML-карту сайта, указывая только URL-адрес сайта и время последнего изменения информации на сайте. Бесплатная версия позволяет работать с сайтами объёмом до 500 страниц.
(картинка)

Если сайт имеет более пятисот страниц, вы можете приобрести PRO-карты сайта и получить расширенные функции. На данный момент PRO-карты имеют «пожизненную» лицензию.

к содержанию ↑

2. My Sitemap Generator

Это также удобный сервис для создания XML-карт сайта. Он работает аналогично XML-картам сайта. Если сайт содержит до пятисот страниц, вы можете сгенерировать для него карту абсолютно бесплатно. В противном случае вам понадобится пакет STATIC PRO или DYNAMIC.
(картинка)

Разработчики этого сервиса утверждают, что их инструмент позволяет создавать дополнительные теги в процессе генерации XML карты сайта. Это может помочь поисковым системам получить более полную информацию на страницах сайта и в режиме обновления [4].

к содержанию ↑

3. XML Sitemap Generator

Этот сервис позволяет создавать XML-карту сайта объёмом до 2000 страниц в свободном режиме.

На сайте сервиса есть возможность создать личный кабинет для пользователя и сохранить в нём свои настройки. Следует отметить, что регистрация не является обязательной, и вместо этого вы можете немедленно сгенерировать XML-карту сайта.

Тем не менее, «Дополнительные настройки» определенно являются плюсом.

Перед генерацией XML карты сайта вы можете исключить отдельные URL-адреса и форматы изображений и определить, что показывать в тегах заголовка H1, H2 или указать приоритеты.

Сервис также предоставляет плагин для CMS WordPress и десктопную версию своего продукта для Windows. Узнайте больше о тегах в нашем разделе Как построить отличное мета-описание, H1 Метка: как создать отличный заголовок, как создать материалы для дружественных по поиску заголовков.

к содержанию ↑

4. Web-Site-Map

Это простой и удобный сервис для создания XML карты сайта размером до 3500 страниц.

Разработчики сервиса утверждают, что помимо создания карты генератор карт XML поддерживает национальные языки. Есть бесплатный отчёт о неработающие ссылки, валидатор карты сайта, а также ручная и автоматическая расстановка приоритетов страниц. Более подробный список функционала представлен на сайте разработчика.

к содержанию ↑

5. Генератор карты XML на сервисе countwordsfree

Это довольно удобный инструмент, который позволяет анализировать сайты размером до 10 000 строк. Сервис имеет четкий и эргономичный интерфейс. С ним легко работать, даже новичкам.

Разработчики сервиса утверждают, что помимо создания карты генератор карт XML поддерживает национальные языки. Есть бесплатный отчёт о неработающие ссылки, валидатор карты сайта, а также ручная и автоматическая расстановка приоритетов страниц. Более подробный список функционала представлен на сайте разработчика.

к содержанию ↑

Инструменты CMS и плагины XML-карты сайта

Если сайт был создан с помощью WordPress, Joomla, Drupal или другой CMS, вы можете использовать инструменты, которые уже реализованы внутри системы, наряду со специальными плагинами для автоматической генерации XML карты сайта.

Плагины WordPress для создания XML-картографии сайта:

• WordPress SEO от Yoast. Это самый известный SEO-плагин для WordPress на сегодняшний день. Его набор функций также включает автоматическое генерацию XML-карт сайта. Вы можете создать карту для веб-страниц или для медиаконтента. Доступно большое количество настроек. Подробнее о плагине читайте в нашей статье Плагин Yoast.
• Карты сайта Google XML. Одним из главных преимуществ этого плагина является то, что он бесплатный для всех! Это удобный и простой в использовании инструмент для создания карты сайта. Он также имеет расширенный набор настроек.
• All in One SEO Pack — это достаточно мощный SEO-инструмент, который имеет функциональность для создания карты сайта. Доступны различные настройки, правила и автоматические уведомления от Google о добавлении нового контента. Более подробную информацию о плагине и его настройках можно найти в статьях «Все в одном SEO-пакете» и настройке SEO-плагинов.
• Premium SEO Pack помогает почти всем работать с XML-картой сайта автоматически. Когда информация обновляется на странице или появляются новые страницы, карта сайтов автоматически обновляется. Это быстро и легко.
• Rank Math — это SEO-плагин WordPress, разработанный MyThemeShop. Помимо большого набора различных функций, он имеет возможность сделать XML-карту сайта. Вы также можете настроить различные типы записей и таксономий. Подробнее о плагине и его настройках читайте в наших статьях Rank Math SEO и Rank Math Plugin Installation Walkthrough.

Со всеми опциями для конкретного плагина для WordPress наряду с их преимуществами практически невозможно сказать, какой из них лучший. Все зависит от необходимых задач и сайтов, с которыми вы работаете. Плагин подбирается для широкого спектра SEO-задач, поэтому что-то вроде создания карты сайта является хорошим дополнением к его основным функциям, но не главным преимуществом плагина.

к содержанию ↑

CMS Drupal:

Простой модуль XML-карт сайта позволяет автоматически генерировать карту сайта. Созданную карту можно автоматически отправить из CMS в различные поисковые системы.

Этот модуль позволяет создать XML-файл карты сайта для многоязычных сайтов, изображений, Google News и обычных веб-страниц

Позволяет гибко регулировать параметры генерации.

к содержанию ↑

CMS Joomla:

Базовый функционал CMS Joomla не имеет собственных инструментов для создания XML-карты сайта. Тем не менее, существует несколько расширений, которые могут дополнить функциональность этой CMS, настраивая и создавая XML-карты сайта. Мы рассмотрим одну услугу: JL-карту сайта. Он обладает всем необходимым функционалом, поддерживается разработчиком и регулярно обновляется.

JL Sitemap

Это программный продукт российских разработчиков из JoomLine Team.

Он работает с Joomla v. 3,9 и выше. Он имеет следующие необходимые функции для работы с XML карты сайта:

• Автоматическая генерация XML карты сайта
• Возможность вручную настроить параметры перед началом генерации
• Количество обработанных страниц не ограничено.
• Запланированная генерация XML-карт сайта
• Поддержка многоязычной XML-картографии сайта

Очевидно, что и инструменты CMS Drupal, и Joomla имеют все необходимые инструменты и возможности для создания, настройки и работы с различными типами XML-файлов карты сайта.

к содержанию ↑

Добавление XML-картокарт сайта на сайт

Вот следующие шаги для добавления XML карты сайта на сайт:

1. Файл должен быть помещен в корневой каталог сайта: http://www.domain.com/sitemap.xml.
2. Если файлов несколько, вам нужно создать индекс карты сайта, в котором должны быть перечислены все ссылки на XML-файлы.
3. Добавьте директиву карты сайта в файл robots.txt:
4. Карта сайта: http://www.domain.com/sitemap.xml.

Добавление XML-файл в консоль поиска Google.

Анализ XML-картокарт сайта в консоли поиска

После того, как вы добавили XML-карту сайта и консоль поиска Google на сайт, вы можете проанализировать карту сайта.

• Используя функциональность Google Search Console, вы можете сделать следующее:
• Проанализируйте количество страниц, отправленных и проиндексированных сайтом

Посмотри на ошибки, которые система обнаружит во время анализа

Используя этот анализ, вы можете контролировать процесс ползания и при необходимости вносить определённые изменения.

к содержанию ↑

Советы и рекомендации

Прежде всего, давайте определим, когда нужно составить карту сайта:

1. Сайт был создан недавно и не имеет достаточной массы ссылок.
2. Сайт большой по размеру и имеет довольно сложную или нестандартную структуру. Большой список сайтов подходит в интернет-магазинах, туристических сайтах, новостных порталах, крупных спортивных и развлекательных ресурсах и т. д.
3. Сайт содержит большое количество мультимедийного контента (изображения, видео и т. д.).
4. Сайт ориентирован на новости.

к содержанию ↑

Теперь давайте посмотрим, что не стоит добавлять в XML-карту сайта:

• Дублировать страницы
• Вторичные адреса (неканонические)
• Страницы разбиения на страницы
• URL-адреса, основанные на идентификаторах сеанса и параметрах
• Результаты (динамически сгенерированные веб-страницы) поиска и фильтрации
• Архивные страницы
• Перенаправления (3 **)
• Несуществующие страницы (4 **)
• Ошибки сервера (5 **)
• Страницы, которые вы заблокировали в файле robots.txt
• Страницы с noindex

к содержанию ↑

Общие рекомендации по XML-карте сайта:

• Используйте XML-карту сайта только для изображений, видео и новостей в тех случаях, когда это оправдано спецификой сайта.
• Создавать динамические карты сайтов.
• Подключите XML карты сайта к консоли поиска Google.
• Попробуйте исправить ошибки, которые будут обнаружены в отчётах.
• Используйте простые и понятные имена файлов.
• Если вы используете несколько XML-карт сайта, используйте чёткую и несложнённую структуру.

Мы постарались собрать наиболее важные рекомендации при работе с XML-картой сайта. Когда и как использовать карты сайта в каждом конкретном случае, в конечном итоге зависит от вас.

Подводя итог, можно сказать, что правильная XML-карта сайта — это ещё один шаг лестницы под названием Technical SEO, который ведет в верхнюю часть страницы поиска Google. Используя XML-карту сайта, вы можете значительно ускорить индексацию новых или обновленных страниц, сосредоточиться на самых важных (продвинутом страницах) и предоставить поисковым системам исчерпывающую информацию о контенте сайта.

Конечно, использование XML-карты сайта не является обязательным условием и не гарантирует молниеносный эффект для индексации и продвижения ресурса в топ поисковых систем. Тем не менее, мы по-прежнему настоятельно рекомендуем создать XML-карту сайта по причинам, перечисленным в этой статье.

Плагин рейтинга создан автором этого блога. Буду очень признателен, если вы сможете его поддержать (ссылка)