Вариант аудита карты сайта
В нашей статье « 5 крупнейших ошибок XML Sitemap, которых следует избегать » мы говорили о главных ошибках, которые мы видим, когда дело касается файлов карты сайта XML, таких как перечисление несовместимых страниц и пропуск важных страниц. Важно избегать подобных ошибок, потому что наличие точной и актуальной карты сайта может гарантировать, что Google не пропустит какой-либо контент, который вы хотите проиндексировать, и не тратит ваш краулинговый бюджет на URL-адреса, которые вам не нужны.
Итак, как вы проверяете URL-адреса в карте сайта? Вы можете вручную просмотреть файлы карты сайта, но это будет непрактично, особенно на сайте с миллионами URL-адресов. Более простой вариант — провести программное сканирование с помощью инструмента, для сканирования ваших URL-адресов на наличие ошибок.
Как правило, поисковые роботы начинают сканирование вашего сайта с одного URL-адреса — вашей домашней страницы. С домашней страницы поисковый робот будет переходить по ссылкам на этой странице на другие страницы вашего сайта, а затем переходить по ссылкам на этих страницах и т. Д.
Однако это не единственный способ сканировать ваш сайт. Вы также можете использовать Botify, чтобы настроить сканирование, чтобы начать с:
- XML-карта сайта или файл индекса карты сайта
- Текстовый файл
- Пользовательский начальный URL
Сканирование вашего сайта с помощью карт сайта или пользовательских текстовых файлов отлично подходит для множества случаев использования. Давайте рассмотрим, как работает каждый вариант, и для чего вы можете использовать его.
Начать сканирование с карты сайта
Вы можете начать сканирование с внешнего файла, такого как карта сайта или индекс карты сайта, чтобы вы могли легко найти любые ошибки в своих XML-файлах. Следует отметить одну важную вещь: в Botify вы можете не только сканировать все URL-адреса в файле карты сайта, но и выполнять сканирование из файла карты сайта.
Чем эти вещи отличаются?
Запуск сканирования из карты сайта означает, что вы не только просканируете URL-адреса в карте сайта, но и просканируете страницы, на которые они ссылаются.
Какая польза? Скажем, например, что URL-адрес в вашей карте сайта не проиндексирован. Это здорово, потому что в идеале у вас должны быть только совместимые страницы в вашем файле Sitemap. Однако что, если эта несовместимая страница связана со страницей 404? Вы не сможете найти этот URL-адрес 404d, если он также не будет связан в вашей карте сайта.
Какая польза?
Запуск сканирования сайта из карты сайта — отличный способ убедиться, что не только URL-адреса в карте сайта не содержат ошибок, но и страницы, на которые они ссылаются или перенаправляются, не содержат ошибок.
Легко принять как должное, что URL-адреса в вашей карте сайта — это только те URL, которые мы хотим сканировать / проиндексировать, но сканирование из ваших файлов карты сайта является ценным средством защиты от траты времени Google на URL-адреса, которые мы даже не хотим сканировать.
Как я могу просканировать файл индекса карты сайта?
Что делать, если у вас есть файл индекса карты сайта, а не один файл карты сайта XML?
Многие сайты используют индексный файл карты сайта. Если вы не знакомы, файл индекса карты сайта — это файл, содержащий несколько карт сайта. Думайте об этом как о контейнере, в котором вы можете хранить все файлы карты сайта XML на своем веб-сайте.
Не каждому сайту требуется несколько карт сайта, но это может быть необходимо для многих крупных веб-сайтов, поскольку файлы карты сайта XML не могут превышать 50 000 URL-адресов или 50 МБ (без сжатия).
Иногда файлы индекса карты сайта могут создавать проблемы для поисковых роботов. К счастью, начать сканирование индекса карты сайта в Botify так же просто, как вставить ссылку на него при настройке сканирования. Мы будем следить за индексом вашей карты сайта и загружать любую дополнительную карту сайта, на которую он ссылается.
Сравнение сканирования файлов Sitemap со сканированием с домашней страницы
Файлы Sitemap — отличный способ отправить в Google информацию о том, что вы хотите просканировать, но они не гарантируют, что Google найдет и просканирует все эти страницы. Когда дело доходит до вашего веб-сайта, хороший способ узнать, насколько вы полагаетесь на Google, чтобы «выяснить это» самостоятельно, — это сравнить сканирование с вашей домашней страницы со сканированием по карте сайта.
Другими словами, есть ли несоответствие между тем, что вы кормите Google в своей карте сайта, и тем, что Google может легко получить из архитектуры вашего сайта?
Вы не только захотите убедиться, что ваши важные страницы правильно находятся в вашей карте сайта, но также убедитесь, что эти страницы доступны по ссылкам на других ваших страницах. Обеспечение доступности страниц в архитектуре вашего сайта не только важно для помощи Google в поиске важного содержания; это также важно для помощи посетителям в навигации по вашему сайту!
Сканирование текстового файла Sitemap
Иногда вам не нужно сканировать всю карту сайта. Есть много случаев, когда вам может понадобиться сканировать только определенный набор URL-адресов. Для этого вы можете использовать онлайн сервисы «сканирование из текстового файла». Просто добавьте все URL-адреса, которые вы хотите сканировать, в текстовый файл, и просканируйте только эти URL.
Приятно иметь возможность проверять вашу карту сайта в целом, но есть множество действительно конкретных случаев использования, в которых ценно иметь возможность сканировать настраиваемый список URL-адресов.
Например, если бы у вас была возможность сканировать только с вашей домашней страницы или из вашего официального файла карты сайта XML, вы не смогли бы сканировать страницы «за пределами вашего сайта» (например, скрытые целевые страницы). Использование текстового файла для сканирования определенных URL-адресов означает, что каждый день вы можете выполнять другое сканирование, что позволяет при необходимости увеличивать и детализировать определенные разделы вашего сайта.
Сканирование с определенных URL Sitemap
Многие сканирование сайтов начинается с домашней страницы, но вы также можете начать сканирование с определенных URL-адресов на своем сайте.
Например, вместо того, чтобы запускать сканирование с website.com , вы можете запустить его с website.com/blog или website.com/products .
Этот параметр позволяет вам начать сканирование с определенной страницы или подпапки, но он продолжит сканирование всего сайта по ссылкам, обнаруженным на этих страницах. Это может показать, насколько разные разделы вашего сайта связаны с остальной частью вашего сайта.
Вывод
Выбранный вами вариант сканирования всегда будет зависеть от того, чего вы хотите достичь — не существует «лучшего способа» сканировать ваш сайт. Возможно, вы проводите комплексный аудит карты сайта, и в этом случае «сканирование по карте сайта» будет отличным вариантом. Или вы можете захотеть проанализировать только определенную группу URL-адресов из вашей карты сайта, и в этом случае будет полезно использовать параметр «текстовый файл».
