Индексация сайта в поисковиках или как прописать быстроробота Яндекса

Индексация сайта в поисковиках или как прописать быстроробота Яндекса

Доброго времени суток. Сегодня хочу поделится своими мыслями по поводу индексации страниц сайта Яндексом. Как по моим наблюдениям с индексацией гугла проблем нет у многих вебмастеров. Он даже индексирует те страницы, которые закрыты в robots.txt.

А вот с Яндексом совсем другая проблема, если быстроробот на сайте не пасётся, то всё очень печально для вебмастера. Об этом и пойдет речь в статье.