Очередная сага о robots.txt

Очередная сага о robots.txt

А вот еще одна очередная сага о robots.txt! Дело в том, что сейчас нахожу очень много постов, обсуждений и тем на различных форумах о поисковой оптимизации. И действительно, ведь как правило многие новички даже и не знают о тех подводных камнях, которые можно встретить в этой теме.

Сейчас кратко попробую выделить их.