Блог о заработке в Интернет — Я креветко

для отдельных роботов (User-agent). Если раньше «Яндекс» следовал директивам последовательно, то теперь он предварительно сортирует их и выполняет «по смыслу». Раньше было так: если разрешить индексацию отдельного каталога, но потом запретить индексацию всего сайта, то выполнялась последняя команда (то есть запрет индексации). Теперь запрет не затронет разрешение, т.к. у него более специфический URL.

автор: Антон