Из-за непонятных причин, Яндекс имеет свойство игнорировать директивы Dissallow в секции User-agent: * (несмотря на официальный FAQ Яндекса по robots.txt), поэтому их приходится дублировать в секции User-agent: Yandex.
Кстати, для Яндекса полезно указывать дополнительные директивы Crawl-delay (частота запросов страниц сайта в сек.), Host (главное зеркало сайта) и Clean-param (не учитываемые параметры в URL'ах).
