User-agent: * Disallow: /_admin/ User-agent: Yandex Crawl-delay: 3.5 # задает таймаут в 3.5 секунды User-agent: * Disallow: /search Crawl-delay: 4.5 # задает таймаут в 4.5 секунды