User-agent: *
Disallow: /new/
Disallow: /redaktor/

User-agent: Yandex
Crawl-delay: 2.0 # тайм-аут посещения роботом Яндекса – не чаще, чем 1 раз в 2 секунды

Disallow: /search Crawl-delay: 2.0 # тайм-аут посещения всеми роботами – не чаще, чем 1 раз в 1 секунду