User-agent: *
Request-rate: 1/1         # загружать не более одной страницы за одну секунду
Crawl-delay: 1            # задает таймаут в 1 секунду
Visit-time: 0000-0245     # загружать страницы только в промежуток с 3 утра до 5:45 по Московскому.
Disallow: /search/        # не чекать /search/
##