User-agent: *
#Disallow: /index	#disabilita la lettura di tutte le cartelle ed i files che cominciano con 'index'
#Disallow: /admin/	#disabilita la lettura del contenuto della cartella 'admin'

User-agent: msnbot Crawl-delay: 10
User-agent: Teoma Crawl-delay: 10
User-agent: Slurp Crawl-delay: 10

User-agent: aipbot Disallow: /
User-agent: BecomeBot Disallow: /
User-agent: psbot Disallow: /