# robots.txt for http://www.orianaeloris.it # # ESEMPI: #------------------------------------------------------------------- #User-agent: * #Disallow: # # = non ci sono file o cartelle di cui si vuole impedire il prelievo # #------------------------------------------------------------------ #User-agent: googlebot #Disallow: /testi.html #Disallow: /nuova cartella/ # # = blocca agli spider la cartella "nuova cartella" e il file testi.html # #------------------------------------------------------------------- # ELENCO SPIDER # googlebot Google # fast Fast - Alltheweb # slurp Inktomi - Yahoo! # scooter Altavista # mercator Altavista # Ask Jeeves Ask Jeeves # teoma_agent Teoma # ia_archiver Alexa - Internet Archive #-------------------------------------------------------------------- User-agent: * Disallow: /admin/ Disallow: /home/ Disallow: /img/ Disallow: /Library/ Disallow: /news/ Disallow: /page/ Disallow: /put/