# PARABÉNS! # Você acaba de acessar O ROBOTS.TXT: # um arquivo que é exclusivamente direcionado aos robôs dos mecanismos de busca! # Se você caiu de paraquedas (ou sem) e ainda não sabe bem o que é isso, vamos lá: # Segundo os amigos da nossa querida Wikipedia (http://pt.wikipedia.org/wiki/Robots.txt), # "Robot (ou robô) é um programa de computador que percorre automaticamente as páginas da # Internet em busca de documentos, a fim de indexá-los, validá-los ou monitorar alterações # de conteúdo. Para controlar as atividades desses robots durante suas buscas, opcionalmente, # webmasters podem criar um arquivo chamado robots.txt no diretório raíz de um determinado # endereço web. Robots.txt é um arquivo no formato texto (.txt) que funciona como ´filtro´ # para os Crawlers e robots dos motores de busca da Internet, permitindo ou bloqueando o # acesso a partes ou à totalidade de um determinado site." # Ou seja, resumindo, esse robots.txt serve para dar as primeiras orientações # aos mecanismos de busca como o Google, Yahoo e MSN quanto às páginas que devem ou não devem # ser indexadas e disponibilizadas nos resultados das buscas. # Se o seu site tem esse arquivo e ele está bem feito, fique tranquilo! # Caso não tenha*, não adianta copiar este, pois cada robots.txt tem diretrizes específicas # para o respectivo site. Consulte seu webmaster. # Todos os Sites Otimizados (www.SitesOtimizados.com.br) devem ter um arquivo ROBOTS.TXT. # (*) Para verificar se seu site tem o robots.txt, verifique em www.seudominio.com.br/robots.txt # ______________________________________________________ # Abaixo segue o conteúdo do ROBOTS.TXT para este site: # ______________________________________________________ # INDICAÇÃO DA LOCALIZAÇÃO DO SITEMAP PARA OS ROBÔS DE BUSCA: Sitemap: http://estofamentoautomotivo.com.br/sitemap.xml # DIRETRIZES ESPECÍFICAS PARA O ROBÔ DO GOOGLE: # permitir que o robô do Google indexe todo o site User-agent: googlebot Disallow: # impedir a indexação dessas pastas do site User-agent: googlebot Disallow: /cgi-bin/ Disallow: /wp- Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-content/languages/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /wp-includes/ Disallow: /comments/ Disallow: /comments/feed/ Disallow: /category/ Disallow: /trackback/ Disallow: /feed/ Disallow: /rss/ Disallow: /page/ Disallow: /page/ Disallow: /date/ Disallow: /author/ Disallow: /*print= Disallow: /*emailpage= # impedir a indexação de scrips css e afins User-agent: googlebot Disallow: /*.asp$ Disallow: /*.asp?$ Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.gz$ Disallow: /*.wmv$ Disallow: /*.cgi$ Disallow: /*.xhtml$ # impedir a indexação de qualquer endereco que contenha ? User-agent: googlebot Disallow: /*?* Disallow: /*? # permitir que o robô do google-imagens indexe as imagens na pasta uploads User-agent: Googlebot-Image Allow: /wp-content/uploads/ # DIRETRIZES PARA TODOS OS OUTROOS ROBÔS: # impedir a indexação dessas pastas do site User-agent: * Disallow: /cgi-bin/ Disallow: /wp- Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-content/languages/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /wp-includes/ Disallow: /comments/ Disallow: /comments/feed/ Disallow: /category/ Disallow: /trackback/ Disallow: /feed/ Disallow: /rss/ Disallow: /page/ Disallow: /page/ Disallow: /date/ Disallow: /author/ Disallow: /*print= Disallow: /*emailpage= # impedir a indexação de scrips css e afins User-agent: * Disallow: /*.asp$ Disallow: /*.asp?$ Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.gz$ Disallow: /*.wmv$ Disallow: /*.cgi$ Disallow: /*.xhtml$ # impedir a indexação de qualquer endereco que contenha ? User-agent: * Disallow: /*?* Disallow: /*? # impedir a indexação do site pelo duggmirror User-agent: duggmirror Disallow: /