Eliminando conteúdo para buscas
05/04/2006 —Sistemas de busca, ao trabalhar, lêem um arquivo “robots.txt” (deixado na raiz do servidor). Esse arquivo especifica para o spider quais arquivos devem aparecer na busca.
Nesse artigo, veremos como excluir determinada pasta de uma search engine.
User-agent: *
Disallow: login.php
Disallow: /images/
Disallow: /cgi-bin/
A primeira linha, User-agent: determina para qual robot o conteúdo será desabilitado. O asterisco representa todos eles. Para excluir somente o Google, use googlebot
A segunda, terceira e quarta linhas excluem da busca, todos os arquivos da pasta images e o arquivo login.php, além do arquivos da pasta cgi-bin
Nota: Esse arquivo deve ser criado em formato de texto UNIX. Procure um editor com suporte a mudança de formato de texto.
Conclusão:
Esse rápido artigo mostrou como excluir um determinado conteúdo de um site. Isso pode ser útil para proteger arquivos de configuração e imagens em nosso servidor.
Mais do mesmo:
Robots.txt Validator
Sem comentários ainda
você pode deixar uma resposta, ou dar um trackback para seu site.