Sistemas de busca, ao trabalhar, lêem um arquivo “robots.txt” (deixado na raiz do servidor). Esse arquivo especifica para o spider quais arquivos devem aparecer na busca.

Nesse artigo, veremos como excluir determinada pasta de uma search engine.


User-agent: *
Disallow: login.php
Disallow: /images/
Disallow: /cgi-bin/


A primeira linha, User-agent: determina para qual robot o conteúdo será desabilitado. O asterisco representa todos eles. Para excluir somente o Google, use googlebot

A segunda, terceira e quarta linhas excluem da busca, todos os arquivos da pasta images e o arquivo login.php, além do arquivos da pasta cgi-bin

Nota: Esse arquivo deve ser criado em formato de texto UNIX. Procure um editor com suporte a mudança de formato de texto.

Conclusão:
Esse rápido artigo mostrou como excluir um determinado conteúdo de um site. Isso pode ser útil para proteger arquivos de configuração e imagens em nosso servidor.

Mais do mesmo:
Robots.txt Validator