Eliminando conteúdo para buscas
Sistemas de busca, ao trabalhar, lêem um arquivo “robots.txt” (deixado na raiz do servidor). Esse arquivo especifica para o spider quais arquivos devem aparecer na busca.
Nesse artigo, veremos como excluir determinada pasta de uma search engine.
more
User-agent: *
Disallow: login.php
Disallow: /images/
Disallow: /cgi-bin/A primeira linha, User-agent: determina para qual robot o conteúdo será desabilitado. O asterisco representa todos eles. Para excluir somente o Google, use googlebot
A segunda, terceira e quarta linhas excluem da busca, todos os arquivos da pasta images e o arquivo login.php, além do arquivos da pasta cgi-bin
Nota: Esse arquivo deve ser criado em formato de texto UNIX. Procure um editor com suporte a mudança de formato de texto.
Conclusão:
Esse rápido artigo mostrou como excluir um determinado conteúdo de um site. Isso pode ser útil para proteger arquivos de configuração e imagens em nosso servidor.
Mais do mesmo: