recoha.com

Muitos dos mecanismos de busca, quando começam a visitar o seu site e antes mesmo de indexá-lo checam para ver se um arquivo chamado robots.txt existe em seu servidor, este arquivo serve para evitar que tudo que contenha em seu ftp seja indexado, inclusive páginas as páginas vedadas ao acesso de qualquer um. Foi criado então esta padronização e que quase todos os bots respeitam, e é por meio deste arquivo que informamos aos mecanismos de busca que conteúdo não queremos que seja indexado. Daí explica-se a importância de ter e fazer corretamente um para o seu site.

O Que É e Para Que Serve?

É um arquivo no formato texto (.txt) que funciona como uma espécie de filtro para os sistemas de busca, ou seja,  donos de websites utilizam este arquivo para dar instruções do que será permitido ou bloqueado de certas áreas ou sessões do seu site durante a indexação. O robots.txt é um arquivo de texto simples e nada complicado que precisa estar hospedado no diretório raiz do seu site, podendo ser criado em qualquer editor, até mesmo no bloco de notas ou com a ajuda de geradores on-line de robots.txt.

Continue lendo este post »