Blogger: Personalizar robots.txt

Atenção! Use com cuidado. O uso incorreto desse recurso pode fazer seu blog ser ignorado pelos mecanismos de pesquisa.

 

O robots.txt personalizado é uma maneira para você informar ao mecanismo de pesquisa que não deseja que ele rastreie determinadas páginas de seu blog. "Rastrear" significa que rastreadores, como o Googlebot, percorrem seu conteúdo e o indexam para que outras pessoas possam encontrá-lo quando fizerem uma pesquisa. Por exemplo, se seu blog tiver seções com informações que você não deseja promover, por motivos pessoais ou porque elas não representam o tema geral do blog, com esse recurso você pode especificar essas restrições.

Entretanto, tenha em mente que outros sites podem ter links para as páginas que você decidiu restringir. Além disso, o Google pode indexar sua página se encontrá-la ao seguir um link em um site de outra pessoa. Para exibi-la nos resultados de pesquisa, o Google precisa mostrar algum título e por não termos acesso ao conteúdo de sua página, teremos que utilizar conteúdos externos, como o texto âncora de outros sites. Para realmente impedir que um URL seja indexado, é possível usar as meta tags.
Para excluir determinado conteúdo da pesquisa, acesse Configurações | Preferências de pesquisa e clique em Editar, ao lado de "robots.txt personalizado". Insira o conteúdo que deseja que os robôs ignorem. Por exemplo:

User-agent: *
Disallow: /sobre

Você também pode ler sobre o robots.txt nesta postagem no blog do Google para webmasters.