Robots.txt o que é e qual a sua importância?

O que é robots.txt

O Protocolo de Exclusão de Robôs é um método empregado pelos administradores de sistemas para informar aos robots visitantes quais diretórios de um site não devem ser vasculhados por eles.

E como o próprio nome já entrega, o robots.txt é um arquivo TXT que pode ser criado através do bloco de notas e indica ao Search Engine de vários buscadores quais as páginas não devem ser acessadas e indexadas aos buscadores por esses robos.

Para que serve o robots.txt

Basicamente o robots.txt permite de certa forma que você de ordens para esses robos.

Como criar  e configurar o robots.txt

Para criar o robots.txe é de certa forma simples, você precisa apenas ter acesso ao Notepad e a pasta raiz de seu Website. Serão necessários alguns comandos que irão educar os robos dos buscadores, são eles:

1 - User-Agent

O comando user-agent serve basicamente para direcionar os bloqueios e demais regras para um robo especifico, é possível consultar os nomes dos robos aqui : https://www.robotstxt.org/db.html

Por exemplo, se você quer direcionar os comandos para o robot do Google, o certo seria : 

User-agent: Googlebot

Agora, caso queira direcionar para todos, este seria o comando:

User-agent: *

2 - Disallow

O disallow tem como objetivo informar aos robos quais páginas e diretórios não devem ser indexados nos motores de busca, para bloquear uma página o comando séria:

Disallow: /pagina.php

E caso queira bloquear um diretório este será o comando :

Disallow: /diretorio/

3 - Allow

O comando allow ao contrário do disallow, serve para liberar subpastas ou arquivos especificos dentro de pastas bloqueadas pelo comando disallow, a sua sintáxe é a mesma do comando Disallow, apenas retirando o Dis.

4 - Sitemap

Este é um comando muito útil, através dele você pode indicar o seu sitemap.xml para os robos, tornando mais fácil a indexação do seu conteúdo, logo mais haverá um artigo específico somente para sitemaps, a sintaxe do comando séria :

Sitemap:https://seusite.com.br/sitemap.xml

É bom salientar que alguns robos precisam de ordens específicas para eles e você pode consultar essas informações no site de cada robo, espero que este artigo ajude você de alguma forma!