Ajude o Google a indexar as páginas do seu site com mais eficácia.
Organizar as informações do seu site para que elas sejam facilmente encontradas pelos portais de busca não é tarefa fácil. São muitas as estratégias que você deve considerar para contribuir com o SEO (Search Engine Optimization) do seu e-commerce. Entre elas estão duas figuras essenciais que ajudam a rastrear, analisar e colocar seu site no topo dos resultados de busca: Sitemap e Robots.
Na internet, robots, ou robôs, são aplicativos que percorrem milhares de páginas na web em busca de conteúdo, com o objetivo de indexá-las ao banco de dados do buscador. Os robots do Google, por exemplo, são chamados de Googlebot. Seguindo links de páginas, eles buscam informações que as tornam compatíveis com aquilo que as pessoas digitam ao pesquisar qualquer assunto.
Os robôs iniciam seus trabalhos por uma lista de URL’s previamente indexada, armazenam o conteúdo e mapeiam todo os links existentes nela. Eles seguem de página em página, por meio dos links, enviando uma quantidade gigantesca de conteúdos para indexação.
Essa comunicação por meio de links demonstra a importância de ter um site bem estruturado. Com informações organizadas, você cria uma comunicação mais eficiente com os robôs do Google, aumentando a chance de aparecer na primeira página de busca.
Mas, será que é interessante que os robots rastreiem todas as informações do seu site? Talvez você pense: “É, claro! Quanto mais meu site aparecer no Google, mais tráfego eu vou receber”. Não é bem assim.
Em primeiro lugar, existem algumas informações que não necessariamente precisam ser indexadas, isto é, não precisam aparecer para seus clientes, como: áreas restritas, páginas de login, pastas, imagens que não sejam de produtos, páginas repetidas.
Segundo Ricardo Azevedo, especialista em Google Ads da Clinks, deve-se tirar o rastreamento (“disallow”) de imagens que não sejam de produtos (ex.: layout e botões). No entanto, é importante manter as imagens dos produtos porque mesmo que seu site não esteja na primeira página do Google, a sua imagem pode ficar melhor ranqueada e você pode aparecer por causa dela.
Em segundo lugar, o tempo que os robots ficam no site é limitado, por isso, o rastreio deve ser otimizado com conteúdo que realmente importa.
É por isso que existem maneiras de impedir que algumas páginas do seu site sejam rastreadas ou de determinar quais delas os robôs devem rastrear, para que não percam tempo com páginas “sem valor”. Vou começar apresentando os arquivos robots txt.
Robots.txt
Em suma, o robots.txt é um arquivo de texto publicado na raiz do site que contém diretrizes para os robôs dos mecanismos de buscas, principalmente para evitar a sobrecarga do site com solicitações.
Este arquivo pode ser criado no Bloco de Notas, com comandos em forma de texto:
- Disallow: do inglês, “ não permitir”, quando se utiliza esse comando, a orientação ao robô é não indexar o conteúdo. Ex: /wp-admin
- Allow: do inglês, “permitir”, a orientação é indexar os conteúdos presentes no diretório. Mesmo que você tenha bloqueado alguma área como: /conteudos ou /wp-admim, você pode desbloquear alguma específica que seja importante para o seu negócio usando o “allow”.
Confira o tutorial do próprio Google que ensina como criar um robots.txt neste link: https://bit.ly/2pp46Eb.
Para conhecer esses textos na prática, vale conferir alguns exemplos reais de Robots.txt. Até mesmo o Google tem um e nós aqui da Flexy também!
Google – www.google.com.br/robots.txt
Facebook – www.facebook.com/robots.txt – este sitemap utiilza áreas separadas para cada Bot.
Casa Branca – www.whitehouse.gov/robots.txt – utilização do Disallow para remover áreas de login, como Disallow: /user/password/ e Disallow: /user/login/
Flexy Digital: https://www.flexy.com.br/robots.txt
Lembre-se, isso vale para sites grandes, os pequenos nem sempre precisam de robots.
Os robots também podem ser utilizado para indicarem o Sitemap, outra funcionalidade importantíssima que ajuda ao Google e aos outros buscadores a entenderem a organização do seu site.
Sitemap
Como o nome já diz, Sitemap é o mapa do site – local onde você indica aos robôs quais são as páginas que deseja indexar, fornecendo informações sobre elas, vídeos e outros arquivos do site, indicando a relação entre eles. Assim como o robots txt., o sitemap é um arquivo simples XML que deve conter um número máximo de URL’s (até 50 mil) e 10MB.
Ao criar um mapa, seu objetivo é tornar o site o mais tangível possível para o Google. Se o robô conseguir entender a estrutura existente, ele poderá vasculhar o conteúdo com mais inteligência, indexando o que realmente importa.
Além de informar ao rastreador os arquivos que você considera mais importantes, ele também fornece informações valiosas sobre esses arquivos: por exemplo, quando a página foi atualizada pela última vez, com que frequência ela é alterada e as versões em idiomas alternativos dela.
Geralmente, o mapa do site fica organizado no rodapé ou no topo de uma página, como do exemplo abaixo.
Muitos empresários acabam ignorando a criação do sitemap, mas ele é essencial para o SEO do seu site. Além dos motivos que mencionei anteriormente, acrescento outros:
- Se você tem páginas que recebem pouco acessos – ou que ficam a muitos cliques da página inicial, por exemplo – elas podem ser identificadas pelo Google caso estejam cadastradas no seu Sitemap. Inclusive, esse é um fator importantíssimo para sites recém publicados.
- Ter um sitemap sinaliza para os mecanismos que você se preocupa com a qualidade de conteúdo do seu site. Isso traz confiança e dá autoridade para o seu portal, o que pode ajudar também no seu ranqueamento.
Como criar um Sitemap.xml?
O arquivo sitemap.xml pode ser criado de 3 formas:
- Manualmente – Por meio de códigos com marcações XML e tags.
- Aplicativos – Programas como o GsiteCrawler rastreiam o seu site simulando o robô dos sites de busca, armazenando as URLs encontradas e criando automaticamente o arquivo sitemap.xml;
- Ferramentas online para gerar sitemaps – Sites como www.xml-sitemaps.com ou http://www.auditmypc.com/free-sitemap-generator.asp criam sitemaps xml sem a necessidade da instalação de um programa em seu computador.
Aqui na Flexy utilizamos com bastante frequência o XML Sitemap Generator: https://xmlsitemapgenerator.org/sitemap-generator.aspx. Os clientes podem criar o arquivo e enviá-lo para o time de soluções da Flexy através do e-mail de suporte.
O ideal é que o mapa seja criado após o desenvolvimento do site. Ou seja, ele também deve sofrer alterações periódicas.
Você está pronto para melhorar o SEO do seu e-commerce?
Lojas virtuais costumam ter centenas de páginas, uma para cada produto, e que sofrem alterações com bastante frequência. Portanto, organizar os links e otimizar o tempo de rastreamento dos robôs no seu site – além de guiá-los para o conteúdo mais relevante – é essencial!
Essas estratégias podem parecer um bicho de sete cabeças, não é? Mas na verdade, são acessíveis a todos os empreendedores. Se o seu fornecedor de tecnologia tiver uma equipe de suporte, eles poderão te auxiliar da melhor maneira.
Para conhecer outras estratégias essenciais de SEO, acesse o blogpost: 5 dicas essenciais de SEO para e-commerce.
Ainda com dúvidas em relação a sitemap e robots? Deixe suas dúvidas nos comentários!