El fichero robots.txt es una elemento fundamental para cualquier página web que desea aparecer bien posicionada por los rastreadores como Google . Opera como un directorio para los bots, indicándoles qué áreas de tu plataforma pueden están crawleadas y cuáles no . La adecuada configuración de este d