El fichero robots.txt es una herramienta esencial para toda sitio que pretende ser bien vista por los rastreadores como Chrome . Opera como el directorio para los bots, indicándoles qué páginas de tu sitio pueden ser crawleadas y cuáles no . Una correcta configuración de este fichero puede a prev