Qué es el fichero robots.txt y cuan importante es

Fichero robots.txt

Hoy os quería hablar sobre el fichero robots.txt; su uso y comandos y su importancia. Todos los buscadores cuentan con unos robots o «arañas» que son las que rastrean la web para indexar y posicionar la mayor información posible del mundo de internet en sus bases de datos. Qué es el archivo robots.txt Cuando tenemos …

Qué es el fichero robots.txt y cuan importante es Leer más »