Seguramente has recibido un correo de las Herramientas para Webmaster de Google, ahora llamada Google Search Console, diciendo lo siguiente «El robot de Google no puede acceder a los archivos CSS y JS»
Seguramente diréis ¿a que viene esto ahora si nunca he tenido problemas con la indexación de js y css?
Normalmente el robot de google lee el contenido si necesidad de mostrar la visualización de la pagina tal cual la vemos nosotros (google lee el código fuente de nuestra web), bien pues ahora a google también le interesa la visualización de la pagina web para el usuario final y para ello necesita leer todos los css y js que componen la web.
Por este motivo ahora le esta enviando email a todos los usuarios que tengan web en la que el robots.txt bloquee estos recursos, esto no solo afecta a Prestashop si no tambien a WordPress, Joomla, Drupal …
Centrémonos en Prestashop, para ello voy a poner el fichero robots.txt que genera Prestashop por defecto en la versión 1.6.1.0 (última versión estable)
User-agent: * # Private pages Disallow: /*?orderby= Disallow: /*?orderway= Disallow: /*?tag= Disallow: /*?id_currency= Disallow: /*?search_query= Disallow: /*?back= Disallow: /*?n= Disallow: /*&orderby= Disallow: /*&orderway= Disallow: /*&tag= Disallow: /*&id_currency= Disallow: /*&search_query= Disallow: /*&back= Disallow: /*&n= Disallow: /*controller=addresses Disallow: /*controller=address Disallow: /*controller=authentication Disallow: /*controller=cart Disallow: /*controller=discount Disallow: /*controller=footer Disallow: /*controller=get-file Disallow: /*controller=header Disallow: /*controller=history Disallow: /*controller=identity Disallow: /*controller=images.inc Disallow: /*controller=init Disallow: /*controller=my-account Disallow: /*controller=order Disallow: /*controller=order-opc Disallow: /*controller=order-slip Disallow: /*controller=order-detail Disallow: /*controller=order-follow Disallow: /*controller=order-return Disallow: /*controller=order-confirmation Disallow: /*controller=pagination Disallow: /*controller=password Disallow: /*controller=pdf-invoice Disallow: /*controller=pdf-order-return Disallow: /*controller=pdf-order-slip Disallow: /*controller=product-sort Disallow: /*controller=search Disallow: /*controller=statistics Disallow: /*controller=attachment Disallow: /*controller=guest-tracking # Directories Disallow: */classes/ Disallow: */config/ Disallow: */download/ Disallow: */mails/ Disallow: */modules/ Disallow: */translations/ Disallow: */tools/ # Files Disallow: /*es/recuperacion-contraseña Disallow: /*es/direccion Disallow: /*es/direcciones Disallow: /*es/inicio-sesion Disallow: /*es/carrito Disallow: /*es/descuento Disallow: /*es/historial-compra Disallow: /*es/datos-personales Disallow: /*es/mi-cuenta Disallow: /*es/seguimiento-pedido Disallow: /*es/albaran Disallow: /*es/pedido Disallow: /*es/buscar Disallow: /*es/pedido-rapido Disallow: /*es/seguimiento-cliente-no-registrado Disallow: /*es/confirmacion-pedido
Tenemos que fijarnos en el apartado # Directories
Aquí tenemos 7 carpetas que no queremos que google acceda, el problema nos viene por la carpeta /modules/, por lo que quitando esta linea del robots.txt se debería haber solucionado el problema.
Una vez modificado el robots.txt podemos acceder a nuestras Herramientas de Google Webmaster y explorar como google nuestra web para ver si ahora se realiza correctamente