Sélectionner une page

Google actuellement limite la du fichier robots à 500 kilobytes. (et non pas kilobits)

Il est néanmoins conseillé de limiter la taille du fichier a quelques lignes.

 

source 1 : https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt?hl=en#file-format

source 2 : https://twitter.com/JohnMu/status/740857321849561088

* *