Google actuellement limite la du fichier robots à 500 kilobytes. (et non pas kilobits)
Il est néanmoins conseillé de limiter la taille du fichier a quelques lignes.
source 1 : https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt?hl=en#file-format
source 2 : https://twitter.com/JohnMu/status/740857321849561088