La monotonie des fichiers de log

[Dourak Smerdiakov]

Tant que les données sont publiques, dans des pages web publiques, comme c'est le cas des textes de la Zone, je crois que ça ne sert à rien de s'imaginer pouvoir empêcher des bots de les récupérer.

Le fichiers 'robots.txt' n'est que l'expression des désirs du site crawlé à l'intention des robots crawlers gentils et obéissants, ce qui n'est pas la réputation des bots IA.