For decades, robots.txt governed the behavior of web crawlers. But as unscrupulous AI companies seek out more and more data, the basic social contract of the web is falling apart.
Artículo muy interesante sobre el fichero robots.txt, un ejemplo de acuerdo respecto al funcionamiento de internet y de la privacidad del contenido de cara a los buscadores. Y cómo puede irse al garete con la explosión de los robots de las IAs. He llegado a él via Manuel Moreale.