Przez dziesięciolecia plik robots.txt regulował zachowanie robotów indeksujących. Jednak w miarę jak pozbawione skrupułów firmy AI poszukują coraz większej ilości danych, podstawowa umowa społeczna sieci rozpada się.

Nie jest to idealny system, ale działa. W każdym razie działał. Przez dziesięciolecia głównym powodem istnienia robots.txt były wyszukiwarki; pozwolił im indeksować twoją witrynę, a w zamian one odesłały ludzi z powrotem do ciebie. Teraz sztuczna inteligencja zmieniła to równanie: firmy w całej sieci wykorzystują twoją witrynę i jej dane do tworzenia ogromnych zestawów danych szkoleniowych w celu tworzenia modeli i produktów, które mogą w ogóle nie uznawać Twojego istnienia.

Plik robots.txt reguluje zasadę "daj i weź"; sztuczna "inteligencja" dla wielu wydaje się jednak "brać i nie dawać". Ale jest w niej teraz tak dużo pieniędzy, a stan technologiczny zmienia się tak szybko, że wielu właścicieli witryn nie może nadążyć. A podstawowa umowa stojąca za robots.txt i siecią jako całością - która przez tak długi czas sprowadzała się do "wszyscy po prostu zachowujcie się ok" - może również nie być w stanie nadążyć.