Google zapowiedział w piątek 30 października 2026 r., że będzie obsługiwał wspólny sygnał w pliku robots.txt. Za jego pomocą właściciele stron mają jednym wpisem przekazać wielu firmom AI, czy zgadzają się na trenowanie modeli na swoich treściach. Mechanizm ma się opierać na pracach grupy AIPREF w Internet Engineering Task Force (IETF), organizacji opracowującej standardy internetowe. Google chce wdrożyć obsługę w 2027 r. razem z innymi dostawcami AI, ale nie podał ich nazw.
Jedna linijka zamiast listy botów
Robots.txt to plik tekstowy w głównym katalogu serwisu. Mówi automatom (crawlerom), które adresy mogą pobierać. Dziś wydawca, który nie chce, by jego teksty trafiały do zbiorów treningowych, musi wpisać osobną regułę dla każdej firmy AI. Według zapowiedzi Google zastąpi to jeden wspólny „policy token”, czyli znacznik zasad, honorowany przez wszystkich dostawców, którzy się do niego przyłączą.
Wpis Google odsyła do indywidualnego projektu „Machine-Readable Training Preference Signal”. Opublikowano go tego samego dnia w systemie IETF i opisuje on wspólny znacznik zasad dla trenowania AI. Projekt nazywa ten znacznik __usage_ai-training i umieszcza go w zwykłej linii User-Agent, tak jak nazwę crawlera. Nie wprowadza nowych dyrektyw ani zmian w składni pliku. Przykład z dokumentu:
„ User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/ „
Ten zapis oznacza sprzeciw wobec trenowania AI na całym serwisie z wyjątkiem katalogu /press-kit/, na którego wykorzystanie wydawca się zgadza. Preferencje można więc ustawiać dla poszczególnych ścieżek, a nie tylko dla całej domeny.
Z projektu wynikają trzy zasady ważne w praktyce:
- Reguła z gwiazdką nie wystarczy. Ogólna grupa
User-Agent: *nie jest traktowana jako wyrażenie preferencji. Jeśli w pliku nie ma grupy z nowym znacznikiem, przyjmuje się, że właściciel strony nie wyraził zdania. - Znacznik nie jest poleceniem dla crawlerów. Dotyczy wykorzystania treści, a nie pobierania stron. Dotychczasowe reguły dla konkretnych crawlerów działają bez zmian. Kto chce ograniczyć ruch botów, może to zrobić w ich własnych grupach.
- Bardziej szczegółowy zapis powinien mieć pierwszeństwo. Firma może uznać swoje własne znaczniki za ważniejsze od wspólnego. Prywatne umowy, np. licencyjne, mogą też uchylić preferencje wyrażone w ten sposób.
Według projektu znacznik odpowiada definicji, do której doszła grupa AIPREF. Trenowanie AI to w niej wykorzystanie materiału do zmiany wyuczonych parametrów generatywnego modelu AI. Definicja nie obejmuje modeli używanych wyłącznie do zadań niegeneratywnych, takich jak klasyfikacja, ranking czy ocena.
Co z Google-Extended
Google od 2023 r. oferuje własny znacznik Google-Extended. Według dokumentacji firmy decyduje on, czy treści pobrane przez crawlery Google mogą służyć do trenowania przyszłych modeli Gemini (Gemini Apps i Vertex AI API). Steruje też groundingiem, czyli podawaniem modelowi treści z indeksu wyszukiwarki w chwili zadania pytania, w Gemini Apps i w usłudze Grounding with Google Search na Vertex AI. Google-Extended nie wpływa na obecność strony w wyszukiwarce i nie jest sygnałem rankingowym.
Google zapowiada, że jeśli serwis zgłosi sprzeciw przez wspólny znacznik i nie ustawi osobno reguły dla Google-Extended, firma potraktuje to tak, jakby wydawca zablokował Google-Extended. Znaczniki poszczególnych firm zostaną. Wydawca może więc przez wspólny znacznik wyrazić ogólną decyzję, a dla wybranych firm ustawić inne zasady. Google zaznacza, że serwisy, które wprost zezwalają Google-Extended, mogą pojawiać się w odpowiedziach Gemini Apps opartych na groundingu i dostawać z nich kliknięcia.
Dziś każda firma ma własny sygnał. Według Cloudflare od 15 września 2026 r. jego ustawienie Disallow AI Training publikuje w robots.txt sprzeciw wobec trenowania, a crawlery Google, Apple i Microsoftu mogą nadal indeksować strony dla wyszukiwarek. W Google działa to przez regułę blokującą Google-Extended, a w Apple przez Applebot-Extended. W połowie września Microsoft nie obsługiwał jeszcze takiej preferencji w robots.txt. W Bingu sprzeciw wobec trenowania wyraża się znacznikiem meta NOARCHIVE, który przy okazji wyłącza linkowanie treści w Copilocie. Według Cloudflare Microsoft planuje wsparcie dla preferencji w robots.txt na początek 2027 r.
Do czasu wdrożenia wspólnego znacznika zgodę na trenowanie modeli Gemini i grounding wydawcy ustawiają w Google przez Google-Extended, a u pozostałych firm AI przez reguły dla ich własnych crawlerów i znaczników.
Projekt, nie standard
Projekt nie jest jeszcze standardem. To indywidualny Internet-Draft, który IETF formalnie nie zatwierdził. Jego autorem jest Kevin Kelley z Anthropic, a dokument wygasa 3 maja 2027 r., jeśli nie pojawi się nowa wersja. Dyskusja toczy się na liście mailingowej grupy roboczej AI Preferences. Google nazywa swoją zapowiedź wsparciem dla „draft proposal” i deklaruje dalsze prace nad doprecyzowaniem i standaryzacją mechanizmu w IETF.
Grupę AIPREF powołano w lutym 2025 r. Ma opracować wspólne słownictwo do wyrażania preferencji autorów i wydawców co do wykorzystania treści przez AI oraz sposoby dołączania tych preferencji do treści. Uzasadniając jej powstanie, przewodniczący grupy Mark Nottingham i Suresh Krishnan pisali, że dostawcy AI używają w robots.txt mylącej mieszanki niestandardowych sygnałów. Przez to wydawcy tracą zaufanie, że ich wybory będą respektowane, i blokują całe adresy IP.
Nowy projekt idzie inną drogą niż wcześniejsze propozycje grupy. Projekt Gary’ego Illyesa z Google i Martina Thomsona z Mozilli w wersji z sierpnia 2026 r. zakłada dodanie do robots.txt nowej reguły Content-Usage (np. train-ai=n) i odpowiadającego jej nagłówka HTTP. Projekt Kelleya rezygnuje z nowych dyrektyw. Celem jest to, żeby parsery, które już działają w sieci, ignorowały nową grupę jak każdy nieznany im user-agent i nie zmieniały dotychczasowego sposobu działania. Sam słownik AIPREF, z którego pochodzi definicja trenowania, w wersji z 14 września 2026 r. nadal zawiera zastrzeżenie, że nie odzwierciedla konsensusu grupy roboczej. Słownik zaznacza też, że nie gwarantuje przestrzegania preferencji: odbiorca sam decyduje, czy się do nich zastosuje. Google podkreśla, że nowy mechanizm daje wydawcom dostęp do definicji trenowania opracowanej w IETF, a dyskusja o reszcie słownika trwa.
W październiku Gary Illyes przypominał w materiale wideo Google Search Central, że robots.txt w obecnym kształcie (RFC 9309) dotyczy dostępu do adresów. Jego zdaniem plik nie decyduje o tym, co system robi z danymi po ich pobraniu.
Google pisze, że inni dostawcy AI „mogą” traktować wspólny znacznik podobnie, i nie wymienia żadnej firmy, która to potwierdziła. W podziękowaniach projektu Kelleya są osoby z m.in. OpenAI, Microsoftu, Meta, Amazon Web Services, Cloudflare i Common Crawl. Są tam też osoby z afiliacją m.in. News Corp, „Financial Times”, BBC, Bertelsmanna i European Publishers Council. Dokument zastrzega, że afiliacje podano wyłącznie dla identyfikacji, bo uczestnicy IETF występują we własnym imieniu.
Kontekst unijny i polski
Google powołuje się na unijny Kodeks praktyk dla dostawców modeli AI ogólnego przeznaczenia (GPAI). To dobrowolny dokument do AI Act, opublikowany w lipcu 2025 r. Według Google uznaje on robots.txt za podstawowy sposób wyrażania przez wydawców preferencji czytelnych dla maszyn. Komisja Europejska podaje, że sygnatariusze kodeksu zobowiązują się respektować robots.txt i jego kolejne wersje opracowane w IETF. Mają też przestrzegać innych protokołów zastrzegania praw, jeśli są nowoczesne, możliwe do wdrożenia technicznie i szeroko przyjęte przez właścicieli praw. W grudniu 2025 r. Komisja uruchomiła, przy wsparciu Urzędu UE ds. Własności Intelektualnej (EUIPO), proces wyłonienia takich protokołów. Ich listę zapowiedziała opublikować i przeglądać co najmniej raz na dwa lata.
Dla polskich wydawców ma to znaczenie również na gruncie krajowego prawa. Dodany w 2024 r. art. 26³ ustawy o prawie autorskim pozwala zwielokrotniać rozpowszechnione utwory w celu eksploracji tekstów i danych, chyba że uprawniony to zastrzegł. Przy treściach publicznie dostępnych w internecie zastrzeżenie powinno mieć format przeznaczony do odczytu maszynowego. Prawnicy kancelarii Techlaw wskazują, że w praktyce chodzi m.in. o blokady w robots.txt. Od 2 sierpnia 2025 r. dostawcy modeli GPAI muszą też mieć politykę zgodności z unijnym prawem autorskim, która obejmuje respektowanie takich zastrzeżeń. Uprawnienia Komisji do nakładania kar za naruszenie tych obowiązków obowiązują od sierpnia 2026 r.
Źródła: Google Search Central Blog, IETF Datatracker, Search Engine Journal
