Raksasa AI Sepakat: Satu Sinyal robots.txt untuk Atur Pelatihan Model

Google, OpenAI, Microsoft, dan Anthropic mengumumkan dukungan bersama untuk sinyal preferensi pelatihan AI yang baru. Pengumuman pada 30 Oktober 2026 itu memperkenalkan token baru bernama `__usage_ai-training` dalam file robots.txt, sehingga pemilik situs cukup menetapkan satu aturan untuk keempat perusahaan raksasa tersebut.

Selama ini, pemilik situs harus menulis aturan terpisah untuk tiap perusahaan, seperti `Google-Extended` untuk Google, `GPTBot` untuk OpenAI, dan `Claudebot` untuk Anthropic. Token baru ini menggabungkan semuanya dalam satu baris, sebagaimana dilaporkan Coywolf. Contohnya, untuk melarang seluruh situs dipakai melatih AI, pemilik cukup menulis `User-Agent: __usage_ai-training` diikuti `Disallow: /`.

Ada satu detail menarik untuk Bing. Sebelumnya, jika pemilik situs ingin muncul di hasil pencarian Bing, mereka terpaksa mengizinkan kontennya dipakai melatih AI karena tidak ada opsi terpisah. Sinyal baru ini memberi Bing opsi yang tidak dimilikinya sebelum, memisahkan kebutuhan pencarian dari pelatihan model.

Meski terdengar ideal, penerapannya masih bertahap. Saat ini hanya Anthropic yang sudah menggunakannya, sementara OpenAI berencana menyusul dalam beberapa bulan ke depan, Microsoft mulai Februari 2027, dan Google pada awal 2027. Keempat perusahaan juga tetap mempertahankan token lama mereka masing-masing.

Perlu dicatat, sinyal ini bukan alat penegakan. Situs yang benar-benar ingin menghentikan bot yang mengabaikan aturan robots.txt tetap membutuhkan layanan mitigasi bot, seperti yang ditawarkan Cloudflare. Di sisi lain, kelompok kerja yang dipimpin insinyur Google dan Mozilla juga tengah menyusun pendekatan pelengkap berupa header HTTP `Content-Usage`.