Kabar baik buat kamu yang punya website, blog, atau toko online. Empat perusahaan AI terbesar di dunia — OpenAI, Google, Microsoft, dan Anthropic — mengumumkan pada 30 Oktober 2026 bahwa mereka akan menghormati satu sinyal bersama di dalam file robots.txt untuk menyatakan pilihan soal latihan AI.
Selama ini, kalau kamu tidak mau kontenmu dipakai melatih model AI, kamu harus menulis aturan terpisah untuk setiap perusahaan. Ada GPTBot untuk OpenAI, Google-Extended untuk Google, ClaudeBot untuk Anthropic, dan daftarnya terus bertambah setiap ada crawler baru.
Sinyal baru ini mengganti kerepotan itu dengan satu pilihan yang dibaca bersama. Tapi jangan buru-buru menganggap masalahnya selesai hari ini juga. Penerapannya bertahap, sifatnya sukarela, dan cakupannya hanya soal latihan model, bukan semua penggunaan AI.
Apa yang sebenarnya diumumkan?
Sinyal bersama ini lahir dari kelompok kerja AI Preferences (AIPREF) di Internet Engineering Task Force (IETF), organisasi yang mengurus standar internet. Draf teknisnya ditulis oleh Kevin Kelley, pimpinan teknis bidang standar di Anthropic, dan diajukan sebagai Internet-Draft pada 30 Oktober 2026.
OpenAI menyebut langkah ini sebagai upaya sukarela untuk memudahkan penerbit dan pengelola website menyampaikan preferensi yang sama ke banyak penyedia sekaligus. Google, lewat blog Google Search Central yang ditulis John Mueller, menyebutnya sebagai kontrol latihan AI bersama yang membantu website menyatakan preferensi dalam satu langkah.
Microsoft ikut mendukung dan menambahkan kontrol yang lebih rinci. Sementara itu, Meta menyatakan mendukung gagasan sinyal bersama, tetapi belum berkomitmen untuk menerapkannya. Jadi, untuk sekarang, kesepakatan ini dipegang oleh empat perusahaan tadi.
Cara kerja token barunya
File robots.txt adalah file teks kecil di sebuah website yang memberi tahu program otomatis bagian mana yang boleh diakses. Token baru ini bernama __usage_ai-training dan ditulis di baris User-Agent, tempat biasanya tertulis nama crawler.
Website yang ingin menolak latihan AI untuk semua halamannya bisa menulis seperti ini:
User-Agent: __usage_ai-training
Disallow: /
Kamu juga bisa memberi pengecualian. Contoh dari drafnya menambahkan baris Allow: /press-kit/, yang artinya semua halaman ditolak untuk latihan AI, kecuali halaman di dalam folder press-kit. Kamu pun bisa membatasi penolakan hanya untuk folder tertentu saja.
Hal penting yang perlu kamu pahami: token ini bukan perintah untuk memblokir crawler. Bot tetap bisa mengambil halamanmu. Sinyal ini mengatur izin penggunaan konten untuk latihan model, bukan mengatur lalu lintas crawler. Aturan lama milik tiap perusahaan tetap berlaku berdampingan dengan sinyal baru ini, jadi aturan yang sudah kamu pasang tidak perlu langsung dihapus.
Kapan masing-masing perusahaan mulai menerapkannya?
Jadwalnya tidak seragam, dan ini bagian terpenting dari pengumuman tersebut. Anthropic sudah mulai menerapkan dukungan untuk token ini, sesuai pernyataan penulis drafnya di milis IETF.
OpenAI menyatakan akan menerapkan sinyal ini dalam beberapa bulan ke depan dan akan membagikan pembaruan lain berisi rincian penerapannya. Belum ada tanggal pasti dari OpenAI.
Microsoft memberi tanggal paling tegas: Bingbot akan mulai menghormati preferensi baru ini saat merayapi website mulai 1 Februari 2027. Microsoft juga menyiapkan kontrol terpisah bernama AI Grounding, yang mengatur apakah sebuah halaman boleh dipakai untuk membentuk jawaban AI di produk seperti Copilot, terpisah dari soal latihan model.
Google menargetkan dukungan pada 2027. Google menjelaskan, bila sebuah website memakai token bersama untuk menolak latihan dan tidak menyebut Google-Extended secara eksplisit, Google berencana menganggapnya sama seperti website tersebut memblokir Google-Extended. Google-Extended sendiri adalah kontrol latihan AI yang sudah ditawarkan Google sejak 2023.
Yang tidak diubah oleh sinyal ini
Pertama, sinyal ini bukan hukum. Drafnya masih berstatus draf individu di IETF, bukan standar resmi yang disahkan IETF, dan akan kedaluwarsa pada 3 Mei 2027 bila tidak diperbarui atau diadopsi. Sinyal ini hanya mengikat perusahaan yang memilih untuk mengikutinya.
Kedua, sinyal ini tidak menghapus konten yang sudah dikumpulkan atau sudah dipakai untuk melatih model yang sudah ada. Sinyal ini mengatur preferensi ke depan, bukan menarik kembali data lama.
Ketiga, menolak latihan AI tidak mengeluarkan halamanmu dari hasil pencarian dan tidak mengubah peringkatnya. Google menegaskan bahwa Google-Extended tidak memengaruhi keikutsertaan sebuah situs di Google Search dan bukan sinyal peringkat. Sinyal ini juga tidak otomatis membuat halamanmu hilang dari jawaban AI yang mengutip halaman web, karena itu soal yang berbeda.
Langkah para penerbit melindungi kontennya dari crawler AI memang sedang ramai. Sebelumnya, Reddit mewajibkan login untuk melawan scraping AI, dengan alasan yang mirip: pemilik konten ingin punya kendali atas cara kontennya dipakai.
Artinya buat pemilik website di Indonesia
Kalau kamu punya blog pribadi, website UMKM, atau situs berita kecil, kamu belum perlu terburu-buru mengubah apa pun hari ini. Aturan lamamu masih bekerja, dan sinyal baru ini baru benar-benar terasa saat tiap perusahaan mulai menerapkannya pada 2027.
Kalau kamu memang tidak mau kontenmu dipakai untuk latihan AI, kamu bisa menambahkan token baru ini di samping aturan yang sudah ada, lalu memeriksa ulang saat dukungan tiap perusahaan sudah aktif. Kalau kamu tidak keberatan kontenmu dipakai untuk latihan, kamu tidak perlu menambah apa pun, karena tanpa token berarti tidak ada preferensi yang dinyatakan.
Yang jelas, keputusan ini membuat pilihan pemilik website jadi lebih sederhana: satu baris untuk banyak perusahaan, bukan satu aturan untuk setiap nama crawler. Sisanya tinggal soal pembuktian, yaitu apakah janji sukarela ini benar-benar ditepati saat waktunya tiba.
Buat kamu yang penasaran bagaimana AI memakai halaman web untuk menjawab pertanyaan, panduan memakai Perplexity AI ini bisa memberi gambaran soal mesin pencari AI yang selalu mencantumkan sumbernya.
3 thoughts on “4 Raksasa AI Sepakat Satu Aturan robots.txt untuk Menolak Latihan AI”