OpenAI meluncurkan web crawler yang dinamai GPTBot untuk meningkatkan kemampuan model-model artificial intelligence (AI), seperti GPT-4. (ilustrasi ChatGPT, OpenAI)
Disallow: /
Jika ingin memberikan akses parsial, kita dapat menyesuaikan direktori yang dapat diakses olehb GPTBot. Tambahkan baris berikut ke file robots.txt.
KOMENTAR