Robots.txt Generator

Atur akses crawler dan lokasi sitemap

BROWSER-ONLY • TANPA API

Aturan Default

User-agent: *

Crawl-delay (opsional)

URL sitemap (opsional) Direktori/URL yang diblokir — satu per baris Pengecualian yang diizinkan — satu per baris

Aturan Crawler Tertentu

Aturan “Ikuti default” tidak membuat blok terpisah.

robots.txt mengatur crawling, bukan menjamin halaman hilang dari indeks. Untuk mencegah indeks, gunakan autentikasi atau meta/X-Robots-Tag noindex sesuai kebutuhan.

Preview robots.txt