robots.txt 生成

機能

• 4 つの方針：すべて許可・AI 学習クローラーのみ拒否・すべて拒否・カスタム
• カスタム一覧には任意のクローラー名を記入（カンマ・空白・読点・全角カンマに対応）
• 拒否パスは先頭のスラッシュとディレクトリ末尾のスラッシュを自動補完し、重複を排除します
• Sitemap 行と Crawl-delay を任意で出力
• 生成ファイルのコメントはすべて英語（あなたのサイトで公開されるため）
• どのオプションを変えても即座に再生成。ボタンを押す必要はありません
• 通信も送信もなし。すべて端末内で生成します

使い方

1. 方針を選びます
2. 必要に応じて拒否パス・Sitemap・Crawl-delay を入力します
3. 「コピー」で取得し、サイトのルートに robots.txt として保存します

よくある質問

AI クローラーを拒否すれば、本当に止まりますか？

ルールを守る相手にだけ効きます。 OpenAI・Anthropic・Google・Apple はクローラーのトークンを公開し、robots.txt を尊重すると表明しているため、拒否すれば実際に停止します（`Google-Extended` と `Applebot-Extended` は「クロールはよいが学習には使わないでほしい」を表すもので、まさにこのために用意されたスイッチです）。 しかしこのファイルは誰でも無視できます。UA を変えたクローラーや、気にしないスクレイピングサービスは robots.txt では一切止められません。本当に守るには認証・レート制限・あるいは非公開にするしかありません。 また一覧自体も古くなります。新しい学習クローラーは数か月ごとに現れます。生成ファイルに確認日を書いているのはそのためです。

`Disallow: /admin` と `Disallow: /admin/` は違いますか？

違います。しかも見落とされがちです。 `Disallow: /admin` は `/admin` で始まるすべてのパスに一致します —— `/administrator` や `/admin-panel.html` も含まれ、それらは多くの場合意図していません。末尾のスラッシュを付けるとそのディレクトリだけを指します。 そこで本ツールは、ディレクトリ名だけ（ドット・アスタリスク・`$` を含まない）を書いた場合は末尾のスラッシュを自動で補い、`/admin.html` のようなファイル名や `/a/*.pdf$` のようなパターンはそのまま保持します。

生成されるコメントが英語なのはなぜですか？

このファイルはあなたのサイトで公開されるためです —— `/robots.txt` を取得する人（各クローラーの運用者を含む）が読むことになります。中国語だけのコメントはそうした運用者に優しくなく、コメントの目的はまさに「なぜこう書いてあるかを読む人に伝えること」です。 クローラー名とパスはあなたの内容ですが、それ以外は生成器が書く部分なので英語で固定しています。副次的な効果として、出力は UI の言語に依存しません —— 日本語 UI に切り替えても結果は同じです。