🤖robots.txt ジェネレーター
クロールさせないパスや sitemap の URL を選ぶだけで robots.txt を作ります。GPTBot や ClaudeBot など、AI の学習・収集用クローラーをまとめてブロックする設定にも対応しています。
クロールさせないパス
robots.txt はクロールを止めるだけで、検索結果に出ないことは保証しません。検索結果から外したいページには、ページ側で noindex を指定してください。
robots.txt の書き方
| 行 | 意味 |
|---|---|
User-agent: * | すべてのクローラーに対するルール |
Disallow: /admin/ | /admin/ 以下をクロールさせない |
Allow: / | クロールを許可 |
Sitemap: URL | sitemap の場所を伝える |
Next.js（App Router）なら app/robots.ts で同じ内容を出力できます。
よくある質問
- Q. robots.txtとは？
- 検索エンジンなどのクローラーに、サイトのどこを巡回してよいかを伝えるファイルです。サイトのルート（https://example.com/robots.txt）に置きます。
- Q. robots.txtでページを検索結果から消せる？
- いいえ。robots.txt はクロールを止めるだけで、ほかのサイトからリンクされていれば URL だけ表示されることがあります。検索結果から外すには、ページに noindex を指定します。
- Q. 「robots.txtによりブロックされました」と出たら？
- Search Console のこの表示は、robots.txt で Disallow しているページです。インデックスさせたいページなら、該当する Disallow を消してください。
- Q. AIのクローラーをブロックするには？
- User-agent に GPTBot や ClaudeBot、Google-Extended などを指定して Disallow: / と書きます。ただし従うかどうかはクローラー側に任されています。