robots.txt 自動生成
検索エンジンのクローラー制御やAIクローラーの拒否を簡単に。
フォームを選ぶだけで正しい構文の robots.txt を自動生成します。
⚙️ 基本ルール (すべてのクローラー)
🤖 AIクローラー対策
ChatGPT, Claude, Applebot等の無断クロールを防ぎます。
🕷️ 個別ボットの設定
✨ 生成された robots.txt
robots.txt自動生成ツールの概要
robots.txt（ロボッツテキスト）自動生成ツールは、検索エンジンのクローラー（蜘蛛）に対して、あなたのウェブサイトのどのページをクロールしてよいか、あるいはアクセスを禁止するかを指示するためのテキストファイルを簡単に作成できるユーティリティです。
従来のGooglebotやBingbotなどの検索エンジン制御に加え、近年増加している **ChatGPT (GPTBot) や Claude (ClaudeBot)、AppleのAI等の「AIクローラー」による無断のデータ収集（スクレイピング）を一括でブロック** する機能も搭載しています。入力した設定はリアルタイムでコードに反映され、ワンクリックでコピーしてすぐにご利用いただけます。
使い方
基本ルールの選択
まずは全クローラーに対してサイト全体へのアクセスを「許可」するか「拒否」するかを選択します。
ボット・ディレクトリ設定
AIボットのブロック有無や、特定ディレクトリ（例: `/admin/`）へのアクセス制限を設定します。
コードのコピー
設定と同時に右側（スマホでは下部）に生成されたテキストを「コードをコピー」ボタンでコピーします。
サーバーへの設置
コピーした内容を `robots.txt` というファイル名で保存し、サイトの最上位ディレクトリ（ルート）に配置します。
robots.txt関連の用語集
- robots.txt
- ウェブサイトのルートディレクトリに配置するテキストファイル。検索エンジンなどの自動プログラム（クローラー）に対して、サイト内のどの部分にアクセスしてよいか、いけないかのルールを記述します。
- User-agent (ユーザーエージェント)
- アクセスしてくるクローラーやブラウザの身元を表す識別子です。robots.txt では、「User-agent: Googlebot」のように記述することで、特定のクローラーに対して個別のルールを適用できます。「*」はすべてを意味します。
- Allow / Disallow
- クローラーに対する「許可 (Allow)」と「拒否 (Disallow)」の命令です。「Disallow: /admin/」と記述すると、/admin/ 配下のすべてのページへのアクセスを禁止できます。
- AIクローラー (AI Bot)
- OpenAI（ChatGPT）やAnthropic（Claude）などのAI企業が、自社のAIモデルを学習させるためにインターネット上のデータを収集する自動プログラムのことです。GPTBotなどが代表的です。
- Sitemap (サイトマップ)
- サイト内のページ構造をクローラーに伝えるXMLファイルです。robots.txt 内に「Sitemap: https://...」と記述することで、クローラーにサイトの全体像を効率的に伝えることができます。
よくある質問
- Q.robots.txt と HTMLの meta robots の違いは何ですか？
- robots.txt はクローラーがサイト内のどのページをクロール（巡回）してよいかを制御するファイルです。一方、meta robots（noindex等）はクロールされた後に検索結果にインデックス（表示）するかどうかを制御します。アクセス自体を防ぐなら robots.txt、インデックスを防ぐなら meta robots を使用します。
- Q.AIクローラーをブロックしても通常の検索順位に影響はありませんか？
- 影響はありません。Googlebot などの主要検索クローラーと、ChatGPT（GPTBot）や Claude（ClaudeBot）などのAIクローラーは異なる User-agent を持っているため、AIクローラーのみを拒否（Disallow）しても、GoogleのSEO評価には影響しません。
- Q.生成した robots.txt はどこに設置すればよいですか？
- ウェブサイトのルートディレクトリ（一番上の階層）に「robots.txt」というファイル名でアップロードしてください。例えば、あなたのサイトが https://example.com/ であれば、https://example.com/robots.txt でアクセスできるようにする必要があります。
- Q.設定を間違えるとどうなりますか？
- 基本ルールで「すべて拒否」を選択したり、誤って「/」を Disallow してしまうと、Googlebot がサイト全体をクロールできなくなり、検索結果からサイトが消えてしまう危険性があります。設定内容とプレビューをよく確認してから設置してください。
活用シーン
AIによる無断学習のブロック
自社のオリジナルコンテンツやブログ記事が、AIの学習データとして勝手にスクレイピングされるのを防ぎたい場合に、AIクローラー一括ブロックを利用します。
管理画面や非公開ページの保護
WordPressの /wp-admin/ や、会員専用ページ、検索結果の動的ページなど、Googleの検索結果に表示させたくないディレクトリを一括でクロール拒否します。
SEOの効率化（クロールバジェット最適化）
巨大なウェブサイトにおいて、重要でないページへのクロールを制限し、Googlebotが重要なページ（新着記事など）を優先してクロールできるように誘導します。
開発中・テストサイトの非公開化
サイトの制作中やリニューアル前のテスト環境が、誤って検索エンジンにインデックスされてしまうのを防ぐため、サイト全体を Disallow します。
フィードバックを送信
ツールをより良くするためのご意見をお聞かせください。
現在、フィードバックの受付を一時停止しています
サーバーが混み合っているか、スパム防止のための安全装置が作動しています。しばらく経ってから再度アクセスしてください。