smart_toy robots.txt生成ツール star

robots.txtが実際に行うこと

これはルールに従うクローラーに対して、特定のパスを取得しないよう求めるものです — クロール予算を節約し、管理画面・検索・フィルターのURLをキューから除外します。よくある誤解を正すと、これはアクセス制御ではありません(ファイルは公開されており、悪意あるボットは無視します)。また、URLをブロックしてもインデックスから削除されるわけではありません — それにはnoindexを使います。ブロックされたページも外部リンク経由でインデックスされることがあり、その場合コンテンツなしで登録されます。

このツールは今日の実際の判断をカバーします: 標準的なDisallow、WordPress用テンプレート、ボットごとのルール、サイトマップ行、そして現代的な問題 — AI学習用クローラー(GPTBot、CCBot、Google-Extendedなど)をブロックするかどうかです。ブロックすれば将来のモデル学習からコンテンツを守れますが、あなたを引用してくれるかもしれないAIの回答からも除外されます。どちらの選択も正当です。