SEO on tumf合同会社https://778172da.llc-tumf-jp.pages.dev/tags/seo/Recent content in SEO on tumf合同会社Hugo -- gohugo.ioja-jpCopyright © tumf LLC.Tue, 04 Nov 2025 12:30:00 +0900AI時代のrobots.txt ～ AIクローラーに対応する書き方～https://778172da.llc-tumf-jp.pages.dev/posts/2025/11/04/robots-txt-ai-era/Tue, 04 Nov 2025 12:30:00 +0900https://778172da.llc-tumf-jp.pages.dev/posts/2025/11/04/robots-txt-ai-era/<p>近年、ChatGPTやClaude、Geminiなどの<a href="https://778172da.llc-tumf-jp.pages.dev/terms/llm">大規模言語モデル</a>(LLM)が急速に普及し、それに伴ってAIトレーニング用のWebクローラーも急増しています。従来の検索エンジン向けだけを考慮すれば良かったrobots.txtに、今やAIクローラーへの対応が不可欠となりました。</p> <p>この記事では、AI時代のrobots.txtの書き方と、各AIクローラーの特性について解説します。</p>