特定のロボットのみクロール許可する

cyrus07424cyrus07424

Googlebotのみクロールを許可し、他のクローラーは拒否したい場合は、robots.txtに以下のように記述する。

Disallow:が上位のDisallow: /を打ち消して全てのURLが許可される。

User-Agent: *
Disallow: /

User-agent: Googlebot
Disallow:

参考 : https://woresite.jp/2011/03/19/065745.html