Googlebotのみクロールを許可し、他のクローラーは拒否したい場合は、`robots.txt`に以下のように記述する。 `Disallow:`が上位の`Disallow: /`を打ち消して全てのURLが許可される。 ``` User-Agent: * Disallow: / User-agent: Googlebot Disallow: ``` 参考 : https://woresite.jp/2011/03/19/065745.html
2020/03/11 16:43:40

コメント (0)

あなたもコメントしてみませんか

アカウント新規作成(無料)

既にアカウントを持っている方は ログイン