2010年6月10日木曜日

クロールされたくないページがクロールされる件

【事象】
検索結果で表示されたリンクをクリックするとエラーページにとんでしまう

【原因】
エラーページに飛んでしまうのは、クロールされた画面が、現在存在しない画面であったため。
表示がおかしいのは不明。。ぱんくず表示がちょうどおかしかったときにクロールされた?かも

【対処法】
①robots.txtをドメイン直下に置き、クロールされたくないページを書き込む
実際においてあるファイルの中身

 -----------------------------------------------
 User-agent: *
 Disallow: /***/***/***/←ファイルパス
 -----------------------------------------------

参考:http://dokodemo.rankuappu.com/syono5.html

②google webmasterツール から、削除手続きを行うのでもよい
http://www.google.com/support/webmasters/bin/answer.py?hl=jp&answer=164734

0 件のコメント:

コメントを投稿