SHIBARAKU

人生イージュ★ライダー

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
--.--.-- --:-- | スポンサー広告 | トラックバック(-) | コメント(-) |
RIMG0462.jpg

ファンデーション買ってきました。
化粧品に全く興味がないので売り場に5分も居なかった・・・。
こんにちは永作、さようなら菅野美穂(´;ω;`)(わかりずら
ロングキープってとこに惹かれました。
あんまりこだわりないけど・・。

さて、本日は検索のクロール拒否の話が来ました。
クロール拒否とは検索エンジンに載せない方法です。
検索ロボットに「このページを検索するな」という命令を出します。

ロボットは大きく分けて
Googlebot=Googleロボット
Slurp=Yahooロボット
msnbot=MSNロボット

があり、拒否の方法は3つくらい
.htaccess (ドットエイチティーアクセス)ディレクトリ単位で制御
robots.txt (ロボットテキスト)検索エンジンのクローラーを制御
meta (メタ) ページ単位で制御可能 

優先度は
.htaccess > robots.txt > meta

なので.htaccessで設定するのが一般的になります。


◆.htaccessの場合

SetEnvIf User-Agent "Googlebot" shutout
SetEnvIf User-Agent "Slurp" shutout
SetEnvIf User-Agent "msnbot" shutout

order Allow,Deny
Allow from all
Deny from env=shutout (最後必ず改行)



ユーザーエージェントが"○○"の場合shutout
※ユーザーエージェント=クローラー

上記を htaccess.txt などで保存して
FTPサーバーに上げてから(全ページならindexと同じ場所に)アップロード
名前を「.htaccess」に変更。
以上です。


◆robots.txtの場合

User-Agent: *
Disallow: /

User-Agent(クローラー指定): *(アスタリスク)はすべてのクローラーを指定
Disallow(拒否): /(スラッシュ)サイト全体。指定する場合はそのアドレス。

これもindexファイルと同じ場所に。
ちなみにDisallowが拒否、Allowが許可になります。

グーグルだけを拒否する場合は「User-agent: Googlebot」
ヤフーだけの場合は「User-agent: Slurp」


◆metaタグの場合
HTML内に書き込みます。

<meta name="robots" content="noindex">→検索を禁止
<meta name="robots" content="nofollow">→リンク先参照を禁止


以上ですかね。

あ、フリッカーズはじめました。
http://www.flickr.com/photos/cyu_ta/
(っ´∀`)っ 楽しんでます。

フリッカーいいねー!
お気に入りに登録しておこうc⌒っ゚д゚)っφ メモメモ...
ツイッターのフレさんもフリッカーに写真あげてるけどものすごく綺麗!

あ、ちなみにそのフレさんもツタさんみたく名前が○○キチって呼ばれてますぜ(ΦωΦ)

2013.05.23 02:29 URL | びゅねい #- [ 編集 ]

◆びょね
リニューアルしてから良い感じー!
前はいろいろ制限があったからイマイチやる気がしなくてw
おおw何キチさんか知らないけど親近感(・∀・)
びょねさんもいかが?

2013.05.24 01:00 URL | ツタ #/OAsIzR6 [ 編集 ]









管理者にだけ表示

トラックバックURL↓
http://zank.blog8.fc2.com/tb.php/7038-6f55b358

| ホーム |
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。