シンセサイザー専門サーチエンジン-しんせさーち-

巡回用ロボットについて

しんせさーちではWEBロボット(以下Wapibot)でデータを収集しています。

Wapibotはサーバートップにあるrobots.txt(http://exsample.com/robots.txt)
を取得しようとします。
もし、Wapibotの収集を拒否したい場合は以下のようにrobots.txtを編集します。
(Disallow: 拒否したいディレクトリ,ファイル)
実際はアクセスしますがその際データは収集されません。

例 /wapiko/以下を全て収集拒否したい場合
User-agent: *
Disallow: /wapiko/

または

User-agent: Wapibot
Disallow: /wapiko/

次にWapibotは実際にファイルを収集します。
このとき、Wapibotの収集を拒否したい場合はmetaタグを編集することによって
データの収集を拒否することが出来ます。

例(すべてのロボットに対応)
<META NAME="ROBOTS" CONTENT="NONE"> データの収集と
リンク先の巡回を拒否します。
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> 上記と同じです
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW"> データの収集を拒否しますが
リンク先の巡回を許可します。
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW"> データの収集を許可しますが
リンク先の巡回を拒否します。

例(Wapibotのみを拒否する場合)
<META NAME="Wapibot" CONTENT="NOINDEX,NOFOLLOW"> データの収集と
リンク先の巡回を拒否します。
<META NAME="Wapibot" CONTENT="NOINDEX,FOLLOW"> データの収集を拒否しますが
リンク先の巡回を許可します。
<META NAME="Wapibot" CONTENT="INDEX,NOFOLLOW"> データの収集を許可しますが
リンク先の巡回を拒否します。

現在の仕様ではリンクタグを拾って巡回はしませんので
NOFOLLOWは無くてもかまいません。

Wapibotの仕様
perl LWP付属のコマンドを使用
User-Agent: Wapibot/1.0 (http://wapiko.ddo.jp/wapi/search/robot.htm)
 

このように巡回して取得したデータをもとに検索をします。
wapibotについての質問がありましたらお問い合わせフォームまでどうぞ。
なお、他のロボットや一般的なロボットについての質問をされても答えることは出来ません。

検索  
総合検索 機材検索 曲データ検索

戻る