ロボット巡回解析

解析内容

ロボット型サーチエンジンは定期的に世界中のサイトを巡回してそのサイトの最新データを取得し、その結果を検索結果に反映しています。そこで、このロボットが巡回してきたのを捕捉して解析しようとするものです。
しかしこのアクセスは通常のイメージタグを使ったCGIでは取得できないため、SSIというちょっと難易度の高いテクニックを使っています。また、SSIはレンタルサーバーによっては設置できないことが多いですが、このためオプションという形にしています（別料金をとる訳ではありません）。
ロボットの巡回解析のほか、Yahooなどのディレクトリエディタのアクセス履歴などもチェックしています。解析項目は次のとおりです。

- 日ごとロボット巡回状況
ロボットのアクセス状況を日毎にグラフにしています。対象ページやロボットを絞り込むことができます。

- ページごとロボット巡回状況
ページ毎のロボットのアクセス状況をグラフにしています。対象ロボットやページを絞り込むことができます。

- ロボットごと巡回状況
ロボット毎のアクセス状況をグラフにしています。対象日やページを絞り込むことができます。

設置に際して

●この解析は、解析したいページに解析用のSSI用htmlタグを貼り付けることにより行います。ご利用のサーバーでSSIが利用でき、かつexecコマンドが利用できることが条件です。これらが利用できない場合には設置できません。
●SSIは設置が難しいので、経験のない方は関連書籍をご覧いただき十分に知識を身につけてからにして下さい。
●申し訳ございませんが、SSIに関するご質問はご遠慮下さい（SSIが動作しない原因はサーバーによってまちまちで、ご質問があっても正確にお答えすることはできません）
●この解析はシェアウエア登録後に可能になります。
●この機能はオプションですので、シェアウエア登録後に設置ができなくてもシェアウエア代金をお返しできません。
●代行設置にはこのオプションは含まれておりません。

【留意事項】

１）ロボットの巡回解析結果は、通常のアクセス解析数に加算されず他の解析項目にも反映されません。単独で解析しています。

２）解析対象ロボットについて
解析はすべてのものについて行っているわけではありません。主要なもののみです。またロボットが残すUser Agentデータに変更があった場合は捕捉できない場合があります。この場合は当社でもなるべくチェックしますが、関連情報がありましたらお知らせ下さい。

解析対象にしているロボット一覧
※ロボット名の詳細についての質問にはお答えしかねます。google等で検索して下さい。
Yahoo Search user agent or spider
Yahoo Product Search crawler
Yahoo multimedia crawler via Fastsearch.net
Yahoo crawler via Overture
Wisenut robot
TAGword DMOZ survey - ODP link checking robot
Seed Search robot
SafariBookmarkChecker for Mac OS X
Overture/Fast/Alltheweb crawler
ODIN Directory Japan robot
NTT Directory robot
Netscape Directory / DMOZ ink crawler
Naver Japan / Korea robot
MSN Search robot
Lycos spider
LookSmart spider
Looksmart robot
Larbin indexer
Inktomi robot for Yahoo
Inktomi ( Hotbot-Lycos, NBCi etc.) robot
Infoseek robot
IncyWincy search engine using DMOZ
Goo.ne.jp / Inktomi robot
Googlebot-Image
Google robot
Goo Japan / Inktomi robot
Galaxy robot
Fast/Alltheweb crawler
Fast Search robot
Excite spider
Cyberdog Mac Browser
AOL Search / Pacific Internet Exchange robot
Altavista robot
Alexa robot
Alexa crawler
Alexa / The Internet Archive robot
About robot
Yahoo! Down Site Checker（Down Site Checker）
AllAboutJapan LinkChecker（AllAboutJapan LinkChecker）
Dmoz Editor Check（refere=dmoz.org/editors/editunrev2.cgi）
Yahoo Editor for new site check（refere=surf.yahoo.co.jp/submissions）
Yahoo Editor for current site check（refere=surf.yahoo.co.jp/changes）

※
「Yahoo Editor for new site check」とは、サイトをYahooJapanへURL申請した後でサーファーが来たときのデータです。
「Yahoo Editor for current site check」とは、サイトをYahooJapanへURL変更依頼した後でサーファーが来たときのデータです。
「Dmoz Editor Check」とは、サイトをdmozにURL申請した後でエディターが参照したときのデータです。