ＹＳＴとは
|
|
|
YST（Yahoo! Search Technology）は米Yahoo!が独自に開発した検索エンジンで、アメリカでは2004年2月から、日本のYahoo!ジャパンでは2004年5月31日からページ検索に採用されました。
米Yahoo!ではこの開発のために2002年12月に有名な検索エンジンInktomiを買収し、さらに2003年7月にaltavistaとAlltheWebという２つの検索エンジンを所有していたOvertureを企業買収しました。
YSTの開発にあたって米Yahoo!の担当者はインタビューでInktomiのベースの開発に約1年、さらにFASTとAltaVistaを統合するのに約8ヶ月かかったということを言っています。結果としてはInktomiをベースにaltavistaとAlltheWebの技術を取り入れてYSTが開発されたものと思います。
２００９年７月に米Yahoo!とマイクロソフトの提携したことにより、米Yahoo!では検索エンジンをＹＳＴからマイクロソフトのＢｉｎｇに変更することとなりした。このためＹＳＴを使用しているYahoo!ジャパンもＢｉｎｇの導入を検討しているそうです。
|
ＹＳＴの役割
|
|
検索エンジンビジネスを築いたYahoo!です。インターネツトによる広告収入により多額の売上、利益をあげ株価の高騰によって多くの成金を生み出しました。その後、インターネット広告価格の下落などにより、オークションなどの会員サービスに軸足を移していくことになります。
Googleの登場によりアメリカ本国をはじめ世界各国で検索エンジン主役の座をGoogleに奪われてしまいます。そしてOvertureやGoogleアドワーズなど検索連動広告が大きなビジネスになる時代がまたやってきました。当時Yahoo!のページ検索はGoogleでしたが、明かにGoogleはビジネス上での大きなライバルへと育ってきていました。そのためYahoo!は変わりとなる検索エンジン、いわばGoogleキラーとなる検索エンジンが必要になった訳です。 |
|
| ＹＳＴの正体は？ |
|
| １．ＨＩＴＳ |
HITS（Hyperlink-Induced Topic Search）とはJon Kleinberg が提唱した理論で、YSTのアルゴリズムのひとつといわれています。
これは特定のキーワードで収集したページを「オーソリティ（重要度の高いページ・リンクされた側）とハブ（オーソリティにリンクした側）とにわけて、
「良いオーソリティは、良いハブによってリンクされる」、「良いハブは良いオーソリティにリンクをしている」としてオーソリティとハブの双方を評価し、点数に置き換えて順位付けに使用するというものです。
|
| ２．初期のＹＳＴ |
|
初期のＹＳＴの検索結果は、とても「HITS」の考え方からは上位に来ないようなサイトやページが並ぶことも多くありました。またYahoo!カテゴリに登録されたサイトの順位が異様に高くなることから、単純にカテゴリの登録サイトはオーソリティであるというアルゴリズムになっているのかもしれません。
日本のYSTのクローラーをアクセスログで見てみると「lj611785.inktomisearch.com」などの足跡が残っています。このことからも解るようにインデックスが格納されるデータベースの部分はエキサイトやフレッシュアイが使用する「inktomi」と同じものかもしれません。
これがアメリカのYSTと同じデータベースかというと「別物」といわざるを得ません。アメリカのYahoo!と日本のYahoo!に同じキーワード（単語）を打ち込んで処理してもインデックスの数があまりにも違いすぎます。
ただアメリカでYSTのインデックスが更新されると影響がでるので、「同期」など何らかの連動をしていることは間違いありません。しかし、その後、また日本仕様にインデックスを更新しなおしているような動きが見られます。
表示結果についてはアメリカのYahoo!で日本語を検索してもUTF-8で結果が表示されるので、よくいわれる「日本語特有の」という言葉は当てはまらないと思います。
ちなみにエキサイトやフレッシュアイに英単語を打ち込んでも、アメリカのYahoo!とインデックスの数は違うのでアメリカのYSTとは「別物（inktomi）」なのがわかります。
|
| ３．現在のＹＳＴ |
|
ある単語に対してのアメリカのYahoo!と日本のYahoo!のインデックスの数は大きな違いがあるままですが、度重なるアルゴリズムの変更により、検索内容については「HITS」を反映したものになってきていると思います。また特別扱いだったYahoo!のカテゴリ登録サイトの優遇処置もほとんど無くなったような感じもします。ただしHITSの「ハブ」と「オーソリティ」についてはページ単位というよりはサイト単位で管理しているようにも見受けられます。
ただブログなどの普及により、ＷＥＢページは日々、急速に膨張しており、いくらサーバーの処理スピードを上げたり、台数を増やしてもオーソリティの解析・評価だけでも大変なのに、ハブの評価をどこまで出来るのかという疑問もあり、YSTがどの程度HITSを取り入れているかはわかっていません。
|
