Udostępnij za pośrednictwem

Search: Fine Tuning search relevancy in Microsoft SharePoint Server 2007: Getting the search results your user expects

  • Artykuł

Relevance is about how closely the search results match what the user wanted to find.

 

To improve the search results that MOSS Search returns, we need to understand how search results are ranked:

 

SharePoint performs two types of ranking, dynamic ranking and static ranking. Dynamic ranking, is something that happens on the Query Servers and depends on query and term matching whereas static ranking occurs at index time. 

Static ranking is query independent and is computed at index time. Lets dive deeper into each of these:

 

Dynamic Ranking:

This looks at the content or property values for a content item such as:

 

 Anchor Text

This evaluates the text that describes a target. E.g. <A href=https://portal/site> Company Name Enterprise Gateway Portal</A>

  •  Search harvests anchor text from HTML anchor elements, WSS Link Lists, SPS 2003 listings, Word/Excel/PowerPoint 2007 (files using Open Office XML File Formats)
  • Any other File Types handled by installed 3rd Party iFilter components

Property Weighting

Property weighting infers that matches on a specific property value can be more relevant than other property values or in document’s body.

  • MOSS 2007 automatically enhances / extraction of metadata
  •  MOSS 2007 automatic tuning
  •  Index time implementation (occurs on index server)
    • Weight is part of property definition
    • Managed properties considered in ranking (weights can only be changed through object model); New Relevance Object Model in Microsoft.Office.Server.Search.Administration Namespace
      • Configure Managed Property (managedProperty.Weight = newWeight;) or set ranking parameter on predefined documents (RankingParameter.Value)

string strURL = " https://<SiteName >";

SearchContext srchContext;

using (SPSite site = new SPSite(" https://yourSiteName "))

{

     srchContext = SearchContext.GetContext(site);

}

 

Ranking ranking = new ranking(srchContext));

 

foreach (RankingParameter param in ranking.RankingParameters)

{

**

RankingParameter lookedup = ranking.RankingParameters[param.Name];

    Console.WriteLine(lookedup.Name + ": " + lookedup.Value);

}

      • Unmanaged properties NOT considered in ranking.

Title Extraction

Title is a very important property of ranking and are often wrong (e.g. “Slide 1”, or “Word Template Name”)

 

MOSS 2007 has an intelligent way of overcoming this problem. What is does, is use a text extraction algorithm that generates a shadow title. How does it find a shadow title if one does not exist? It uses the headings inside your document. These are normally displayed using text formatting such as Heading 1 or Heading 2. 

 

Please note that this only works for Office file types, another words, the Office IFilter that MOSS 2007 search uses to pick up this information. 

 

URL Matching

Name of a website is normally a common type of query. MOSS Search matches site name to URL equivalent. 

 

Static Ranking

This describes the ranking that is not impacted by the content or property values for a content item.

 

File Type Biasing

In most search scenarios, certain file types are more relevant than others. This effects the MOSS Search relevance calculation ranks.

 

  • Order of relevancy: HTML Web pages, PowerPoint presentations, Word documents, XML Files, Excel Spreadsheets, Plain Text files, List Items
  • See Object Model : RankingParameter.Value
  •  IMPORTANT: You cannot add and/or remove File Types

Automatic Language Detection

Foreign language results are less relevant than results in user’s language

  • Index time: documents are tagged with their likely language.
  • Query time: MOSS Search determines users language via browsers headers (Accept-Language).
    • Advanced Search: User can override this default behaviour using different language.
    • Exception: ENGLISH is always considered as relevant as user’s language.

Click Distance from authoritative pages

NOTE: the difference between Click Distance and URL Depth. Click distance is not based on URL depth but rather on the path the user takes through pages to get to information.

 

Authoritative Pages (Configured in SharePoint Central Administration):

 

  • Sites linked to authoritative pages have higher relevant score.

  • Click distance can be improved by configuring authoritative pages in search admin. This effectively “bumps up” the a “X number of clicks site” to a one click site.

  • 3 levels of importance and is maintained by an administrator.

  • Pages linked to authoritative pages are MORE relevant than pages that and is adjusted until rank of all pages is influenced by its “click distance” to authoritative pages.

  • Administrators CAN demote relevance of sites.

     

 URL Depth

Items with shorter urls are more relevant than items placed in longer URLs; E.g.  https://msw/ vs https://portal/divisionalsite/ProjectSite1/MeetingSite/ .Short URLS are like prime real estate and organisations tend to allocate them to the most important content.

 

Relevance Metrics

 

· Precision@N: Avg. No. Of relevant documents in top 5, 10,etc.

· Mean Average Precision: Avg. Precision from N-1 to R

· Reciprical Rank: 1/rank of the top relevant document

· Normalized Discounted Cumulative Gain (NDCG) : Represents ratio of current ranking to ideal

 

User’s Perceived Relevance

 

· Summarization and Highlighting : Query-dependant summarization and highlighting of hits within summary.

· Duplicate removal: Near duplicates documents are detected across index and removed at query time; can be disabled by admin

· Best Bets: Best Bets promotion IS NO LONGER PART OF ranking algorithm

· Did you mean? : Index informed spell checker; Only available for English, Spanish, French, (not sure of last language).

 

 

Optimization

 

· First crawl your content J

· Manage authoritative pages and demoted sites carefully

· Mine query logs to identify keywords

· Review list of descriptions, keywords, and best bets periodically as content prioritization can change over time

· Use admin object model CAREFULLY to change weight given to properties

· Features in ranking formula can also be added using object model to personalize ranking criterias:

o https://msdn2.microsoft.com/en-us/library/microsoft.office.server.search.administration.ranking.rankingparameters.aspx

Comments

  • Anonymous
    April 28, 2007
    PingBack from http://mikewalsh.bilsimser.com/PermaLink,guid,1078a50e-2986-47dd-8c23-6f86a4c57ed2.aspx
  • Anonymous
    June 17, 2007
    Thanks Brian. Am looking at implementing MOSS 2007 as replacement for a legacy search engine and this article was really helpful.CheersCarl
  • Anonymous
    November 23, 2007
    How SharePoint select text for HightlightSummary ?When page conains word in other form, for example ran (search query: run) it returns some unrelated text, i think some text from beggining of page, because i get navigation very ofthen in that case very often.
  • Anonymous
    January 16, 2008
    This seems to be a very informative and rare article...kudos to the author for such a gud article.....I have a ques though..........suppose Instead of ranking by Relevance and modified date as provided by MOSS 2007 OOB.....I need to rank by say author name,title etc....how to do that.......ThanksGaurav
  • Anonymous
    February 07, 2008
    I have noticed that File Biasing does not include PDFs.  What does it mean for PDF relevancy?  Will a PDF be less relevant than a List Item?  How does that work?
  • Anonymous
    February 12, 2008
    At Coveo, we encourage evaluators to actually measure relevance with their own documents and content.  It's pretty easy and very revealing as to whether the underlying search software is doing relevance well.  In a nutshell, gather 50-100 queries, decide in advance which document is the best result, set up the search software (Coveo takes about 30 minutes even integrated with SharePoint), run your searches, and assign the position of each result as the score (use 100 if the result is past the first 100).  Add up all the scores, and divide by the number of queries and you have your overall score.  A score of 1 means the best result on average was first on the first page.  A score of 50 means on average the 50th result, and so on.  Small note, take into account that the search engine may have found a better result...you never know, so look at the results before your pre-chosen "best".  Coveo has won many many bakeoffs this way.
  • Anonymous
    May 02, 2008
    open search of doc libs shows a "view duplicates" option where multiple files satisfy the search criterion (say found in different doc libraries). If I then go to Advanced search, and use a property value such as "name" contains "text of interest" and I get a single return rather than the say 8 items that open search revealed. This behavior seems just wrong headed. In my thinking if I wanted less precision I would choose the open search, and going to the trouble of Advanced property searching I obviously want more precision of search results. Less bulk, more detail... or is it just me?
  • Anonymous
    June 04, 2008
    HiIs there any way to stop the search from indexing columns, eg not to index the author, createdby columns.  I've tried checking the columns in Searchable columns at the top level site but this doesn't seem to be being identified.ThanksAndy
  • Anonymous
    June 12, 2009
    ヒマだょ…誰かかまってぉ…会って遊んだりできる人募集！とりあえずメール下さい☆　uau-love@docomo.ne.jp
  • Anonymous
    June 14, 2009
    カワイイ子ほど家出してみたくなるようです。家出掲示板でそのような子と出会ってみませんか？彼女たちは夕食をおごってあげるだけでお礼にHなご奉仕をしてくれちゃったりします
  • Anonymous
    June 15, 2009
    あなたは右脳派？もしくは左脳派？隠されたあなたの性格分析が3分で出来ちゃう診断サイトの決定版！合コンや話のネタにも使える右脳左脳チェッカーを試してみよう
  • Anonymous
    June 17, 2009
    セレブ達は一般の人達とは接する機会もなく、その出会う唯一の場所が「逆援助倶楽部」です。 男性はお金、女性はSEXを要求する場合が多いようです。これは女性に圧倒的な財力があるから成り立つことの出来る関係ではないでしょうか？
  • Anonymous
    June 18, 2009
    貴方のオ○ニーライフのお手伝い、救援部でHな見せたがり女性からエロ写メ、ムービーをゲットしよう！近所の女の子なら実際に合ってHな事ができちゃうかも！？夏に向けて開放的になっている女の子と遊んじゃおう
  • Anonymous
    June 21, 2009
    家出中でネットカフェやマンガ喫茶にいる女の子たちは、お金が無くなり家出掲示板で今晩泊めてくれる男性を探しています。ご飯を食べさせてあげたり泊めてあげることで彼女たちはHなお礼をしてくれる事が多いようです
  • Anonymous
    June 22, 2009
    当サイトは、みんなの「勝ち組負け組度」をチェックする性格診断のサイトです。ホントのあなたをズバリ分析しちゃいます！勝ち組負け組度には、期待以上の意外な結果があるかもしれません
  • Anonymous
    June 23, 2009
    男性が主役の素人ホストでは、男性のテクニック次第で女性会員様から高額な謝礼がもらえます。欲求不満な人妻や、男性と出会いが無い女性が当サイトで男性を求めていらっしゃいます。興味のある方はTOPページからどうぞ
  • Anonymous
    June 24, 2009
    The comment has been removed
  • Anonymous
    June 25, 2009
    The comment has been removed
  • Anonymous
    June 26, 2009
    The comment has been removed
  • Anonymous
    June 27, 2009
    セレブラブではココロとカラダに癒しを求めるセレブ達と会って頂ける男性を募集しています。セレブ女性が集まる当サイトではリッチな彼女たちからの謝礼を保証、安心して男性はお金、女性は体の欲求を満たしていただけます。無料登録は当サイトトップページからどうぞ
  • Anonymous
    June 28, 2009
    家出中でお金が無く、ネットカフェを泊り歩いているSOS少女たちは、家出掲示板で泊めてくれたり遊んでくれる男性を探しています。泊めてあげたりすると彼女たちはHなお礼をしてくれるかもしれません。家出少女と遊びたい方は当サイトはどうぞ
  • Anonymous
    June 29, 2009
    あなたの精神年齢を占ってみよう！当サイトは、みんなの「精神年齢度」をチェックする性格診断のサイトです。精神年齢度には、期待以上の意外な結果があるかも？？興味がある方はぜひどうぞ
  • Anonymous
    June 30, 2009
    The comment has been removed
  • Anonymous
    July 01, 2009
    The comment has been removed
  • Anonymous
    July 03, 2009
    恋することって怖くないですか？最近ちょっと臆病になってて…そういうの抜きでえっちなことしたくて…　lovely-i0709@docomo.ne.jp優しい人がいたらメール待ってます☆
  • Anonymous
    July 04, 2009
    さあ、今夏も新たな出会いを経験してみませんか？当サイトは円助交際の逆、つまり女性が男性を円助する『逆円助交際』を提供します。逆円交際を未経験の方でも気軽に遊べる大人のマッチングシステムです。年齢上限・容姿・経験一切問いません。男性の方は無料で登録して頂けます。貴方も新たな出会いを経験してみませんか
  • Anonymous
    July 06, 2009
    The comment has been removed
  • Anonymous
    July 07, 2009
    The comment has been removed
  • Anonymous
    July 08, 2009
    素人ホストでは日頃のストレスを発散したい、もう一度恋がしたい、そういた女性が癒しを求めて登録されています。当サイトは癒やされたい女性・寂しい女性を癒やす男性が集うカップリングサイトです
  • Anonymous
    July 09, 2009
    The comment has been removed
  • Anonymous
    July 10, 2009
    恥ずかしいけどやらしいことしたくてしょうがありません…誰か一緒にしてくれませんか？とりあえず連絡待ってます☆　cute.y.0902@docomo.ne.jp
  • Anonymous
    July 11, 2009
    The comment has been removed
  • Anonymous
    July 12, 2009
    家出娘や一人で寂しい子が書き込むSOS娘BBSでは彼女たちと遊んであげたり泊めてあげれる、優しい人を募集しています。見返りにHをしてくれる子も多く、いろんな理由がある少女があなたの助けを待っています。
  • Anonymous
    July 13, 2009
    話題の小向美奈子ストリップを盗撮！入念なボディチェックをすり抜けて超小型カメラで撮影した神動画がアップ中！期間限定配信の衝撃的映像を見逃すな
  • Anonymous
    July 14, 2009
    The comment has been removed
  • Anonymous
    July 15, 2009
    mixiで禁止された「出会い」コミュニティーが復活しているのをご存じですか？当サイトでは規制前の楽しかった頃のミクシーを再現しているという好評を頂いております。会員数も右肩上がりに増えていますので、興味のある方はぜひご覧ください
  • Anonymous
    July 16, 2009
    癒されたい女性や、寂しい素人女性を心も体も癒してあげるお仕事をご存じですか？女性宅やホテルに行って依頼主の女性とHしてあげるだけで高額の謝礼を手に入れる事が出来るのです。興味のある方は当サイトTOPページをご覧ください
  • Anonymous
    July 17, 2009
    The comment has been removed
  • Anonymous
    July 17, 2009
    女性向け風俗サイトで出張デリバリーホストをしてみませんか？時給２万円以上の超高額アルバイトです。無料登録をしてあとは女性からの呼び出しを待つだけなので、お試し登録も歓迎です。興味をもたれた方は今すぐどうぞ。
  • Anonymous
    July 19, 2009
    最近TVや雑誌で紹介されている家出掲示板では、全国各地のネットカフェ等を泊り歩いている家出娘のメッセージが多数書き込みされています。彼女たちはお金がないので掲示板で知り合った男性の家にでもすぐに泊まりに行くようです。あなたも書き込みに返事を返してみませんか
  • Anonymous
    July 20, 2009
    あなたの性格を、動物に例えて占っちゃいます。もしかしたらこんな動物かも！？動物占いをうまく使って、楽しい人間関係を築いてください
  • Anonymous
    July 21, 2009
    The comment has been removed
  • Anonymous
    July 22, 2009
    家出中の女性や泊まる所が無い女性達がネットカフェなどで、飲み放題のドリンクで空腹を満たす生活を送っています。当サイトはそんな女性達をサポートしたいという人たちと困っている女性たちの為のサイトです
  • Anonymous
    July 23, 2009
    セレブ女性との割り切りお付き合いで大金を稼いでみませんか？女性に癒しと快楽、男性に謝礼とお互い満たしあえる当サイト、セレブラブはあなたの登録をお待ちしております。
  • Anonymous
    July 24, 2009
    誰か満足させてくれる人いませんか？めんどくさいこと抜きでしよっ♪　gu-gu-m@docomo.ne.jp　とりあえずメールして☆
  • Anonymous
    July 25, 2009
    The comment has been removed
  • Anonymous
    July 26, 2009
    家出をして不安な少女の書込みが当、家出掲示板では増えています。泊まらせてあげたり、一日遊んであげるだけで彼女たちはあなたを神と呼び、精一杯のお礼をしてくれるはずです
  • Anonymous
    July 27, 2009
    あなたのゲーマー度を無料ゲーム感覚で測定します。１５個の質問に答えるだけの簡単測定で一度遊んでみませんか？ゲームが得意な人もそうでない人もぜひどうぞ。
  • Anonymous
    July 28, 2009
    Hな女性たちは素人ホストを自宅やホテルに呼び、ひとときの癒しを求めていらっしゃいます。当サイトでは男性ホスト様の人員が不足しており、一日3〜4人の女性の相手をするホストもおられます。興味を持たれた方は当サイトにぜひお越しください
  • Anonymous
    July 29, 2009
    実は出会い系には…関係者用入り口があるのを知っていますか？広告主やスポンサー用に用意されたIDではサクラや業者が立ち入ることが出来ないようになっているのです。当サイトでは極秘に入手した関係者用URLが公開されています
  • Anonymous
    July 30, 2009
    男性はお金、女性は快楽を得る逆援助に興味はありませんか？お金を払っても性的欲求を満たしたいセレブ達との割り切り１日のお付き合いで当サイトでは大金を得ることができます。無料登録なのでアルバイト感覚でOK、詳しくはTOPページでどうぞ。
  • Anonymous
    July 31, 2009
    自分のほむぺ初公開でぇす。やっと完成したのでみんなに見てもらいたくて★カキコしました。意見ある方めぇるまってまぁす。　ggg.nj@docomo.ne.jp
  • Anonymous
    August 01, 2009
    セクース好きな女性が集まる★男性との性なる夜を求めた女性達が多数登録しております！セフレ出会いサイト☆セクフレ☆で夏休み中でヒマを持て余している女子○生から、刺激を求めるOLまでみんなまとめてオイシイ関係になっちゃおう
  • Anonymous
    August 03, 2009
    あなたの真のH度を診断できるHチェッカー！コンパや飲み会で盛り上がること間違いなしのおもしろツールでみんなと盛り上がろう
  • Anonymous
    August 04, 2009
    今夏も新たな出会いを経験してみませんか？当サイトは円交の逆、つまり女性が男性を円助する『逆円交際』を提供します。未経験の方でも気軽に遊べる大人のマッチングシステムです。年齢上限・容姿・経験一切問いません。男性の方は無料で登録して頂けます。貴方も新たな出会いを経験してみませんか
  • Anonymous
    August 05, 2009
    今最もアツイバイトは人妻とのセフレ契約です。当サイトではお金を払ってでもセフレがほしい人妻が集まり、男性会員様との逆援生活を待っています。当サイトで欲求不満の女性との出会いをしてみませんか
  • Anonymous
    August 06, 2009
    素人ホストでは、男性のテクニック次第で女性会員様から高額な謝礼がもらえます。欲求不満な人妻や、男性と出会いが無い女性達が当サイトで男性を求めていらっしゃいます。興味のある方はTOPページからどうぞ
  • Anonymous
    August 08, 2009
    The comment has been removed
  • Anonymous
    August 09, 2009
    カワイイ子ほど家出してあそんでみたくなるようです。家出掲示板でそのような子と出会ってみませんか？彼女たちは夕食をおごってあげるだけでお礼にHなご奉仕をしてくれちゃったりします
  • Anonymous
    August 11, 2009
    出会ぃも今は逆援助！オンナがオトコを買う時代になりました。当サイトでは逆援希望のセレブ女性が男性を自由に選べるシステムを採用しています。経済的に成功を収めた女性ほど金銭面は豊かですが愛に飢えているのです。興味のある方はどうぞ
  • Anonymous
    August 12, 2009
    即ハメセレブは完全無料でご利用できる出会いコミュニティです。今までにない実績で、あなたの希望に合った人をお探しします。毎月考えられない豪華なイベントを開催しているので出会いを保障します
  • Anonymous
    August 13, 2009
    夏真っ盛り！女の子は開放的な気分で一人Hしたくてウズウズしてるっ！貴方は女の子のオ○ニーを見て気分を高めてあげてネ！もちろん、お手伝いしてもオッケーだよ！さぁ、今すぐ救援部にアクセスしよっ
  • Anonymous
    August 14, 2009
    プロフ見て興味ある方は連絡ください。基本的には携帯依存症なぐらい携帯いじるのとかメールするの好きなのでまずはメアドから交換しましょう。仲良くなったら電話もおっけーなんでよろしくo.natyu.natyu.o@docomo.ne.jp
  • Anonymous
    August 15, 2009
    大好評の逆ナンイベントが毎週開催決定！素敵な出会いのきっかけ探し・アイナビにきませんか？積極的な出会いを求める人達なら無料参加OK！あなたもほんの少しの勇気で素敵な彼氏・彼女をGETしちゃおう！
  • Anonymous
    August 16, 2009
    夏休みで家出する女の子が急増しています。最初はマンガ喫茶やネットカフェで過ごすことが多いようですが、すぐにお小遣いが無くなり家出掲示板で泊めてくれたり遊んでくれる男性を探す子が多いようです。当サイトはそんな女の子達をサポートしたいという人たちと困っている女性たちの為のサイトです
  • Anonymous
    August 17, 2009
    当サイトは、みんなの「玉の輿度」をチェックする性格診断のサイトです。ホントのあなたをズバリ分析しちゃいます！玉の輿度チェッカーの診断結果には、期待以上の意外な結果があるかも
  • Anonymous
    August 20, 2009
    毎月１０万円を最低ラインとする謝礼を得て、セレブ女性に癒しを与える仕事があります。無料登録した後はメールアプローチを待つだけでもOK、あなたもセレブラブで欲求を満たしあう関係を作ってみませんか
  • Anonymous
    August 21, 2009
    よーやくプロフ持ちになれました。私の事気になった方がいましたら気軽にメールください。恋バナとか好きなんでよろしくでぇす。zuttozuttoissyodayo@docomo.ne.jp
  • Anonymous
    August 22, 2009
    女性会員様増加につき、当サイトの出張ホストが不足中です。女性の自宅やホテルに出向き、欲望を満たすお手伝いをしてくれる男性アルバイトをただいま募集していますので、興味のある方はTOPページから無料登録をお願いいたします
  • Anonymous
    August 23, 2009
    最近様々なメディアで紹介されている家出掲示板では、全国各地のネットカフェ等を泊り歩いている家出少女のメッセージが多数書き込みされています。彼女たちはお金がないので掲示板で知り合った男性とすぐに遊びに行くようです。あなたも書き込みに返事を返してみませんか
  • Anonymous
    August 24, 2009
    あなたのモテ度数を診断できる、モテる度チェッカー！日頃モテモテでリア充のあなたもそうでないヒキニートの貴方も隠されたモテスキルを測定して今以上にモッテモテになること間違いなし
  • Anonymous
    August 25, 2009
    オ○ニーライフのお手伝い、救援部でHな見せたがり女性からエロ写メ、ムービーをゲットしよう！近所の女の子なら実際に合ってHな事ができちゃうかも！？夏で開放的になっている女の子と遊んじゃおう
  • Anonymous
    August 25, 2009
    オ○ニーライフのお手伝い、救援部でHな見せたがり女性からエロ写メ、ムービーをゲットしよう！近所の女の子なら実際に合ってHな事ができちゃうかも！？夏で開放的になっている女の子と遊んじゃおう
  • Anonymous
    August 26, 2009
    メル友募集のあそび場「ラブフリー」はみんなの出逢いを応援する全国版の逆援助コミュニティーです！女の子と真剣にお付き合いしたい方も、複数の女性と戯れたい方も今すぐ無料登録からどうぞ
  • Anonymous
    August 27, 2009
    簡単にお小遣い稼ぎをしたい方必見、当サイト逆¥倶楽部では無料登録して女性の性の欲求に応えるだけのアルバイトです。初心者でもすぐに高収入の逆¥交際に興味をもたれた方はTOPページまでどうぞ。
  • Anonymous
    August 28, 2009
    プロフ作りました。興味ある方連絡まってま〜す。メアドを乗せておくので連絡ください。色んな人の色んな話聞きたい感じですのでヨロシクhappy-my-life-.-@docomo.ne.jp
  • Anonymous
    August 12, 2010
    Hi Brian,do you have any updated material for SP2010?ThanksCraig