第四十六章 搜索引擎的研發
隋波安撫好了左清泉之后，也答應她，等考試周之后，會讓她負責一些相對輕松的工作。
比如公司現在還沒有專門的行政部門。
可以讓她和張軒兩個人先組成CEO辦公室，兼管公司內部行政綜合事務，像法務、公關、后勤、文件報告匯總之類的事情。
這也是一種鍛煉。
可以從這些內部的職能工作，讓他們全面的熟悉和理解公司正規化運作的流程和模式。
等左清泉離開之后，隋波想了想，還是覺得應該去看看王川團隊的研發進展。
隨著這段時間各項目展開，無論是龐勇還是周楓、王川他們都覺得技術力量不夠，又各自從學校里拉了一些同學進入團隊，整個技術團隊擴張的很快。
當時隋波在外地，就讓左清泉去找了趙寧，把公司隔壁的兩間辦公室也都租了下來。
周楓、許朝軍帶領的校內網開發團隊和王川帶領的搜索引擎研發團隊，都從原來的辦公室分了出來，易趣那個辦公室里只留了電商團隊。
新業務的研發團隊分別在兩個新辦公室里閉關。
一推開門，隋波有些驚訝的看到，不大的房間里，中間是一張長桌，長桌上一個緊挨一個的擺放著十幾臺電腦，將長桌擠得滿滿的。
一幫少年們頭發亂糟糟，眼圈發黑，眼睛發光的盯著電腦屏幕，渾然忘我的噼里啪啦敲打著鍵盤。
桌上的電腦之間就算稍微有點空隙，也都擺滿了方便面火腿腸之類的速食品。
要不是那些電腦屏幕上，顯示的一行行代碼，簡直就是一個小型黑網吧的現場！
王川坐在最靠里的一臺電腦前，眉頭緊鎖，盯著屏幕，似乎正在思索什么難題。
別看這個場面，看起來好像是一群泡吧的頹廢網癮少年。
隋波可是清楚，這幫少年們都是計算機天才！
王川直接從學校里拉了不少水木計算機國家集訓隊的隊友來，組成項目團隊攻關搜索引擎！
隋波想了想，回去找左清泉。
讓她找附近的餐廳預訂每天的飯菜，送到公司來，再買幾箱飲料、咖啡、面包餅干之類的小食品，放到幾個研發團隊的辦公室里。
估計不僅王川團隊，龐勇、周楓他們那兒也都一樣。
這幫技術男們敲起代碼來，都是沒日沒夜的。
沒有打擾其他人的工作，他悄悄把王川叫出來，在自己辦公室里，和他專門交流研發情況。
目前搜索引擎項目最大的困難在于，沒有可供參考的對象。
雖然可以參考一些國外的資料和論文，但因為涉及到一些核心技術，是無法通過網絡查找到的，都需要自行開發。
隋波點頭表示同意。
這個時候Google還不存在呢，要到9月份的時候，布林和佩奇才會在加州一個車庫里開始創業。
百度更是沒影的事兒，老李還在搜信里混呢。
現階段，無論是國外的Lycos、AltaVista、Infoseek（搜信），雅虎搜索引擎；還是國內搜狐推出的所謂全中文搜索引擎，都還是以人工分類目錄為主的網站檢索服務。
說是搜索引擎，其實更像是目錄導航網站…
盡管其中一些搜索引擎已經有了網頁關鍵詞檢索、用戶點擊量排序等一些創新，但本質上，還是需要大量的人工編輯的目錄式搜索引擎（Directory Search Engine）。
而隋波希望王川團隊開發的，則是全新的，通過技術程序，自動在互聯網上通過超鏈接網頁進行全文檢索的機器人搜索引擎（Robot Search Engine）。
這樣的話，就需要從頭做起，開發一整套完整的技術體系。
其中包括網絡爬蟲（Web Crawler）服務、索引服務、緩存服務、日志服務等幾大模塊，各模塊之間互相影響，構成了整個搜索引擎體系。
從開發量上，技術難度是遠遠大于目錄式檢索技術的。
首先說網絡爬蟲，也稱網絡蜘蛛（Web Spider），這項技術是基于Web的自動化瀏覽程序，通過網頁鏈接（URL），爬蟲不斷的通過互聯網中獲得新的網頁數據，下載頁面數據形成后臺數據庫。
可以說，網絡爬蟲抓取數據是搜索引擎工作流程的第一步。
爬蟲的體系架構直接關系到搜索引擎每天數據的采集量，而抓取策略則關系到搜索結果的數據質量，數據的更新策略則關系到系統資源的利用率。
這只是第一步，采集了大量數據信息之后，還需要通過自然語言處理（NLP），將文本信息分解為結構化數據和價值性數據。
這里面就又存在一個問題，目前國外的搜索引擎都是英文分詞，而中文比較特殊，最小單位是字，但具有語義的最小單位是詞。
所以，在中文分詞這一部分，就需要技術團隊單獨進行開發。
通過建立詞庫、采用條件隨機概率分布模型、詞性標注、語義相似度、已存句法分析、情感傾向分析等，通過各種模型判斷，讓程序理解抓取到的關鍵詞中文的語義，才能提高搜索的準確性和查全率。
這還只是其中比較小的開發困難。
比如，搜索引擎的核心就是通過海量數據抓取后的快速檢索，而抓取的數據越多，當龐大的數據存儲在數據庫里，就需要構建快速存取數據的分布式存儲架構。
再比如，為了讓用戶在最短的時間內獲得想要的搜索結果，就需要后臺系統不斷的執行數據抓取和建立索引等操作。
這就需要建立分布式實時計算系統，以及對索引結構的構建…
王川估計也是最近開發中有些郁悶了，一說起來就滔滔不絕。
隋波雖然不太懂他說的一些技術術語，但畢竟前世作為用戶也使用了20多年的搜索引擎，接觸的多了，也了解一些基本的知識。
他安靜的聽著王川不斷的講述團隊面臨的一個個困難，又是怎么想辦法克服的。
不時提問兩句，顯得聽的很認真。
腦子里卻不斷的在回憶，當初Google和百度是有哪些創新的舉措，才一舉成功的？
印象最深的，就是那句“百度更懂中文”，這應該就是剛才王川所提的中文分詞了，這塊王川已經考慮到了。
至于是不是更進一步，先弄個智能輸入法出來？…
現在團隊的研發壓力已經很大了，暫時先略過不提。
還有就是百度快照，不過好像這個功能雖然對用戶而言很有價值，但爭議很大…
還有就是Google獨創的PageRank技術。
這是一種根據網頁之間的鏈接結構來評價判斷網頁重要性的排序算法。
想到這里，隋波就提了一下，是否在搜索結果的排序算法上，可以采用這種模式？
從網頁的鏈接數量、權威性、主題相關性、網頁內容的匹配性等多個方面，綜合分析，進行搜索結果的排序。
王川聽了以后若有所思：“這個算法我回去研究一下，應該沒問題。”
隋波笑道：“技術上我沒辦法給你太大的幫助，不過我可以從公司激勵政策和后勤上為團隊鼓勁！
你回去和大家說一下，搜索引擎項目的團隊項目獎金定在10萬，而且根據每個人的表現，到時候還有個人獎勵。
我已經讓清泉給你們做好后勤，每天會定時讓樓下餐廳送飯菜過來。
另外給你們弄一個休息間，里面準備好啤酒、咖啡、飲料和小吃，保證供應。
嗯…，再讓她給你們辦公室里配一個沙發，大家累了可以躺下休息一會。
王川，這個項目將會是公司除了電商平臺，最核心的業務，還要你多辛苦了！”
王川點頭，一臉的倔強：“波總，你放心，我有信心把這個搜索引擎搞出來！實際上每當解決一個技術難題，大家的那種快樂都是無法言表的，公司又給我這么大的支持力度，我一定全力以赴！”
隋波拍拍他的肩膀：“我相信你，你也別著急，和團隊成員要勞逸結合，注意休息，別搞壞了身體，我們還有足夠的時間來成長！”