搜索引擎核心技術(shù)的演進(jìn)

申請免費(fèi)試用、咨詢電話：400-8352-114

● 上個世紀(jì)70年代，著名的信息檢索專家Gerald Salton提出了向量空間模型（Vector Space Model），從此，文本檢索引入了倒排索引（Inverted index）以及向量空間模型。另外，他還創(chuàng)立了基于貝葉斯統(tǒng)計（Bayesian statistics）的布爾方法（Boolean retrieval method）和簡單概率獲取模型（Simple probabilistic retrieval models）。雖然已經(jīng)經(jīng)過了近30年的歷史，這些技術(shù)至今仍然構(gòu)成當(dāng)今信息檢索系統(tǒng)以及互聯(lián)網(wǎng)搜索引擎的理論基礎(chǔ)。

● 上個世紀(jì)80年代，在新的人工智能技術(shù)的發(fā)展同時，產(chǎn)生了一些模擬專業(yè)文獻(xiàn)搜集者和領(lǐng)域?qū)＜业膶＜蚁到y(tǒng)。使用了對用戶建模以及自然語言處理等技術(shù)來輔助對于用戶和文檔的表示。并且產(chǎn)生了一些供研究用的原型系統(tǒng)。

● 上個世紀(jì)90年代初期，當(dāng)研究者們認(rèn)識到了創(chuàng)建領(lǐng)域知識庫的困難之后，試圖采用新的機(jī)器學(xué)習(xí)技術(shù)用于信息分析。這些技術(shù)包括神經(jīng)網(wǎng)絡(luò)、遺傳算法、符號學(xué)習(xí)等。概念語義空間技術(shù)就是在這個年代提出的，但當(dāng)時處于初步研究探索階段。

● 上個世紀(jì)90年代中期之后，隨著搜索引擎的普及以及網(wǎng)絡(luò)Spider（蜘蛛程序）超鏈分析等技術(shù)的發(fā)展，文本檢索系統(tǒng)已經(jīng)成為更新的并且更強(qiáng)大的用于網(wǎng)絡(luò)內(nèi)容的搜索工具。概念語義空間技術(shù)的研究取得突破，并在美國的數(shù)字圖書館領(lǐng)域得到應(yīng)用。

● 在過去10來年，統(tǒng)計學(xué)習(xí)方法改變了手工建立語法和知識庫以及文本目錄索引的狀況，通過對大量已標(biāo)注的和未標(biāo)注的自然語料的訓(xùn)練可以部分或全部自動地完成上述過程。 (ccw)