亞馬遜AWS曾在去年9月宣布,將OpenSearch開(kāi)源搜索與分析套件項(xiàng)目轉(zhuǎn)交給Linux基金會(huì)旗下的OpenSearch軟件基金會(huì),此舉標(biāo)志著該項(xiàng)目正式進(jìn)入社區(qū)開(kāi)放主導(dǎo)治理的新階段。盡管項(xiàng)目的管理權(quán)發(fā)生了變動(dòng),但OpenSearch依然在GitHub平臺(tái)上得到精心維護(hù),并繼續(xù)沿用Apache 2.0許可協(xié)議。
近日,OpenSearch項(xiàng)目迎來(lái)了其3.0版本的正式發(fā)布,這是自項(xiàng)目移交以來(lái)首個(gè)具有里程碑意義的版本更新。新版本在搜索性能、數(shù)據(jù)傳輸效率等多個(gè)方面實(shí)現(xiàn)了全面升級(jí),并且引入了備受期待的“向量搜索”功能。
在性能優(yōu)化方面,OpenSearch 3.0版本的表現(xiàn)尤為亮眼。與2.19版本相比,新版本在多項(xiàng)查詢(xún)操作中的平均性能提升了20%;而與1.3版本相比,性能提升更是達(dá)到了驚人的9.5倍。這一顯著的性能提升得益于底層索引引擎的升級(jí),即Apache Lucene 10的引入。新版本在向量字段索引、稀疏數(shù)據(jù)處理與壓縮機(jī)制等方面進(jìn)行了優(yōu)化,從而大幅提升了查詢(xún)與存儲(chǔ)的效率。
除了性能提升外,OpenSearch 3.0版本還新增了“向量搜索”功能,這一功能此前一直處于實(shí)驗(yàn)階段。現(xiàn)在,“派生向量(Derived Source)”機(jī)制已經(jīng)正式上線(xiàn),它允許系統(tǒng)在不保存原始向量數(shù)據(jù)的情況下,在查詢(xún)時(shí)動(dòng)態(tài)獲取向量值。這一機(jī)制不僅降低了存儲(chǔ)成本,還提升了冷啟動(dòng)查詢(xún)的響應(yīng)效率,查詢(xún)延遲最多可降低30倍,并且支持多種向量引擎。
OpenSearch 3.0版本還加入了GPU加速索引構(gòu)建功能,該功能能夠顯著提升向量數(shù)據(jù)索引的構(gòu)建速度,據(jù)稱(chēng)速度提升超過(guò)9倍。這一功能特別適用于高頻率向量處理場(chǎng)景,為開(kāi)發(fā)者提供了更加高效的處理手段。同時(shí),新發(fā)布的Explain API也為開(kāi)發(fā)者提供了深入了解向量查詢(xún)?cè)u(píng)分邏輯的機(jī)會(huì),使他們能夠更準(zhǔn)確地掌握相似度計(jì)算和排序的依據(jù)。