全球首個(gè)GPU加速向量數(shù)據(jù)庫(kù)誕生 這家中國(guó)公司聯(lián)手英偉達(dá)推出
原創(chuàng)
2024-03-22 11:06 星期五
科創(chuàng)板日?qǐng)?bào) 宋子喬
①向量數(shù)據(jù)庫(kù)被視作開(kāi)發(fā)和應(yīng)用AI大模型過(guò)程中的必備的軟件基礎(chǔ)設(shè)施;
②未來(lái)隨著生成式AI大模型開(kāi)發(fā)量和使用量的增長(zhǎng),向量數(shù)據(jù)庫(kù)的應(yīng)用有望快速增長(zhǎng);③目前在商業(yè)化方面,向量數(shù)據(jù)庫(kù)行業(yè)還處于市場(chǎng)培育期。

《科創(chuàng)板日?qǐng)?bào)》3月22日訊(編輯 宋子喬) 向量數(shù)據(jù)庫(kù)開(kāi)拓者與GUP王者聯(lián)手會(huì)擦出什么樣的火花?

在GTC2024大會(huì)上,英偉達(dá)宣布全球首個(gè)GPU加速向量數(shù)據(jù)庫(kù)誕生——中國(guó)公司Zilliz與英偉達(dá)攜手發(fā)布了Milvus2.4版本。

向量數(shù)據(jù)庫(kù)是一種專(zhuān)門(mén)用于處理向量數(shù)據(jù)的數(shù)據(jù)庫(kù)系統(tǒng),這類(lèi)數(shù)據(jù)通常用于機(jī)器學(xué)習(xí)和人工智能應(yīng)用中,如推薦系統(tǒng)、圖像識(shí)別和自然語(yǔ)言處理等。GPU(圖形處理單元)因其并行處理能力而成為加速?gòu)?fù)雜計(jì)算任務(wù)的理想選擇,尤其是在處理大量數(shù)據(jù)時(shí)。

英偉達(dá)在GPU領(lǐng)域的地位不用多說(shuō),Zilliz的全稱(chēng)是上海徐毓智能科技有限公司,是誕生于中國(guó)本土的初創(chuàng)公司,成立于2016年,總部位于上海。在向量數(shù)據(jù)庫(kù)系統(tǒng)領(lǐng)域,Zilliz是開(kāi)拓者,研發(fā)了面向AI生產(chǎn)系統(tǒng)的向量數(shù)據(jù)庫(kù)系統(tǒng)。其技術(shù)和產(chǎn)品已經(jīng)被全球超過(guò)1000家企業(yè)采用。

Milvus是Zilliz的主要產(chǎn)品,它提供了一個(gè)易于使用的界面,允許開(kāi)發(fā)者和數(shù)據(jù)科學(xué)家快速部署和擴(kuò)展向量搜索服務(wù)。該產(chǎn)品以其高性能和可擴(kuò)展性而聞名,能夠處理海量的向量數(shù)據(jù),并提供毫秒級(jí)的查詢(xún)響應(yīng)時(shí)間,還支持多種編程語(yǔ)言的API,包括Python、Java、Go和C++。

Milvus2.4版本向量數(shù)據(jù)庫(kù)的創(chuàng)新點(diǎn)在于,利用GPU的高速計(jì)算特性,能夠快速執(zhí)行向量相似性搜索和分析,支持更高的并發(fā)用戶(hù)請(qǐng)求,同時(shí)降低延遲,提供更快的響應(yīng)時(shí)間,使其成為支持實(shí)時(shí)決策和復(fù)雜數(shù)據(jù)分析的理想工具。

據(jù)介紹,它在業(yè)界首次采用了英偉達(dá)GPU的高效并行處理能力和RAPIDS cuVS庫(kù)中新推出的CAGRA(CUDA-Accelerated Graph Index for Vector Retrieval)技術(shù),提供基于GPU的向量索引和搜索加速能力?;鶞?zhǔn)測(cè)試顯示,與目前市面上最先進(jìn)的基于CPU處理器的索引技術(shù)相比,新版GPU加速M(fèi)ilvus能提供高達(dá)50倍的向量搜索性能提升。

▌向量數(shù)據(jù)庫(kù)——開(kāi)發(fā)AI大模型的必備軟件

向量數(shù)據(jù)庫(kù)是專(zhuān)門(mén)用于存儲(chǔ)和管理向量數(shù)據(jù),其具備的快速檢索、混合存儲(chǔ)、向量嵌入等能力很好的解決了AI大模型技術(shù)中普遍存在的知識(shí)時(shí)效性低、輸入能力有限、回答問(wèn)題準(zhǔn)確度低等問(wèn)題,因此被視作開(kāi)發(fā)和應(yīng)用AI大模型過(guò)程中的必備的軟件基礎(chǔ)設(shè)施。

從實(shí)際應(yīng)用案例來(lái)看,向量數(shù)據(jù)庫(kù)在AI大模型的訓(xùn)練和推理過(guò)程中降本增效的效果已有所顯現(xiàn)。ChatGPT Plugins外接向量數(shù)據(jù)庫(kù),不僅大大拓展了AI大模型交互信息的范圍,還保護(hù)了用戶(hù)隱私。Qdrant向量數(shù)據(jù)庫(kù)與Pienso合作,已經(jīng)實(shí)現(xiàn)在開(kāi)源AI大模型的基礎(chǔ)上開(kāi)發(fā)私域大模型。

廣發(fā)證券認(rèn)為,在過(guò)去AI模型訓(xùn)練的數(shù)據(jù)量較小、數(shù)據(jù)類(lèi)型單一的情況下,向量數(shù)據(jù)庫(kù)可應(yīng)用的場(chǎng)景較小。自2017年Transformer模型推出后,各科技廠商開(kāi)始大語(yǔ)言模型的探索,對(duì)于向量數(shù)據(jù)庫(kù)的需求才開(kāi)始形成規(guī)模。隨著微軟365Copilot以及ChatGPT企業(yè)版等標(biāo)桿產(chǎn)品的落地,AI應(yīng)用的發(fā)展正逐步由點(diǎn)擴(kuò)散到面,未來(lái)隨著生成式AI大模型開(kāi)發(fā)量和使用量的增長(zhǎng),向量數(shù)據(jù)庫(kù)的應(yīng)用有望快速增長(zhǎng)。

目前在商業(yè)化方面,向量數(shù)據(jù)庫(kù)行業(yè)還處于市場(chǎng)培育期,Zilliz、Pinecone和騰訊云均推出免費(fèi)版本的產(chǎn)品給用戶(hù)試用。以華為云和星環(huán)科技為代表的廠商在非結(jié)構(gòu)化數(shù)據(jù)處理具有一定技術(shù)積累的基礎(chǔ)上,也相繼推出了向量數(shù)據(jù)庫(kù)產(chǎn)品。

其中,星環(huán)科技是國(guó)內(nèi)第一批進(jìn)入向量數(shù)據(jù)庫(kù)領(lǐng)域的公司,已經(jīng)與英特爾聯(lián)合發(fā)布向量數(shù)據(jù)庫(kù)解決方案。

收藏
119.86W
我要評(píng)論
歡迎您發(fā)表有價(jià)值的評(píng)論,發(fā)布廣告和不和諧的評(píng)論都將會(huì)被刪除,您的賬號(hào)將禁止評(píng)論。
發(fā)表評(píng)論
要聞
股市
關(guān)聯(lián)話(huà)題
1.54W 人關(guān)注
4.25W 人關(guān)注
8.55W 人關(guān)注
7511 人關(guān)注
2.4W 人關(guān)注