GPT-4o 引领人机交互新风向，向量数据库赛道沸腾了

　　OpenAI 发布 ChatGPT-4o，意味着人机交互进入新的时代。Chat-GPT4o 是一个跨文本、视觉和音频端到端训练的新模型，所有输入和输出都由同一个神经网络处理。这也在告诉所有人，GenAI 连接非结构化数据，非结构化数据之间跨模态的交互正在变得越来越容易。
$ g; Y; B8 t  D7 f
4 I! j) y( _# v( X9 \6 s
; t- H, h! C5 u9 J　　据 IDC 预测，到 2025 年，全球数据总量中将有超过 80% 的数据是非结构化数据，而向量数据库是处理非结构化数据的重要组件。回顾向量数据库的历史，2019 年，Zilliz 首次推出了 Milvus，提出了向量数据库的概念。2023 大语言模型（LLM）的爆火，将向量数据库正式从幕后被推到了台前，国内的 向量数据库也因此赶上了发展的快速列车。

1 k! r$ s, o; _; I9 Q& O' I
; v' u; R7 ], o' [　　技术的发展方向一定是跟随了产品的变化趋势，而后者则是由需求来决定。因此，顺着用户需求变化的脉络能帮我们找到技术变化的方向和目的。随着 AI 技术的日趋成熟，向量数据库的使用也逐渐从实验走到生产，从辅助产品走到主力产品，从小规模应用到大面积铺开。这产生大量不同的场景和问题，也同时推动了解决这些问题的相应技术。下面我们从成本和业务需求两个方面来展开讲述。
6 b8 g8 _- ^- S9 H  k8 D6 S
) w8 a1 d" @- Z
. k: v# I3 x8 I2 U1 [; Q　　01.成本


　　AIGC 时代对于冷热储存的呼唤
% y/ j6 M6 l" U! Q& A9 _, G
2 y- }7 S* o1 s  ?4 x' k
　　成本一直是向量数据库获得更广泛使用的最大阻碍之一，这个成本来自两点：
# ]' A, M4 f/ g, T/ ^7 e
" S& b) ]7 {" _* \* w# G
/ @. ^6 s: v$ `) t　　储存，绝大多数向量数据库为了保证低延迟，需要把数据全量缓存到内存或者本地磁盘。在这个动辄百亿量级的AI 时代，意味着几十上百 TB 的资源消耗。
6 w- Q' [* l, s; I( F+ V; Z( U. x8 Y
% C$ V5 g* i; _
　　计算，数据需要划分成许多小片段来满足工程上分布式支持大规模数据集的需求。对于每个分片需要单独检索再做规避，带来了较大的查询计算放大问题。百亿级的数据如果按 10G 分片的话，会有一万个分片，也就意味着计算放大了一万倍。
/ c0 G' a" n( P

( s* }; }) M0 N8 x% O% m  @% H$ T, |　　而在 AIGC 带来的 RAG 浪潮中，单个 RAG 用户（或者是 ToC 平台的单个 tenant）对于延迟的敏感度都极低。原因是相较于向量数据库几毫秒到几百毫秒的延迟，作为链路核心的大模型的延迟普遍超过秒级。加之云端对象储存的成本远远低于本地磁盘和内存，人们越来越需要一种技术，可以：


: d- B2 G- Y8 S　　从储存上来看，在查询的时候数据放置在最便宜的云端对象作为冷存储，需要的时候加载到节点，转化为热储存提供查询。


) v5 |# w# a" r7 Z　　从计算上来看，把每个查询需要的数据提前缩小范围，不用扩大到全局数据，保证热储存不会被击穿。
- `. H  a, A" h3 C% e6 k& T5 J: s$ U

　　这种技术可以帮助用户在可接受的延迟下极大地缩减成本，也是我们 Zilliz Cloud （https://zilliz.com.cn/cloud）最近正准备推出的方案。

$ i( S5 B( ]8 n; n4 t. c
- g$ R4 i& o6 A2 M. }8 P2 j" p　　硬件迭代带来的机遇

, i* t. b# x# P$ X
　　硬件的是一切的基础，硬件的发展也直接决定了向量数据库技术发展的方向。如何去适配和在不同场景下利用这些硬件就成了一个很重要的发展方向。
& h* [' t/ E* B( y2 c5 t7 z: d! s
* y, Z& t1 U4 g) f6 m5 r$ L: H6 g
　　高性价比的 GPU
$ }% h9 d3 c* ^4 l- S/ {

& ?/ }/ ?2 Y/ Q( p' B　　向量检索是一个计算密集型的应用，这两年使用 GPU 进行计算加速的研究也越来越多。与昂贵的刻板印象相反的是，由于算法层面的逐渐成熟，加之向量检索场景适合内存延迟较低的且价格较为便宜的推理卡，基于 GPU 的向量检索展现出了出色的性价比。