OPPO对向量检索的探索：从单机到分布式的华丽转身
在当今这个数据爆炸的时代，如何高效地存储、检索和分析数据，成为了企业面临的一大挑战。特别是在人工智能领域，向量数据的处理更是占据了举足轻重的地位。OPPO，作为全球知名的智能手机制造商，自然也不会放过这个技术风口。他们在对向量检索的探索中，经历了从单机到分布式的转变，为业界提供了宝贵的经验和启示。
一、业务初期的单机解决方案
在OPPO的业务初期，由于数据量相对较小，使用场景也较为简单，因此他们选择了本地文件存储和内存检索的方案。这种方案的优势在于简单直接，能够快速满足业务需求。配合上HNSW、Faiss等开源库，OPPO在向量检索方面取得了不错的效果。
然而，随着业务的快速增长，这种单机解决方案很快就暴露出了种种问题。首先，数据容量的限制使得单个服务节点的内存无法承载全量向量数据，导致检索效率下降。其次，单机性能无法满足日益增长的查询需求，用户体验受到严重影响。再者，数据持久化问题也愈发凸显，数据从加载到内存到生命周期结束后释放，没有得到很好的持久化存储，一旦出现故障，数据恢复将变得异常困难。最后，文件管理也成为了一个棘手的问题，数据、索引等文件难以被统一管理，给运维工作带来了极大的不便。
二、向分布式向量检索的演进
面对单机解决方案的种种问题，OPPO开始探索分布式向量检索的解决方案。他们提出了数据分片和服务发现两个核心思想，并在此基础上设计并实践了一套分布式向量检索服务。
数据分片
数据分片是分布式系统中常用的技术手段之一。OPPO将向量数据根据某一规则进行切分&