### 使用 Python 结合 Milvus 向量数据库进行数据筛选的完整案例 以下是一个完整的案例，展示如何使用 Python 与 Milvus 向量数据库结合，完成数据筛选的任务。此案例包括创建集合、插入向量数据、构建索引以及执行相似度搜索等操作。 #### 1. 安装依赖库 在开始之前，请确保已安装 `pymilvus` 库，这是用于与 Milvus 数据库交互的官方 Python SDK。 ```bash pip install pymilvus ``` #### 2. 示例代码 以下代码展示了如何使用 Python 进行数据筛选： ```python from pymilvus import Collection, FieldSchema, CollectionSchema, DataType, connections, utility # 建立与 Milvus 的连接 connections.connect("default", host="localhost", port="19530") # 定义字段 fields = [ FieldSchema(name="id", dtype=DataType.INT64, is_primary=True, auto_id=True), FieldSchema(name="embedding", dtype=DataType.FLOAT_VECTOR, dim=128) ] # 创建集合模式 schema = CollectionSchema(fields, "示例集合") collection_name = "example_collection" # 如果集合已存在，则删除它 if utility.has_collection(collection_name): utility.drop_collection(collection_name) # 创建集合 collection = Collection(name=collection_name, schema=schema) # 插入数据 import random data = [ [random.randint(1, 100) for _ in range(128)] for _ in range(1000) # 生成 1000 条 128 维的随机向量 ] collection.insert([data]) # 构建索引 index_params = { "index_type": "IVF_FLAT", "params": {"nlist": 128}, "metric_type": "L2" } collection.create_index(field_name="embedding", index_params=index_params) collection.load() # 执行相似度搜索 search_params = { "metric_type": "L2", "params": {"nprobe": 10} } vectors_to_search = [[random.random() for _ in range(128)]] results = collection.search( data=vectors_to_search, anns_field="embedding", param=search_params, limit=5 ) # 输出结果 for result in results: print(result) ``` #### 3. 代码解析 - **连接数据库**：通过 `connections.connect` 方法建立与 Milvus 数据库的连接[^1]。 - **定义字段**：字段包括主键（`id`）和向量数据（`embedding`）。向量维度设置为 128。 - **创建集合**：集合是 Milvus 中存储向量数据的基本单位[^3]。 - **插入数据**：生成随机向量数据并插入集合中。 - **构建索引**：索引能够加速向量查询过程。这里使用了 `IVF_FLAT` 索引类型[^5]。 - **执行搜索**：通过 `search` 方法对目标向量进行相似度搜索，并返回最接近的 5 条记录[^4]。 #### 4. 注意事项 - 在实际应用中，可以根据业务需求调整索引参数（如 `nlist` 和 `nprobe`），以平衡查询速度与精度。 - 数据筛选可能涉及多条件过滤，例如根据标签或时间戳筛选向量数据[^2]。