### 如何生成或导出 `.arrow` 文件 `.arrow` 文件是一种基于 Apache Arrow 的二进制文件格式，通常用于高效存储和传输结构化数据。以下是关于如何创建或输出 `.arrow` 文件的具体方法。 #### 使用 Python 和 `pyarrow` 库 Apache Arrow 提供了官方的 Python 绑定库——`pyarrow`，可以用来读写 `.arrow` 文件。下面是一个完整的代码示例： ```python import pyarrow as pa import pyarrow.parquet as pq from pyarrow import feather # 创建一个简单的表 data = [ pa.array([1, 2, 3, 4]), pa.array(['foo', 'bar', 'baz', None]) ] table = pa.Table.from_arrays(data, names=['ints', 'strs']) # 导出到 .arrow 文件 sink_path = "example.arrow" with pa.OSFile(sink_path, 'wb') as sink: with pa.RecordBatchFileWriter(sink, table.schema) as writer: writer.write_table(table) print(f".arrow 文件已成功保存至 {sink_path}") ``` 上述代码展示了如何通过 `pa.RecordBatchFileWriter` 将一张表格写入 `.arrow` 文件[^1]。 --- #### 使用 Hugging Face Datasets 转换为 `.arrow` 文件 如果正在使用 Hugging Face 的 `datasets` 库加载数据集，则可以直接将其保存为 `.arrow` 格式的文件。以下是一段示例代码： ```python from datasets import load_dataset # 加载 AllenAI Tulu 数据集 dataset = load_dataset("allenai/tulu-3-sft-mixture") # 指定保存路径 output_dir = "./tulu-arrow" # 遍历所有划分并保存为 .arrow 文件 for split_name, split_data in dataset.items(): arrow_file_path = f"{output_dir}/{split_name}.arrow" split_data.to_arrow().write(arrow_file_path) print(f"Split '{split_name}' 已保存为 {arrow_file_path}") ``` 此代码片段利用了 `to_arrow()` 方法将数据集转换为 Arrow 表格对象，并进一步调用其 `write()` 函数完成文件保存[^3]。 --- #### 关于 Arrow IPC 格式的消息序列化机制 需要注意的是，在某些情况下可能涉及 Arrow IPC（Inter Process Communication）协议来传递数据流而非静态文件形式。IPC 协议内部依赖 FlatBuffers 技术实现高效的元数据序列化过程[^2]。不过对于常规的应用场景来说，直接操作 `.arrow` 文件已经能够满足大多数需求。 --- ### 总结 无论是借助纯 PyArrow API 手动构建记录批次还是依托第三方工具链如 Hugging Face Datasets 自动处理复杂流程，都可以轻松达成生成/导出 `.arrow` 文件的目标。