### 使用Python直接读取数据的方法 当不使用Spark时，可以通过多种方式利用Python直接读取不同来源的数据。以下是几种常见的方法及其适用场景： #### 1. **CSV 文件** 对于存储在本地或远程路径中的 CSV 数据文件，可以直接使用 `pandas` 库加载和处理数据。 ```python import pandas as pd # 加载本地 CSV 文件 df = pd.read_csv('path/to/file.csv') # 查看前几行数据 print(df.head()) ``` 这种方法适用于中小规模的数据集[^1]。 --- #### 2. **JSON 文件** 如果数据是以 JSON 格式存储，则可以借助 `json` 或 `pandas` 来解析和转换成结构化形式。 ```python import json import pandas as pd with open('data.json', 'r') as f: data = json.load(f) # 转换成 DataFrame df = pd.DataFrame(data) print(df.head()) ``` 此方案适合于半结构化的数据源[^2]。 --- #### 3. **数据库连接 (SQL)** 针对关系型数据库（如 MySQL、PostgreSQL），可采用 `sqlalchemy` 和 `pandas` 的组合完成查询与导入操作。 ```python from sqlalchemy import create_engine import pandas as pd engine = create_engine('mysql+pymysql://username:password@host/dbname') query = "SELECT * FROM your_table" df = pd.read_sql(query, engine) print(df.head()) ``` 上述代码片段展示了如何通过 SQL 查询语句获取表内容并将其映射至 Pandas DataFrame 中[^3]。 --- #### 4. **Elasticsearch 数据检索** 即使没有 Spark 支持的情况下，仍然能够依靠官方客户端 API 实现对 Elasticsearch 索引文档的访问。 ```python from elasticsearch import Elasticsearch import pandas as pd es = Elasticsearch(['http://localhost:9200']) res = es.search(index="your_index", body={"size": 1000}) hits = res['hits']['hits'] # 提取消息字段构建列表字典再转为 DF records = [{'id': hit['_id'], **hit['_source']} for hit in hits] df = pd.DataFrame(records) print(df.head()) ``` 这里说明了怎样手动设置请求参数并通过返回结果组装目标表格对象[^4]。 --- #### 5. **HDFS 上的大批量文件** 虽然提到不用 Spark ，但如果确实存在 Hadoop 分布式文件系统的环境下工作需求的话，那么也可以考虑调用 hdfscli 工具包来进行交互管理动作。 ```python from hdfs import InsecureClient import pandas as pd client = InsecureClient('http://namenode_address:port', user='hdfs_user') with client.read('/path/in/hdfs/data.csv', encoding='utf-8') as reader: df = pd.read_csv(reader) print(df.head()) ``` 这段脚本体现了从 HDFS 获取资源的具体流程[^5]。 --- ### 注意事项 每种技术选型都有其特定的应用范围以及性能瓶颈，在实际项目开发过程中需综合考量业务特性做出合理决策。