### Python 爬虫抓取多网页内容并保存到 Excel 按行排列 要实现使用 Python 抓取多个网页的内容并将结果按行排列存储到 Excel 文件中，可以采用以下方案。此过程主要分为三个部分：网页数据获取、数据整理以及将数据写入 Excel 文件。 --- #### 1. 网页数据获取 利用 `requests` 库发送 HTTP 请求以获取网页内容，并通过 `BeautifulSoup` 解析 HTML 文档提取所需的信息。 ```python import requests from bs4 import BeautifulSoup def fetch_web_content(urls): results = [] for url in urls: try: response = requests.get(url, timeout=10) # 设置超时时间为10秒 [^1] if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') content = extract_data(soup) # 自定义函数用于提取特定数据 results.append(content) else: results.append(f"Failed to retrieve {url}. Status code: {response.status_code}") except Exception as e: results.append(f"Error fetching {url}: {str(e)}") return results ``` 在此代码片段中，`fetch_web_content` 函数接收一个 URL 列表作为输入参数，依次访问这些网址并尝试从中提取有用信息。如果请求成功，则返回状态码为 200；否则记录失败原因 [^1]。 --- #### 2. 数据整理 假设我们希望从每个页面抽取一段文字或者某些标签内的具体内容，可以通过编写自定义函数来完成这一任务。 ```python def extract_data(soup): target_elements = soup.find_all('div', class_='example-class') # 替换为目标HTML结构对应的CSS选择器 [^3] extracted_texts = [element.get_text(strip=True) for element in target_elements] return ', '.join(extracted_texts) or "No relevant information found" ``` 这里展示了如何定位目标 HTML 元素并通过其内部文本构建最终字符串形式的结果。如果没有找到匹配项，默认返回提示消息 ["No relevant information found"] [^3]. --- #### 3. 将数据写入 Excel 文件 最后一步就是把这些收集来的数据存放到 Excel 工作簿当中去。推荐使用 `openpyxl` 这个库来进行这项工作因为它支持现代版 .xlsx 格式的文件操作。 ```python from openpyxl import Workbook def save_to_excel(data_list, filename="output.xlsx"): wb = Workbook() ws = wb.active header = ['URL', 'Content'] # 定义表头 ws.append(header) for idx, item in enumerate(data_list, start=1): # 添加序号列以便于查看顺序 row = [f'Website_{idx}', item] ws.append(row) wb.save(filename) print(f'Data successfully saved into "{filename}"') urls = [ "http://example.com/page1", "http://example.com/page2", # Add more URLs here... ] if __name__ == "__main__": contents = fetch_web_content(urls) save_to_excel(contents) ``` 上述脚本创建一个新的 Excel 文件 (`output.xlsx`) ，其中包含了来自各个指定站点的数据摘要 。每一条记录都对应单独的一行，并且按照预设格式布局好便于后续分析查阅 [^1]。 --- ### 注意事项 - **异常处理**: 在实际部署过程中应当充分考虑各种可能发生的错误情形比如网络连接中断等问题。 - **性能优化**: 对大规模爬取任务而言，同步阻塞式 I/O 可能成为瓶颈所在，此时可引入异步编程模型提高效率。 - **法律合规性**: 执行任何类型的自动化采集活动之前务必确认已获得相应授权或许可以免触犯法律法规 [^4]. ---