### 使用Python编写的网络爬虫脚本示例及教程 #### 一、简介 网络爬虫是一种程序，可以自动访问互联网上的网页，并从中提取数据。它通常按照一定的规则来遍历网页，查找和抓取感兴趣的信息[^1]。 #### 二、所需库安装 为了实现这一目标，在此介绍几个常用的 Python 库： - `requests`：用于发送 HTTP 请求； - `BeautifulSoup` 或者 `lxml` ：解析 HTML 文档； - `pandas` 和/或 `openpyxl`: 将获取的数据保存至 Excel 文件中； 可以通过 pip 安装这些包： ```bash pip install requests beautifulsoup4 pandas openpyxl lxml ``` #### 三、基础代码实例 下面是一个简单的例子，展示如何利用上述提到的技术栈创建一个基本的 Web Scraper 来从指定 URL 中抽取信息并将其导出为 CSV 文件格式。 ```python import requests from bs4 import BeautifulSoup as soup import pandas as pd def fetch_page(url): response = requests.get(url) page_content = response.text return page_content def parse_html(html_doc): parsed_data = [] # 创建 Soup 对象 html_soup = soup(html_doc, 'html.parser') items = html_soup.find_all('div', class_='item') # 假设我们要找的是 div.item for item in items: title_element = item.select_one('.title').text.strip() description_element = item.select_one('.description').text.strip() if item.select_one('.description') else '' record = { "Title": title_element, "Description": description_element } parsed_data.append(record) return parsed_data if __name__ == '__main__': target_url = input("请输入要爬取的目标网址:") content = fetch_page(target_url) data_records = parse_html(content) df = pd.DataFrame(data_records) output_file_path = './output.xlsx' df.to_excel(output_file_path, index=False) print(f'已成功将数据保存到了 {output_file_path}') ``` 这段代码实现了如下功能： - 发送 GET 请求给定页面链接。 - 解析返回的内容，寻找所有具有特定 CSS 类名 (`class="item"`) 的 `<div>` 标签。 - 提取出每个项目的标题以及描述文字（如果存在），并将它们整理成字典形式存入列表里。 - 利用 Pandas DataFrame 结构化处理后的记录集合，并最终把结果输出到本地磁盘上的 Excel 表格文件当中去。 请注意，实际应用时还需要考虑更多细节问题，比如异常情况下的错误处理机制、反爬策略应对措施等[^2]。