### 实现Python批量爬取网站文本内容 为了实现批量爬取网站上的文本内容，通常会采用`requests`库来发送HTTP请求以及`BeautifulSoup`库来进行HTML解析。下面是一个完整的流程说明和代码实例。 #### 使用Requests库发起网络请求 通过设置合适的URL地址与头部信息（如User-Agent），利用`get()`方法向目标服务器发出GET请求以获取页面源码[^1]。 ```python import requests url = 'http://example.com' header = { "User-Agent": "Mozilla/5.0" } response = requests.get(url=url, headers=header) response.encoding = 'utf-8' # 设置编码方式防止中文乱码 html_content = response.text ``` #### 利用BeautifulSoup解析网页结构 一旦获得了响应体内的HTML文档之后，则可借助于`BeautifulSoup`对象及其内置的方法定位到所需的数据节点位置，并从中抽取纯文本部分[^2]。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'lxml') text_data = soup.find('div', {'id': 'specific_id'}).get_text(strip=True) # 替换为实际标签属性 print(text_data) ``` #### 循环遍历多页或多篇文章链接列表 当面对多个独立但相似结构的子页面时，可以通过构建循环机制依次访问各个详情页并重复上述两步操作完成整个站点范围内特定类型资源的大规模采集工作[^3]。 ```python base_url = 'http://example.com/page={}' for page_num in range(start_page, end_page + 1): current_url = base_url.format(page_num) resp = requests.get(current_url, headers=header) resp.encoding = 'utf-8' soup = BeautifulSoup(resp.text, 'lxml') article_links = [] for link_tag in soup.select('.article-list a'): # CSS选择器需根据实际情况调整 href = link_tag['href'] full_link = f"http://example.com{href}" article_links.append(full_link) for each_article in article_links: detail_resp = requests.get(each_article, headers=header) detail_soup = BeautifulSoup(detail_resp.text, 'lxml') content_div = detail_soup.find('div', class_='content') or detail_soup.find('div', id='main-content') if not content_div: continue clean_text = '\n'.join([p.get_text() for p in content_div.find_all('p')]) with open(f"./articles/article_{each_article.split('/')[-1].replace('?','').strip()}.txt", mode="w+", encoding="utf-8") as file_handler: file_handler.write(clean_text) ``` 此段脚本展示了如何自动化地从一系列文章页面中提取正文内容并将其保存成单独文件的过程。需要注意的是，在真实环境中应当遵循robots协议尊重网站方设定的抓取频率限制以及其他条款规定[^4]。