### Python 爬虫实战项目案例 #### 项目描述 此项目旨在利用Python编写一个网络爬虫，该爬虫可以访问并解析特定电商网站的商品列表页。具体来说，目标是从京东商城获取手机类目的产品详情，包括但不限于名称、价格等重要参数，并将这些数据存储至本地XML文件中以便后续处理或展示[^4]。 #### 技术要点 - **异步加载内容处理**：由于现代Web应用程序广泛采用AJAX技术实现部分页面更新而不刷新整个页面的功能，在构建此类爬虫时需特别注意如何有效地模拟真实用户的浏览行为以触发服务器端返回所需的数据片段；这通常涉及到使用像Selenium这样的自动化测试框架配合无头浏览器(如PhantomJS)来执行JavaScript代码从而获得完整的DOM树结构[^2]。 - **XPath/CSS Selector表达式运用**：为了精准定位HTML文档中的各个元素节点，掌握XPath语法或是CSS Selectors对于提高信息抽取效率至关重要。它们允许开发者指定复杂的查询条件用于筛选出符合条件的目标标签及其属性值[^3]。 - **异常情况应对机制设计**：考虑到互联网环境复杂多变以及第三方API接口可能存在的不稳定因素，合理规划错误捕捉逻辑可以帮助程序更好地适应不同场景下的运行状况，比如设置重试次数上限、超时等待时间等措施确保即使遇到临时性障碍也能顺利完成既定任务[^1]。 ```python from selenium import webdriver import time from lxml import etree def get_product_info(url): driver = webdriver.PhantomJS(executable_path='/usr/local/bin/phantomjs') try: driver.get(url) time.sleep(3) html_content = driver.page_source selector = etree.HTML(html_content) items = [] for item in selector.xpath('//li[@class="gl-item"]'): name = ''.join(item.xpath('.//div[@class="p-name"]/a/em/text()')).strip() price = item.xpath('.//div[@class="p-price"]/strong/i/text()')[0] items.append({ 'name': name, 'price': float(price), }) return items finally: driver.quit() if __name__ == '__main__': url = "https://list.jd.com/list.html?cat=9987,653,655" products = get_product_info(url) with open('jd_phone_list.xml', mode='w+', encoding='utf-8') as f: xml_str = '<products>\n' for product in products: xml_str += '\t<product>\n\t\t<name>{}</name>\n\t\t<price>{:.2f}</price>\n\t</product>\n'.format( product['name'], product['price']) xml_str += '</products>' f.write(xml_str) ```