### 实现Python爬虫抓取猫眼电影数据并存入MySQL数据库 为了完成这个目标，需要构建两个部分的功能：一是利用`requests`库获取网页内容；二是使用`pymysql`库将提取的信息保存至MySQL数据库。 #### 获取网页内容 首先定义函数用于发送HTTP请求来获得页面HTML源码。考虑到反爬机制的存在，在发起请求时应设置合理的User-Agent以及可能的其他headers字段模拟浏览器行为[^1]。 ```python import requests def get_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code == 200: return response.text else: return None ``` #### 解析网页内容 接着要解析返回的HTML文档以抽取所需信息。这里假设已经知道具体的目标元素位置，则可以直接采用正则表达式或者更推荐的方式——借助BeautifulSoup或lxml这类专门处理XML/HTML结构化数据的第三方库来进行DOM树遍历操作。 ```python from bs4 import BeautifulSoup def parse_html(html_content): soup = BeautifulSoup(html_content,'html.parser') items = [] # 假设我们关注的是每部影片的名字、主演和上映年份 for tag in soup.find_all('div', class_='movie-item-info'): name = tag.select_one('.name').get_text(strip=True) star = tag.select_one('.star').get_text(strip=True).split()[0] releasetime = tag.select_one('.releasetime').get_text(strip=True) item = {'name': name, 'star': star, 'releasetime': releasetime} items.append(item) return items ``` #### 连接MySQL数据库并插入记录 最后一步就是建立与本地安装好的MySQL服务器之间的连接，并执行SQL语句向表内添加新纪录。注意这里的异常捕获逻辑是为了确保即使遇到错误也能保持事务的一致性和完整性[^2]。 ```python import pymysql.cursors def save_to_db(data_list): connection = pymysql.connect( host='localhost', user='root', passwd='', database='maoyan', charset='utf8mb4', cursorclass=pymysql.cursors.DictCursor ) with connection.cursor() as cursor: insert_sql = """ INSERT INTO films(name, star, release_time) VALUES (%s,%s,%s); """ try: for data_item in data_list: cursor.execute(insert_sql,(data_item['name'],data_item['star'],data_item['releasetime'])) connection.commit() except Exception as e: print(f"An error occurred while inserting records:{e}") connection.rollback() finally: connection.close() ``` 上述代码片段展示了如何创建一个简单的Python应用程序去访问猫眼电影网站上的公开资源，并将其转换成结构化的形式存储起来以便后续查询分析。当然实际应用中还需要考虑更多细节比如分页加载、动态加载的内容等等[^4]。