### 使用Python爬虫进行食谱数据的采集、分析及可视化 #### 数据采集 通过Python爬虫可以高效地从网络上抓取大量美食菜谱的相关信息。通常情况下，会使用`requests`库发送HTTP请求并获取网页内容，再借助`BeautifulSoup`或`lxml`解析HTML结构提取所需数据[^4]。 ```python import requests from bs4 import BeautifulSoup def fetch_recipe_data(url): headers = {'User-Agent': 'Mozilla/5.0'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') recipes = [] for item in soup.find_all('div', class_='recipe'): title = item.find('h2').text.strip() ingredients = [i.text.strip() for i in item.select('.ingredients li')] steps = [s.text.strip() for s in item.select('.steps ol li')] recipe = { "title": title, "ingredients": ingredients, "steps": steps } recipes.append(recipe) return recipes ``` 上述代码展示了如何定义一个函数用于从指定URL中抓取食谱名称、材料列表以及制作步骤等内容。 #### 数据存储 为了长期保存所收集到的数据，在完成初步处理之后应将其存入数据库中以便后续查询与操作。这里可以选择关系型数据库如MySQL或者非关系型数据库MongoDB作为后台支持[^1]。 对于采用SQL语句管理的关系型数据库而言： ```sql CREATE TABLE Recipes ( id INT AUTO_INCREMENT PRIMARY KEY, title VARCHAR(255), ingredients TEXT, steps TEXT ); INSERT INTO Recipes (title, ingredients, steps) VALUES (%s, %s, %s); ``` 这段SQL脚本创建了一个名为Recipes的新表，并提供了插入记录的方法。 #### 数据清洗与预处理 原始数据可能包含噪声或不一致之处，因此需要对其进行清理和标准化处理才能进一步开展统计学研究或其他形式的信息挖掘工作。Pandas是一个非常适合执行这类任务的强大工具包[^3]。 ```python import pandas as pd df = pd.DataFrame(recipes) # 删除重复项 df.drop_duplicates(inplace=True) # 统一单位转换 def convert_units(x): if isinstance(x, str): x = x.replace("克", "").replace("g", "") try: return float(x) except ValueError: return None df['weight'] = df['ingredients'].apply(lambda ingreds: sum([convert_units(i.split()[0]) for i in ingreds])) ``` 以上片段演示了怎样运用pandas DataFrame对象去除冗余条目并将某些字段内的计量数值统一起来。 #### 数据分析 当准备好干净整齐的数据集后就可以着手探索其中隐藏的趋势规律啦！SciPy 和 NumPy 提供了许多科学计算方面的功能模块；Matplotlib 则擅长绘制二维图形图表；Seaborn 构建于 Matplotlib 之上增加了更多高级绘图选项[^2]。 例如我们可以画出每种食材平均用量柱状图如下所示: ```python import matplotlib.pyplot as plt import seaborn as sns plt.figure(figsize=(10,8)) sns.barplot(data=df.melt(value_vars=['ingredient_1_weight','ingredient_2_weight']), y='value', estimator=sum) plt.title('Average Ingredient Usage Per Recipe') plt.show() ``` #### 数据可视化 最后一步就是把研究成果直观形象地展现出来给观众看咯~ ECharts 是一款非常优秀的开源 JavaScript 图形库，它可以轻松生成交互式的动态效果极佳的各种类型的图表图像文件. 假设我们想做一个饼图表示各类菜肴的比例分布情况的话可以用下面这种方式来做： ```javascript option = { series : [ { name:'Types', type:'pie', radius : ['50%', '70%'], data:[ {value:335, name:'Chinese'}, {value:310, name:'Western'}, ... ] } ] }; myChart.setOption(option); ```