### 咸鱼数据爬取与预处理教程 #### 1. 数据爬取 为了从闲鱼网站抓取数据，可以使用 `requests` 和 `BeautifulSoup` 库来完成网页请求和解析的任务。需要注意的是，在实际操作前应了解目标网站的robots.txt文件以及其服务条款，确保行为合法合规。 以下是基本的数据获取流程： ```python import requests from bs4 import BeautifulSoup url = "https://www.xianyu.com/example" # 替换为目标URL headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, "html.parser") else: print(f"Failed to retrieve the webpage with status code {response.status_code}") ``` 此代码片段展示了如何发送HTTP GET 请求并解析返回的内容[^1]。 #### 2. 数据提取 一旦成功获取到HTML文档后，就可以利用XPath 或 CSS选择器定位所需的信息节点。例如，假设我们要收集商品名称及其价格，则可能需要如下方式实现： ```python items = soup.find_all("div", class_="item-class-name") # 修改为具体标签名及属性值 for item in items[:10]: # 取前十个作为例子展示 title = item.find("h2").get_text().strip() price_tag = item.select_one(".price-tag") if price_tag is not None: price = price_tag.get_text().replace("¥","").strip() else: price = "N/A" print({"title": title, "price": price}) ``` 这里采用了更灵活的选择方法以适应不同结构页面中的元素位置变化情况[^4]。 #### 3. 数据清理与转换 原始抓取得来的字符串往往含有不必要的字符或格式错误等问题，所以接下来就是对其进行必要的清洗工作。比如去除货币符号、统一日期表达形式等等。 下面给出一段针对数值字段做标准化的例子： ```python def clean_price(price_str): try: cleaned_value = float(re.sub(r'[^\d.]','', price_str)) except ValueError as e: cleaned_value = np.nan return cleaned_value df['cleaned_prices'] = df['raw_prices'].apply(clean_price) print(df[['titles','cleaned_prices']].head()) ``` 对于时间戳之类的特殊类型也可能需要用到类似的函数来进行调整[^3]。 #### 4. 存储结果 最后一步便是保存整理后的资料至本地硬盘或者其他数据库系统里去以便后续分析之用。CSV是最常见的存储媒介之一因为它易于读写而且兼容性强。 ```python output_path = "./output/xianyu_data.csv" df.to_csv(output_path,index=False,encoding='utf-8-sig') print(f"Data has been saved successfully at path:{output_path}.") ``` 以上即完成了整个过程概述[^1]。 ---