### Ubuntu 系统中使用 PyCharm 进行数据爬取的前置准备工作 在 Ubuntu 系统中，使用 PyCharm 进行数据爬取需要完成一系列的前置准备工作。这些准备工作包括安装必要的软件、配置开发环境以及确保工具链的正确性。 #### 1. 安装 MySQL 数据库 为了支持数据存储和管理，首先需要安装 MySQL 数据库及其相关组件。执行以下命令以完成安装： ```bash sudo apt-get install mysql-server sudo apt install mysql-client sudo apt install libmysqlclient-dev ``` 这三条命令分别用于安装 MySQL 服务器[^1]、MySQL 客户端以及 MySQL 的开发库[^1]。 #### 2. 安装 Python 和相关依赖 确保系统中已安装 Python 3，并通过以下命令安装常用的数据科学库： ```bash sudo apt-get install python3-pip pip3 install numpy scipy matplotlib pandas sympy nose ``` 上述命令将安装 NumPy、SciPy、Matplotlib、Pandas 等常用的 Python 数据科学库[^2]。此外，还需安装 Scrapy 和 Redis 相关的依赖： ```bash pip3 install scrapy redis scrapy-redis ``` Scrapy 是一个强大的爬虫框架，而 `scrapy-redis` 则用于实现分布式爬虫功能[^3]。 #### 3. 配置 PyCharm 开发环境 下载并安装 PyCharm 社区版或专业版。在 PyCharm 中创建一个新的项目，并设置 Python 解释器为系统中的 Python 3 版本。确保项目中包含以下依赖项： - `scrapy` - `redis` - `scrapy-redis` 在 PyCharm 中配置虚拟环境（如果需要），并通过 `custom_setting` 自定义每个 Spider 的设置[^4]。例如，在爬虫项目的 `settings.py` 文件中添加如下内容： ```python # 启用 scrapy-redis 的调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 去重类 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" # Redis 连接信息 REDIS_URL = 'redis://localhost:6379' ``` #### 4. 测试分布式爬虫 从 GitHub 下载示例代码，并在本地环境中运行测试。确保 Redis 服务已启动： ```bash sudo service redis-server start ``` 然后运行爬虫程序以验证其功能。 --- ### 示例代码：简单的 Scrapy 爬虫 以下是一个基本的 Scrapy 爬虫示例，用于抓取网页数据： ```python import scrapy class ExampleSpider(scrapy.Spider): name = "example" start_urls = ['https://example.com'] def parse(self, response): title = response.css('title::text').get() yield {'title': title} ``` ---