Python爬虫教程007:scrapy结合实际案例的简单使用
文章目录
-
- 3.1 scrapy安装
- 3.2 scrapy的基本使用
-
- 3.2.1 scrapy项目的创建和运行
- 3.3 58同城案例
-
- 3.3.1 创建案例
- 3.3.2 项目结构说明
- 3.4 汽车之家案例
3.1 scrapy安装
什么是scrapy:
Scrapy
是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。
安装scrapy:
pip install scrapy
3.2 scrapy的基本使用
3.2.1 scrapy项目的创建和运行
【1】创建scrapy项目(注意:项目的名字不能使用数字开头,也不能包含中文):
scrapy startproject 【项目名称】
创建成功:
【2】创建爬虫文件,在spiders文件夹中去创建爬虫文件&