当前位置: 首页 > wzjs >正文

邹城手机网站建设百度热点榜单

邹城手机网站建设,百度热点榜单,视觉设计师证书怎么考,做网站包头1、Scrapy框架初识 2、Scrapy框架持久化存储(点击前往查阅) 3、Scrapy框架内置管道(点击前往查阅) 4、Scrapy框架中间件(点击前往查阅) Scrapy 是一个开源的、基于Python的爬虫框架,它提供了…

1、Scrapy框架初识

2、Scrapy框架持久化存储(点击前往查阅)

3、Scrapy框架内置管道(点击前往查阅)

4、Scrapy框架中间件(点击前往查阅)

Scrapy 是一个开源的、基于Python的爬虫框架,它提供了强大而灵活的工具,用于快速、高效地提取信息。Scrapy包含了自动处理请求、处理Cookies、自动跟踪链接、下载中间件等功能。

Scrapy框架的架构图(先学会再来看,就能看懂了!)

一、安装

在Pycharm终端中使用以下命令安装 Scrapy:

pip install scrapy

二、创建 Scrapy 项目

在Pycharm终端中使用以下命令创建一个 Scrapy 项目:

scrapy startproject project_name

其中 project_name 是你文件夹的名字文件名只能以字母开头,只能包含数字、字母、下划线),下面是创建好的目录结构(.venv 这个文件无视,这个是我配置的虚拟环境,这个地方不做多讲解,想了解点击这:虚拟环境讲解)。

三、创建爬虫项目

在Pycharm终端中使用以下命令创建一个 Scrapy 项目:

scrapy genspider spider_name example.com

命令讲解:

  •  spider_name:是你的爬虫文件名(名字不能和scrapy项目重复
  • example.com:初始设置的网址(这个随便填写,等下可以改的,可以设置www.xxx.com)

注意:需要先进入你创建的Scrapy项目中,例如:我这个文件名是:CSDN

对比下绿色横线的文件目录就发现不一样了。

⬇️⬇️⬇️执行的命令演示⬇️⬇️⬇️

3.1:创建好的目录结构

 四、编写爬虫

4.1:setting设置

设置 setting 中需要改动的地方(这个是基本的设置,其他的根据需要来开启)

4.2:代码初识

打开创建好的爬虫文件(baidu.py)进入编写我们的程序:

初始的是这样的

代码的含义:          

4.3:数据解析(parse函数)

演示网站:(不可干预人家网站的正常运行!!!家常菜做法大全有图_家常菜菜谱大全做法_好吃的家常菜_下厨房【下厨房】家常菜栏目为您提供最新的家常菜做法大全、家常菜菜谱大全和步骤,让你也可以轻松做出好吃的家常菜icon-default.png?t=N7T8https://www.xiachufang.com/category/40076/

需求:第一页的所有的菜名和作者

最终代码:

import scrapyclass BaiduSpider(scrapy.Spider):# 爬虫文件的唯一标识(就是你创建的爬虫文件夹名字)name = "baidu"# 允许的域名,这个代表你只能访问这个网址的子域名,其他的都会禁止(这个我们会注释掉,不会打开)# allowed_domains = ["www.xxx.com"]# 起始的url列表,网址可以随便放,可以放多个,列表中的url都会被框架进行异步请求发送。start_urls = ["https://www.xiachufang.com/category/40076/"]# 数据解析:parse调用的次数取决于start_urls列表元素的个数def parse(self, response):  # response参数就表示响应对象# 利用xpath解析:(scrapy内置xpath,无需另外导入)li_list = response.xpath('//div[@class="pure-u-3-4 category-recipe-list"]//ul/li')for li in li_list:# 1、scrapy中的xpath会返回Selector对象,我们需要的数据在该对象data属性中(extract可以实现该功能,)# 2、extract_first()就是取第一个,因为文本两边有空格,所以.strip() 可以去除两侧的空格title = li.xpath('.//p[1]/a/text()').extract_first().strip()author = li.xpath('.//p[4]/a/text()').extract_first().strip()print(title, author)

输出结果:

五、运行爬虫

使用以下命令运行你的 Scrapy 爬虫:

scrapy crawl myspider

命令讲解

  • myspider:你的爬虫文件名字(例如我的是:baidu)

http://www.dtcms.com/wzjs/9809.html

相关文章:

  • 请人做装修设计上什么网站进入百度一下官网
  • 广饶县开发区政法委网站开长沙seo排名公司
  • 深圳响应式网站设计五个常用的搜索引擎
  • 上海网站建设 亿速seo描述是什么
  • 温州专业网站托管搜狗搜索网页版
  • 深圳推广公司网站建设书模板淘宝标题优化工具推荐
  • 哈尔滨仿站定制模板建站外贸网站有哪些平台
  • 什么网站做h5好seo实战密码电子版
  • 自己做网站iis设置百度广告联盟收益
  • 湖北网站排名优化营销培训机构哪家最专业
  • 凡科登陆seo建设者
  • 做设备开通哪个网站好济南seo关键词优化方案
  • 表白网址在线制作seo教程网站
  • 西安代做网站做一个公司网站要多少钱
  • 什么都不会怎么做网站利用搜索引擎营销成功的案例
  • 软件外包公司介绍seo关键词排名优化教程
  • 做网站内容管理器要吗关键词优化排名用什么软件比较好
  • 网站怎么做百度认证视频外链在线生成
  • 网站名称搜索不到百度一下下载
  • 电子商务网站建设的风险分析疫情防控最新政策
  • 天津免费网站建站模板百度搜索关键词排名人工优化
  • 有网站做淘宝天猫优惠券代理如何提高网站的自然排名
  • 广州b2b推广奉化网站关键词优化费用
  • 全国建筑四库一平台查询厦门网站seo
  • 怎么做动漫原创视频网站网站模板免费
  • 宿迁市建设局投诉网站首页深圳优化公司找高粱seo服务
  • 做服务的网站seo网页优化平台
  • 湖南疫情最新情况新增2例在哪里网站优化推广软件
  • 做网站图片素材搜索引擎推广成功的案例
  • 建设部网站证件查询发稿