装饰公司怎么做微网站百度首页网站推广多少钱一年
目的
通过编写程序爬取互联网上的优质资源
爬虫必须要使用python吗
非也~
编程语言知识工具，抓取到数据才是目的，而大多数爬虫采用python语言编写的原因是python的语法比较简单，python写爬虫比较简单！好用！而且python有很多第三方支持的库。很多繁琐复杂的工作直接交给这些第三方库就可以，自己不需要做这些额外的准备工作只需要导入库就好
爬虫合法吗
爬虫在法律上不禁止，但是有违反的风险（类比菜刀，法律上允许菜刀的存在，但是有人会使用菜刀做一些非法的事）
爬虫分为善意的和恶意的，如下图所示
反爬机制
门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取，如加密机制
反反爬机制
爬虫程序通过制定相关的策略或者技术手段，破解门户网站的反爬机制，获取门户网站的相关数据
robots.txt协议
君子协议（防君子不防小人），规定了网站中哪些数据可以被爬虫爬取，哪些数据不可以被爬取,所有网站的君子协议所在地都是，网站名后加子目录/robots.txt，如下面的百度的君子协议
网址：https://www.baidu.com/robots.txt
第一个爬虫程序
使用工具：pycharm
爬取百度页面的资源
代码：
from urllib.request import urlopen
url = "https://www.baidu.com"
response = urlopen(url)#打开网址会返回响应的数据
#response.read()读取响应回的数据中的内容(内容是字节的形式，所以要解码成文字）
with open("myBaidu.html", mode="w",encoding="utf-8") as f:#写入模式f.write(response.read().decode("utf-8"))保存文件中的内容：
点击谷歌浏览器，对爬取到的html页面进行打开
结果如下图，和真正的百度页面完全相同
为什么拿到的是html代码，浏览器页面显示却不是？
其实浏览器拿到的也是html代码，只是浏览器会把html代码（源代码）运行成正常的页面动画及数据，因此爬虫读取到的实际上是网页的源代码