旧货交易网站开发的背景电脑培训班多少费用

@TOC

本文仅为记录学习轨迹，如有侵权,联系删除

一、环境说明

使用前必须检查以下环境
（1）python编译环境
（2）python脚本执行所需要的库，具体看代码（main.py）import导入的部分库
（3）确保电脑可以正常连接网络，可以正常访问淘宝链接
备注：博主测试的python环境是3.8.8，尽量用python3版本

二、代码说明

代码请查看main.py，先看需要引入的库的部分，使用前需要保证这些库的正确引入，重点需要注意的是DrissionPage库的引入，该库用于爬取数据

共分为两个主要方法，一个是get_data方法，用于爬取数据，另一个是save_to_csv方法，用于保存数据

_main_是主函数入口，这里默认爬取30页的数据，可以根据实际情况修改要爬取的页数，不过需要注意的是，淘宝有很严格的反爬机制，如果爬取太多页的数据，可能会触发淘宝的相关反爬机制，例如限流、返回异常数据、或者弹窗验证码等操作。

三、代码执行

（1）前期准备

先打开谷歌浏览器，访问淘宝页面，然后先进行登录，这是为了绕过淘宝的登录验证机制，以前好像不用登录就可以搜索商品数据，现在好像有限制，而且为了避免引起不必要的麻烦，所以干脆先登录淘宝

（2）执行代码

博主测试时用的pycharm执行的代码，不过用python自带的编译器也可以，执行的时候代码会自动打开谷歌浏览器，然后自动在输入框输入商品名称，爬取数据后，会自动在页面点击下一页按钮进行换页，然后再爬取数据，直到代码设置的页数都爬取完成，以下截图来自博主亲测截图如下

数据爬取完成后，会在main.py同级目录下生成一个data目录，里面存放爬取的数据，格式为csv
注意，如果出现以下截图，例如卡在爬取某一页的日志，请耐心等待，代码设置了最长两分钟的监听时长，如果超时系统会有日志打印