利用selenium获取网页数据,脚本加载慢问题的解决办法
问题:最近在写一个脚本去获取一个网站的数据,用到一个表格中的数据,条目是1000+条,需要逐条去获取网站上对应的数据,遇到的问题是脚本运行后,很久才开始打开驱动浏览器。
经过很多次尝试,主要原因有两个:
1.加载的xls表格数据量太大需要时间。
2.driver的path路径随意存放。
解决办法:
1.将原始表格只保留需要的数据,其他冗余数据全部删除。
2.将driver的存放在与python同一个位置上。
问题:最近在写一个脚本去获取一个网站的数据,用到一个表格中的数据,条目是1000+条,需要逐条去获取网站上对应的数据,遇到的问题是脚本运行后,很久才开始打开驱动浏览器。
经过很多次尝试,主要原因有两个:
1.加载的xls表格数据量太大需要时间。
2.driver的path路径随意存放。
解决办法:
1.将原始表格只保留需要的数据,其他冗余数据全部删除。
2.将driver的存放在与python同一个位置上。