关于数据采集与处理心得(一)
目前所实践的经验告知我!
1. 别企图妄想一个脚本解决所有问题
要学会对问题分解,编写多个脚本一步步将问题解决,如果每一个步骤都为了下一个阶段的成果打地基,也是非常OK的。同时要尽可能将每一个编写的脚本都尽到最大的利用率
2. 编写脚本时,要清楚依次实现的功能是什么,需达到逻辑清晰且严谨。
比如采集网站的图片的话,【首先得确定网址,接着发送请求,接受相应,解析数据,定位标签、提取数据,最后对数据进行处理】诸如这“一条龙”的全流程操作,必须在脚本编写前就清楚地知晓每一个阶段