爬虫工程师杂活工具人

30岁的年龄;这个年龄大家都是成年人;都是做父母的年龄了;你再工位上的心态会发生很大变化的;

爬虫工程师基本都是如此;社会最low的一帮连销售都做不了的;单子都开不出来的然后转行做爬虫工程师的;这样的人基本不太和社会接触;

你作为爬虫初级工程师就敲着键盘然后解析着html;然后把需求的字段取出来这有什么意义;

为了爬虫能上线然后反复测试爬虫;看爬的数据是否和网页一致;这有什么意义;

然后爬虫某个解析报错了;某个取值报错了你重新修补下提交;这有什么意义;

然后要让你买账号;要让你申请账号;让你测ip;让你找商家然后列在表格里;这有什么意义;

然后一个渠道涉及很多爬虫变得臃肿以后;要你把模块变得通用化;能合并的合并起来;能复用的复用;重新大刀阔斧的结构优化;帮你找活干;这有什么意义;

然后他给你一个调用的服务接口模板;然后让你一遍一遍修改让测试很多遍;他挑出各种毛病;最后满足他心里规范的可以他调用的适配他的接口脚本;这有什么意义;

然后出现反爬以后你为了测试cookies什么时候过期;ip是否会被封禁;是否有浏览器指纹的验证;签名参数是否异常;请求频率的瓶颈;请求的效率瓶颈一顿测试网站的风控机制;这有什么意义;

然后网站接口改版了;返回的是脏数据了;返回的接口字段提取异常了;接口不可用了;你又得找新接口;你又得重新变着花样的用各种方式解析html解析dom解析xml解析csv解析json;你又得反复测试接口;这有什么意义;

然后爬虫leader给你一个脚本任务需求;你还得尽善尽美;揣摩他的期望需求;写出很规范的测试脚本开发脚本;测试很多遍以后没有问题再诚惶诚恐的交给他;这有什么意义;

你还得按照这家公司的业务;他定义好的爬虫模板来写爬虫;再这个爬虫模板里面调用写好的中间件;ip池;cookies池;logstash日志;item管道;存储读取展示测试数据然后开发爬虫;这有什么意义

然后日志写在哪里;数据如何去重;接口多少翻页停止;爬虫重试多少次数;数据返回哪些字段;你的大多数工作就是这个既定的模板里面按照爬虫leader给你的业务规范机械性的填代码;这有什么意义;