爬虫和逆向教程-专栏介绍和目录
文章目录
- 一、爬虫基础和进阶
- 二、App数据采集
- 三、爬虫项目
- 四、爬虫面试
本专栏为爬虫初学者和进阶开发者量身定制的爬虫和逆向学习园地。为你提供全面而深入的爬虫和逆向技术指导,从入门到精通,从基础理论到高级实战,助你在数据的海洋中畅游,挖掘出有价值的信息。通过本专栏的学习,你将具备独立开发和优化爬虫程序的能力,及逆向分析能力和项目开发能力,成为爬虫领域的佼佼者。
《本专栏持续更新中… (早订阅优惠 仅需9.9元 )》
一、爬虫基础和进阶
爬虫基础
1、一文掌握urllib的详细使用,包括基础用法和高级功能
2、一文掌握requests的详细使用,包括基础用法和高级功能
3、一文掌握python中正则表达式的各种使用
4、一文掌握python中httpx库的详细使用及案例
5、爬虫代理:一文掌握代理的设置和代理池的维护(超级详细)
6、爬虫代理:一文掌握ADSL拨号代理的搭建方法,及详细使用
7、账号池:一文掌握爬虫中大规模账号池的搭建
8、aiohttp的详细使用和异步爬虫实战
9、Ajax数据采集与分析详解
网页数据解析提取
1、爬虫解析库:一个小时掌握 XPath 的详细使用方法(超级详细!)
2、爬虫解析库:parsel的详细使用
3、爬虫解析库:pyquery的详细使用
4、爬虫解析库:Beautiful Soup的详细使用
数据存储
1、数据存储:将数据存到本地磁盘,有哪些好用的方式?
2、数据存储:一文掌握存储数据到mysql的详细使用
3、数据存储:一文掌握存储数据到MongoDB详解
4、数据存储:使用Python存储数据到redis详解
5、数据存储:一文掌握存储数据到ElasticSearch详解
6、消息队列:一文掌握RabbitMQ的详细使用
动态渲染页面采集
1、一文掌握Selenium的详细使用
2、一文掌握Pyppeteer的详细使用
3、一文掌握 Playwright 的详细使用
4、一文掌握Splash的详细使用
5、一文掌握DrissionPage的详细使用
6、爬虫反爬:CSS位置偏移反爬案例分析与实战案例
7、爬虫反爬:字体反爬案例分析与爬取实战
验证码破解
1、验证码识别:使用OCR技术识别图形验证码详解
2、一文掌握使用OpenCV识别滑动验证码的缺口(超级详细)
3、一文掌握使用深度学习识别验证码详解(包括图形验证码和滑块验证码)
4、验证码识别:一文掌握手机验证码的自动化处理
模拟登录
1、一文掌握模拟登录的基本原理和实战
2、一文5分钟掌握基于JWT的模拟登录爬取实战
JS逆向
1、JS逆向:一文掌握网站加密和混淆以及浏览器调试的技巧
2、JS逆向:一文掌握JavaScript hook的详细使用
3、JS逆向:一文掌握无限 Debugger 的原理与绕过
4、数据采集:使用 Node.js 模拟执行 JavaScript 过程详解
5、爬虫反爬:一文掌握使用 AST 技术还原混淆的代码实战
6、爬虫反爬:WebAssembly案例分析与爬取实战
二、App数据采集
App数据采集
1、一文掌握Charles抓包工具的详细使用
2、爬虫:mitmproxy抓包工具的使用和实时抓包处理案例
3、APP爬取:基于Appium的App数据爬取实战详解
4、APP爬虫:Airtest的使用和爬取实战详解
5、APP爬虫:一文掌握手机群控的爬取实战
Android逆向
1、ADB各种操作指令详解大汇总
2、Android逆向:一文掌握jadx的详细使用
3、Android逆向:一文掌握JEB 的详细使用
4、Android逆向:Xposed框架的详细使用
5、Android逆向:一文掌握 Frida 详细使用
三、爬虫项目
爬虫项目
1、爬虫项目:使用Python爬虫从电商平台采集评论数据并进行情感分析
2、爬虫项目:使用Python爬虫获取书籍详细信息
四、爬虫面试
爬虫面试
Wireshark经典实践和面试13点总结