技能情况
熟练 scrapy 和 scrapy-redis 的基本架构,熟练 GIT 操作和 linux 基本命令,docker 容器,fiddler 和 mitmproxy 抓包工具。基本掌握移动端 app 数据的抓取。熟练使用 selenium,appium 自动化测试工具,adb 和 uiautomatovier 工具。能基本分析出 js 加密字段,进行断点调试,了解 RSA、SHA、AES 加密,了解 elasticsearch 搜索引擎基本操作。了解 js 逆向,反编译。熟练验证码的识别,调用第三方验证码接口(超级鹰)和滑动验证码登录( bilibili 登录)。
项目经验
处理拉勾的 cookie 反爬,分布式爬取知乎,爬简单的 app 和抖音 mp4 文件抓取,能够爬取拼多多和美团
wechat: d2VpMTE4OTQx
也学了一段时间,说要是找不到工作就随便找点班上算了,有点不太甘心。对工资要求不高,自己目前还有精力不断学习,只是没有在工作中提升的快。有些东西看几遍也能理解,缺乏一定的实操能力来熟悉。有朋友指点建议做某查查,验证码这块,想找一份初级的爬虫边工作边学。
熟练 scrapy 和 scrapy-redis 的基本架构,熟练 GIT 操作和 linux 基本命令,docker 容器,fiddler 和 mitmproxy 抓包工具。基本掌握移动端 app 数据的抓取。熟练使用 selenium,appium 自动化测试工具,adb 和 uiautomatovier 工具。能基本分析出 js 加密字段,进行断点调试,了解 RSA、SHA、AES 加密,了解 elasticsearch 搜索引擎基本操作。了解 js 逆向,反编译。熟练验证码的识别,调用第三方验证码接口(超级鹰)和滑动验证码登录( bilibili 登录)。
项目经验
处理拉勾的 cookie 反爬,分布式爬取知乎,爬简单的 app 和抖音 mp4 文件抓取,能够爬取拼多多和美团
wechat: d2VpMTE4OTQx
也学了一段时间,说要是找不到工作就随便找点班上算了,有点不太甘心。对工资要求不高,自己目前还有精力不断学习,只是没有在工作中提升的快。有些东西看几遍也能理解,缺乏一定的实操能力来熟悉。有朋友指点建议做某查查,验证码这块,想找一份初级的爬虫边工作边学。