本课程主要是利用移动端的自动化控制工具来抓取App数据,并且不讲Python基础,更注重实战。另外讲师思路清晰,按照思路手写代码,在使用工具或写代码的过程中也会给大家讲解很多小技巧,相信大家在边看边练的过程中一定有所收获!
课程目录大纲:
第1章课程介绍
1-1导学.mp4
第2章windows下搭建开发环境
2-1夜神模拟器安装&介绍
2-2夜神模拟器设置介绍&在夜神模拟器内部安装App
2-3介绍genymotion和模拟器的安装(选择观看)
2-4 fiddler软件介绍&下载&安装&软件设置
2-5 mitmproxy介绍&安装&如何在linux操作系统中安装
2-6 mitmproxy在Linux操作系统中的使用
2-7 packet capture开头,抓包工具介绍,安装,使用
2-8介绍appium环境搭建的两种方法
2-9安装docker以及docker运行ubuntu以及简单命令维护
第3章爬虫必备利器、抓包工具的使用
3-1 tooles功能使用
3-2 rules功能使用&工具栏详讲
3-3会话列表-请求头、响应头介绍
3-4请求前断点设置,响应后断点,命令行请求前后断点设置,网页重定向
3-5手机安装证书,设置fiddler抓取移动端数据包
3-6 mitmproxy软件移动设备安装证书、移动设备抓包
3-7 mitmproxy数据包过滤
3-8 mitmdump详讲
第4章app应用数据抓取入门
4-1抓取前设置,启动豆果美食app并抓包
4-2分析fiddler抓取到的豆果美食数据包1
4-2分析fiddler抓取到的豆果美食数据包2
4-3编写爬虫脚本1-项目需求、请求函数编写、请求头伪造
4-4编写爬虫脚本2-食材页面解析、队列逻辑编写
4-5编写爬虫脚本3-获取菜谱列表数据逻辑编写
4-6编写爬虫脚本4-详情页数据抓取逻辑编写
4-7编写爬虫脚本5-数据入库逻辑编写
4-8编写爬虫脚本6-多线程逻辑编写
4-9编写爬虫脚本7-伪装爬虫-编写代理逻辑
4-10本章爬虫总结
第5章移动端自动化控制工具详讲
5-1安装JDK环境
5-2安装sdk工具包
5-3 adb工具详讲1
5-4 adb工具详讲2
5-5 adb工具详讲3
5-6 sdk下uiautomatorviewer工具使用
5-7 appium介绍
5-8 inspector介绍
5-9 inspector录制功能
5-10登录考研帮app并实现模拟滑动操作(2)
第6章app应用数据抓取实战进阶
6-1抖音数据抓取实战介绍
6-2解析抖音分享页面数据1
6-3解析抖音分享页面数据2
6-4 6-5抖音分享id存储数据库逻辑代码编写1解析抖音分享页面数据3
6-6抖音分享id存储数据库逻辑代码编写2(1)
6-6抖音分享id存储数据库逻辑代码编写2
6-7 ssl pining技术分析与xponsed框架安装
6-8抖音分析接口数据分析
6-9抖音appium模拟滑动操作1
6-10抖音appium模拟滑动操作2
6-11多设备端并发抓取抖音粉丝数据(未看)
6-12抖音视频抓取&signarure加密字段破解-1
第7章打造多任务端app应用数据抓取系统
7-1、打造多任务端app应用数据抓取系统-系统介绍
7-2、docker系统管理-基础概念
7-3、docker系统管理-基础命令-1
7-4、docker系统管理-基础命令-2
7-5 docker系统管理-基础命令以及docker-appium镜像下载
7-6创建appium容器以及设置appium容器连接安卓模拟器
7-7 docker镜像的创建使用docker commit命令
7-8 docker镜像的创建使用dockerfile
7-9打造多任务端app应用数据抓取系统-1
资料:
python-appium-app-master.zip
软件:
高级版uiautomatorviewer-master
安卓模拟器
visual studio community 2017
ssh管理工具securecrt-杀软报毒
nodejs
java
docker
app包
登陆有两种便捷方式:1、用QQ直接登陆,不需要记住账号和密码。2、直接填写手机号码获取验证码登陆。
1、自动:在上方保障服务中标有自动发货的商品,拍下后,将会自动收到来自卖家的商品获取(下载)链接;
2、手动:未标有自动发货的的商品,拍下后,卖家会收到邮件、短信提醒,也可通过QQ或订单中的电话联系对方。
1、源码默认交易周期:自动发货商品为1天,手动发货商品为3天,买家有1次额外延长3天交易周期的权利;
2、若上述交易周期双方依然无法完成交易,任意一方可发起追加周期(1~60天)的请求,对方同意即可延长。
1、描述:源码描述(含标题)与实际源码不一致的(例:描述PHP实际为ASP、描述的功能实际缺少、版本不符等);
2、演示:有演示站时,与实际源码小于95%一致的(但描述中有"不保证完全一样、有变化的可能性"类似显著声明的除外);
3、发货:手动发货源码,在卖家未发货前,已申请退款的;
4、安装:免费提供安装服务的源码但卖家不履行的;
5、收费:额外收取其他费用的(但描述中有显著声明或双方交易前有商定的除外);
6、其他:如质量方面的硬性常规问题等。
注:经核实符合上述任一,均支持退款,但卖家予以积极解决问题则除外。交易中的商品,卖家无法对描述进行修改!
1、牛得奖商城会对双方交易的过程及交易商品的快照进行永久存档,以确保交易的真实、有效、安全!
2、牛得奖商城无法对如“永久包更新”、“永久技术支持”等类似交易之后的商家承诺做担保,请买家自行鉴别;
3、在源码同时有网站演示与图片演示,且站演与图演不一致时,默认按图演作为纠纷评判依据(特别声明或有商定除外);
4、在没有"无任何正当退款依据"的前提下,商品写有"一旦售出,概不支持退款"等类似的声明,视为无效声明;
5、在未拍下前,双方在QQ上所商定的交易内容,亦可成为纠纷评判依据(商定与描述冲突时,商定为准);
6、因聊天记录可作为纠纷评判依据,故双方联系时,只与对方在牛得奖商城上所留的QQ、手机号沟通,以防对方不承认自我承诺。
7、虽然交易产生纠纷的几率很小,但一定要保留如聊天记录、手机短信等这样的重要信息,以防产生纠纷时便于牛得奖商城介入快速处理。
1、牛得奖商城作为第三方中介平台,依据交易合同(商品描述、交易前商定的内容)来保障交易的安全及买卖双方的权益;
2、非平台线上交易的项目,出现任何后果均与牛得奖商城无关;无论卖家以何理由要求线下交易的,请联系管理举报。