自动化测试分为:web和移动端两个方面。
Ø web端:Webdriver。
Ø 移动端:appium,Robotium,monkeyRuner ,UIAutomator ,MonkeyTalk,Airtest 。
Ø win32应用程序:pywinauto。
自动化测试作为爬虫手段的缺点:占用系统资源严重(往往要启动浏览器和多个标签页)、爬取速度较慢;尽管有这些缺点,但是它可以作为不是办法中的办法。
Web端Webdriver自动化测试在Windows环境下搭建和简单测试如下所示:
Ø Windows环境下搭建开发环境步骤:
Python环境(推荐2.7)Pip install selenium相应浏览器的驱动,比如谷歌浏览器对应的:chromedriver.exe。Ø 简单测试案例:
移动端appium自动化测试在Windows环境下搭建和简单测试如下所示:
Ø Windows环境下搭建开发环境步骤:
Python环境(推荐2.7)和jdk。参考https://jingyan.baidu.com/article/3c343ff70bc6ea0d377963df.html
Adb工具的下载:自己单独下载adb、夜神模拟器自带和Android sdk;这里推荐使用Android sdk(大概有几个G大小)。添加系统变量ANDROID_HOME, 值是Android SDK的安装路径
把Android SDK下的platform-tools路径和tools路径添加到系统变量Path
参考:https://jingyan.baidu.com/article/f71d603757965b1ab641d12a.html
Apk安装介质:真机、Android自带模拟器和第三方模拟器;这里推荐使用:第三方模拟器(夜神模拟器)。这里需要将夜神模拟器设置为:开发者模式。安装appium PC客户端。安装Nodejs (Appium使用Node.js作为服务器引擎)参考:
(1)安装cnpm npm install -g cnpm --registry=
(2)cnpm install -g appium
安装python开发模块(1)pip install selenium==2.46.0推荐使用2.46.0版本,其它版本也可以。
(2)pip install Appium-Python-Client。
(3)查看selenium版本 pip show selenium。
使用apktool-new分析出待下载apk的appPackage和appActivity。I.利用apktool工具反编译下载到的apk。命令如下:
Apktool d XXX.apk
II.反编译得到XXX文件夹,在AndroidManifest.xml里查找appPackage和appActivity,具体查找可以参考
。
使用步骤Ⅱ中的Android sdk中的UI Automator viewer定位待分析apk的元素位置。移动端设备操作(1)adb devices 列出当前电脑可连接移动设备
(2)adb connect 设备名(夜神模拟器为127.0.0.1:62001)
(3)adb connect 设备名(逍遥模拟器为127.0.0.1:21503)【注意:逍遥模拟器安装目录下自带adb.exe 如果和系统设置的adb版本不一致,会出现offline,此时需要将系统的adb.exe替换逍遥自带的adb.exe】
(4)获取连接设备名称:adb shell getprop ro.build.version.release
(5)获取要测试的app包名与起始页:adb shell dumpsys activity top | find "ACTIVITY"
[start coding],确保启动[adb connect 127.0.0.1:62001 | adb devices]简单测试案例:
adb操作
appium PC客户端运行情况
夜神模拟器apk运行情况
Ø 参考网址:
http://www.cnblogs.com/kllay/p/5505737.htmlhttp://blog.sina.com.cn/s/blog_44d19b500102vtte.htmlWindows标准图形界面端pywinauto自动化测试在Windows环境下搭建和简单测试如下所示:
Ø Windows环境下搭建开发环境步骤:
Python环境(推荐2.7)。Pywinauto模块安装。辅助组件:spy++/Managedspy。扩展认知:
1. Selenium与pyppeteer,Puppeteer的区别
Selenium,作为一款知名的Web自动化测试框架,支持大部分主流浏览器,提供了功能丰富的API接口,常常被我们用作爬虫工具来使用。然而selenium的缺点也很明显,比如速度太慢、对版本配置要求严苛,最麻烦是经常要更新对应的驱动。
由于Selenium流行已久,现在稍微有点反爬能力的网站都会对selenium和webdriver进行识别,网站只需要在前端js添加一下判断脚本,很容易就可以判断出是真人访问还是webdriver。虽然也可以通过中间代理的方式进行js注入屏蔽webdriver检测,但是webdriver对浏览器的模拟操作(输入、点击等等)都会留下webdriver的标记,同样会被识别出来,要绕过这种检测,只有重新编译webdriver,麻烦自不必说,难度不是一般大。
由于Selenium具有这些严重的缺点。pyperteer成为了爬虫界的又一新星。相比于selenium具有异步加载、速度快、具备有界面/无界面模式、伪装性更强不易被识别为机器人,同时可以伪装手机平板等终端;虽然支持的浏览器比较单一,但在安装配置的便利性和运行效率方面都要远胜selenium。
Pyppeteer(Pyppeteer其实是Puppeteer的Python版本)无疑为防爬墙撕开了一道大口子,针对selenium的淘宝、美团、文书网等网站,目前可通过该库使用selenium的思路继续突破,毫不费劲。
素材网址:
总结:目前倾向于使用pyppeteer,Puppeteer。
思维的转变之自动化测试和逆向工程的融合
假如我们在破解APP或者是WEB加密的情景时,如果破解难度大或者是目标加密方式变化频繁;我们可以换种思路去解决这个问题,那就是“自动化”方式。其思路是:将解密透明化。
衍生:这其实是种解决问题的思路,可以上升到战略维度的思路。