技术标签: python selenium chrome 妙用Selenium
一文给你介绍的清清楚楚, 伪装Selenium特征的N种方式
在使用 Selenium 访问某些网站时候,会不成功。像很多url中带gov
字眼的,往往都无法正常打开。
因为网站检测到了 我们使用自动化工具,所以就给ban掉了,所以这篇文章就来说说怎么过掉它。
值得一提的是,这篇文章不针对任何一个网站,只用下面的这个网站来做参照~
访问这个网站时候,可以看到它会检测很多项浏览器的信息。明显可以看到 正常浏览器 和 Selenium打开浏览器是有区别的~
输入 window.navigator.webdriver
时候,正常浏览器是 false,Selenium打开的是true
下面去看看怎么绕过检测 & 隐藏特征。
这里主要介绍三大类隐藏 Selenium 特征的方式,分别是以下:
在 注入JS代码 的大类中,分了三个方式来讲,大体上差别不是很大
hide_features.py
# -*- coding: utf-8 -*-
# Name: hide_features.py
# Author: 小菜
# Date: 2022/8/29 2:43
# Description:
from selenium import webdriver
driver = webdriver.Chrome()
# 代码的关键所在
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => false
})
"""
})
driver.get('https://bot.sannysoft.com/')
代码释义:
Chrome Devtools Protocol
命令navigator.webdriver
设置为 undefined
CDP文档:https://chromedevtools.github.io/devtools-protocol/tot/Page/
代码运行效果如下:
window.navigator.webdriver
输出已经是 false 了,为啥还是不通过?看下图,差别在这里
继续讲如何更深入的绕过检测~
这里分两步走,需要先获取 隐藏特征的JS文件,然后再将JS代码注入到Selenium中
隐藏特征文件的官方文档:https://github.com/berstend/puppeteer-extra
如果没有科学的话,生成一份还是比较耗时间的,所以我也准备了一份,点击即可下载
https://download.csdn.net/download/weixin_45081575/86502704
隐藏特征文件的简介和获取如下图所示:
puppeteer-extra-stealth
提取到一个js文件中。生成的JS文件可以用于纯CDP实现,也可以用于测试devtools中的规避。NodeJS
,就可以一行代码即可拿下~stealth.min.js
文件。在cmd窗口输入 npx extract-stealth-evasions
,稍后便可以看到生成的 stealth.min.js
文件了。
# -*- coding: utf-8 -*-
# Name: hide_features.py
# Author: 小菜
# Date: 2022/8/29 122:43
# Description:
from selenium import webdriver
driver = webdriver.Chrome()
with open('stealth.min.js', mode='r') as f:
js = f.read()
# 关键代码
driver.execute_cdp_cmd(
cmd_args={
'source': js},
cmd="Page.addScriptToEvaluateOnNewDocument",
)
driver.get('https://bot.sannysoft.com/')
代码运行如下图所示:
后续再访问任何网页都能成功隐藏Selenium 的特征了,但是只能在当前页面去操作~
值得注意的是:如果新开一个网页再去访问,那就没法隐藏特征了,看下图
这个不算是注入JS的内容,是修改默认参数的,只是并到了一块儿;
到第三种方法了,这个只需要添加一个参数即可~
代码
# -*- coding: utf-8 -*-
# Name: hide_features.py
# Author: 小菜
# Date: 2022/8/29 22:43
# Description:
from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument("disable-blink-features=AutomationControlled")
driver = webdriver.Chrome(options=options)
driver.get('https://bot.sannysoft.com/')
代码释义:
disable-blink-features=AutomationControlled
:禁用 blink 特征百度百科:Blink – https://baike.baidu.com/item/blink引擎/871884
代码运行效果如下:
新开一个窗口
可见,这个操作是相对完美了。
因为没有做过详尽的测试,所以我无法保证这个方法是否能100%适用~
如果网站检测的信息有很多,甚至检测 经纬度、ip代理等。那可能就会失效!
一个思路,不属于是好方法的思路
这个方法就介绍一下思路吧,
在可以找到网站检测代码的前提下,去替换检测代码的文件。
可以使用抓包工具,如 Charles、fiddler、mitmproxy
等去监听检测文件,然后替换它
也可以使用 Chrome浏览器 -> 开发者工具 -> Sources -> Overrides
去做替换
替换的方法有很多,
但我觉得这不是一个好方法,只是也是一种方法。
这个网站没法检测出来,完美如斯。正常的浏览器是咋样的,这个就是咋样的
接管已经打开的浏览器(强烈推荐
如何接管已经打开的浏览器,参考这两篇文章,这里不再赘述
标题 | 链接 |
---|---|
【Selenium】控制当前已经打开的 chrome浏览器窗口 | https://blog.csdn.net/weixin_45081575/article/details/112621581 |
【Selenium】控制当前已经打开的 chrome浏览器窗口(高级篇) | https://blog.csdn.net/weixin_45081575/article/details/126389273 |
代码
# -*- coding: utf-8 -*-
# Name: hide_features.py
# Author: 小菜
# Date: 2022/8/29 22:43
# Description:
import os
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
if __name__ == '__main__':
os.system(r'start chrome --remote-debugging-port=9527 --user-data-dir="F:\selenium"')
options = Options()
options.add_experimental_option("debuggerAddress", "127.0.0.1:9527")
driver = webdriver.Chrome(options=options)
driver.get('https://bot.sannysoft.com/')
代码运行如下:
上面介绍了三大类隐藏 Selenium 特征的方式,但是最好用是 第三种,即
使用起来也很简单,调用cmd命令去打开浏览器然后再使用 Selenium 去接管即可。
自己动手,试验一番,岂不美哉~
see you
文章浏览阅读403次。HTML按钮悬停效果简介按钮是每个页面,Web应用程序或移动应用程序中经常使用的基本HTML元素。HTML按钮是布局中非常重要的元素,因为在很多情况下,它是用户在呼吁采取行动并说服单击时必须注意到的元素。前端开发人员和设计人员经常尝试以任何不错的方式突出显示按钮,尤其是当用户与它们交互时,例如悬停或聚焦时。因此,今天我决定向您展示8种出色的HTML按钮悬停效果,您可以在项目中使用它们,并使用户和客..._按钮的悬停和按下效果设计
文章浏览阅读6.8k次,点赞2次,收藏27次。本文引用了诸多教程, 如有侵犯, 请联系以删除写作日期: 2022年2月22日1. 原料准备VMware Pro实测VMware Pro16.0.0最高只有MacOS11.1, VMware Pro16.2.2有MacOS12和MacOS13, 需要配合unlocker使用VMware Pro的安装和NAT网络配置请自行百度实测在VMware Pro16.0.0上选择MacOS11.1可以按照12.2unlocker用于给VMware Pro添加MacOS的选项unlocker下载地址._vm16pro 安装 macos11
文章浏览阅读1.3k次,点赞26次,收藏19次。本章内容教会你如何用java代码实现 两个视频的画面合并 或者前后拼接。原理是使用了javacv开源jar包,代码经过反复修改,已经实现我能想到的最优最快的实现,如果你有更好更快的实现,欢迎评论区留言!!!先展示一下效果吧!!!两个视频前后拼接两个视频画面合并。_java怎么做视频合成
文章浏览阅读256次。 本文在Windows Xp + VMware Workstation 7.0 + MAC OS X Snow Leopard 10.6 环境下安装iPhone SDK 3.1.2成功! -------------------------------------- 安装条件: 硬件:一台拥有支持虚拟技术的64位双核处理器和2GB以上内存的PC。 本人采用笔记本:DELL D630 4G内存 注意:..._iphone vmware
文章浏览阅读4w次,点赞30次,收藏95次。本文介绍了Unity3D界面及游戏对象基本操作。_u3d2017页面操作
文章浏览阅读2.3k次。百度看了好多文章,但是设置完了,还是会换行今天终于自己摸索出来不会换行1.vscode->文件->首选项->设置2.选择工作区->找到settings.json(滚动找到settings.json)3.设置如下,就ok了"settings": { "vetur.format.defaultFormatter.html": "js-beautify-html", "vetur.format.defaultFormatterOptions":{ "js-bea_vue html标签不要每个属性换行
文章浏览阅读724次。问题在大部分html或者其它富文本在保存到后台中,为了安全起见需要将一些特殊字符进行转义但是,请求回来的信息中包涵着这些转义过后的字符,而微信小程序是不能够直接进行反转义成为html特殊字符,所以需要将字符串特殊字符替换后才能恢复作用用于转义html中的特殊字符解析类型HTML 支持的数学符号HTML 支持的希腊字母HTML 支持的其他实体代码很简单,复制粘贴太难,所以提供给大家以便使用,欢迎补充..._微信小程序开发复制特殊字符
文章浏览阅读5k次。前面说了windows环境下静态库的生成和使用方法,现在来看一看windows环境下动态库的生成和使用方法。这次的代码来自《windows核心编程 第5版》中第19章“DLL基础”。 首先使用VS2008构建一个空工程,工程类型是“Win32 dynamic link library”。我们来看构建DLL模块的代码:/*****************************_windows 动态库生成与使用
文章浏览阅读2k次。一般我们使用如下语法if [ expression ] theniflinux中提供了高级的双括号语法。在之前,如果要判断数字大小,大于号需要转义,否则会被认为重定向举例:[root@localhost shell]# cat test1.sh #!/bin/bashnum=10if [ num > 8 ];then echo "10>8"fi程序解释:..._linux 判断数字是否相等 双括号
文章浏览阅读4.8k次,点赞7次,收藏11次。场景:由于程序中从redis中获取到的值不正确,需要一个测试类测试下根据key从redis中获取到的值具体是什么。所以有了下面的代码 import lombok.extern.slf4j.Slf4j;import org.junit.Test;import org.junit.runner.RunWith;import org.springframework.beans.fact..._springboot 聚合工程 @springboottest无法使用
文章浏览阅读9.2k次。〔bbs.lidroid.com原创〕个性化的精简才是更适合自己的,对照列表自己动手精简吧。红色字体是要保留的,黑色字体是可以删除的,未知的和未列出的建议不要删除,以免出现什么莫名其妙的毛病,当然也不绝对,根据个人喜好操作吧。lidroid老大的rom里那些常见特色程序,比如高级设置,来电归属地,特殊代码,lidroid工具箱,主题管理,lidroid反馈等等就不一一列出了。还有那些合_n9100国行精简列表
文章浏览阅读1.2k次。C语言-实训任务-getchar()和putchar()函数的使用任务要求编程,用getchar()读入两个字符c1、c2,然后分别用putchar()和printf()输出这两个字符代码实现#include <stdio.h>/**编程,用getchar()读入两个字符c1、c2,然后分别用putchar()和printf()输出 这两个字符,这两个字符应为你姓名首字母(如果是三字的姓名则用前两个字母)。*/int main(){ char one,two; o_方法一:用getchar和putchar函数显示个人名字的拼音首字母。