【Selenium】Selenium绕过检测 & 隐藏特征-程序员宅基地

技术标签: python  selenium  chrome  妙用Selenium  

前言

一文给你介绍的清清楚楚, 伪装Selenium特征的N种方式

在使用 Selenium 访问某些网站时候,会不成功。像很多url中带gov 字眼的,往往都无法正常打开。

因为网站检测到了 我们使用自动化工具,所以就给ban掉了,所以这篇文章就来说说怎么过掉它。

值得一提的是,这篇文章不针对任何一个网站,只用下面的这个网站来做参照~

访问这个网站时候,可以看到它会检测很多项浏览器的信息。明显可以看到 正常浏览器 和 Selenium打开浏览器是有区别的~

输入 window.navigator.webdriver 时候,正常浏览器是 false,Selenium打开的是true

下面去看看怎么绕过检测 & 隐藏特征。


三种方式

这里主要介绍三大类隐藏 Selenium 特征的方式,分别是以下:

  1. 注入JS代码
  2. 中间人修改文件
  3. 接管已打开浏览器

1. 注入JS代码

注入JS代码 的大类中,分了三个方式来讲,大体上差别不是很大

1.1 执行cdp

hide_features.py

# -*- coding: utf-8 -*-
# Name:         hide_features.py
# Author:       小菜
# Date:         2022/8/29 2:43
# Description:

from selenium import webdriver


driver = webdriver.Chrome()

# 代码的关键所在
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    
    "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => false
    })
  """
})


driver.get('https://bot.sannysoft.com/')

代码释义:

  • driver.execute_cdp_cmd :执行 Chrome Devtools Protocol 命令
  • Page.addScriptToEvaluateOnNewDocument:在浏览器启动之前执行给定的JS脚本
  • Object.defineProperty:JS语法,直接在一个对象上定义一个新属性,或者修改一个对象的现有属性,并返回此对象(代码中是将 navigator.webdriver 设置为 undefined

CDP文档https://chromedevtools.github.io/devtools-protocol/tot/Page/

代码运行效果如下:

  • 明明 window.navigator.webdriver 输出已经是 false 了,为啥还是不通过?

看下图,差别在这里

  • 注:有部分网站不会检测的这么深,在这一步其实就可以绕过检测了

继续讲如何更深入的绕过检测~


1.2 执行cdp_2

这里分两步走,需要先获取 隐藏特征的JS文件,然后再将JS代码注入到Selenium中

1.2.1 获取隐藏特征文件

隐藏特征文件的官方文档:https://github.com/berstend/puppeteer-extra

如果没有科学的话,生成一份还是比较耗时间的,所以我也准备了一份,点击即可下载
https://download.csdn.net/download/weixin_45081575/86502704

隐藏特征文件的简介和获取如下图所示:

  • 可以将最新的隐身规避从 puppeteer-extra-stealth 提取到一个js文件中。生成的JS文件可以用于纯CDP实现,也可以用于测试devtools中的规避。
  • 只要安装了NodeJS,就可以一行代码即可拿下~
  • 将在当前文件夹中创建一个 stealth.min.js 文件。


在cmd窗口输入 npx extract-stealth-evasions,稍后便可以看到生成的 stealth.min.js 文件了。

在这里插入图片描述

# -*- coding: utf-8 -*-
# Name:         hide_features.py
# Author:       小菜
# Date:         2022/8/29 122:43
# Description:

from selenium import webdriver

driver = webdriver.Chrome()

with open('stealth.min.js', mode='r') as f:
    js = f.read()


# 关键代码
driver.execute_cdp_cmd(
    cmd_args={
    'source': js},
    cmd="Page.addScriptToEvaluateOnNewDocument",
)

driver.get('https://bot.sannysoft.com/')

代码运行如下图所示:

  • 现在,正常的浏览器和Selenium浏览器都一样了,都可以通过检测~
  • 虽然一个是 false 一个是undefined(但并不影响~


后续再访问任何网页都能成功隐藏Selenium 的特征了,但是只能在当前页面去操作~

值得注意的是:如果新开一个网页再去访问,那就没法隐藏特征了,看下图

  • 所以这个方法也是不够完美的~


1.3 添加 ChromeOptions & 修改默认参数

这个不算是注入JS的内容,是修改默认参数的,只是并到了一块儿;
到第三种方法了,这个只需要添加一个参数即可~

这个方法的出处在这里:https://stackoverflow.com/questions/53039551/selenium-webdriver-modifying-navigator-webdriver-flag-to-prevent-selenium-detec

代码

# -*- coding: utf-8 -*-
# Name:         hide_features.py
# Author:       小菜
# Date:         2022/8/29 22:43
# Description:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("disable-blink-features=AutomationControlled")
driver = webdriver.Chrome(options=options)


driver.get('https://bot.sannysoft.com/')

代码释义:

  • disable-blink-features=AutomationControlled:禁用 blink 特征

百度百科:Blink – https://baike.baidu.com/item/blink引擎/871884

在这里插入图片描述

代码运行效果如下:

  • 通过检测,且新开的窗口也同样可以通过检测

新开一个窗口

可见,这个操作是相对完美了。
因为没有做过详尽的测试,所以我无法保证这个方法是否能100%适用~
如果网站检测的信息有很多,甚至检测 经纬度、ip代理等。那可能就会失效!


2:中间人抓包修改文件

一个思路,不属于是好方法的思路

这个方法就介绍一下思路吧,
在可以找到网站检测代码的前提下,去替换检测代码的文件。
可以使用抓包工具,如 Charles、fiddler、mitmproxy等去监听检测文件,然后替换它
也可以使用 Chrome浏览器 -> 开发者工具 -> Sources -> Overrides 去做替换
替换的方法有很多,

但我觉得这不是一个好方法,只是也是一种方法。


3. 接管已打开浏览器

这个网站没法检测出来,完美如斯。正常的浏览器是咋样的,这个就是咋样的

接管已经打开的浏览器(强烈推荐

如何接管已经打开的浏览器,参考这两篇文章,这里不再赘述

标题 链接
【Selenium】控制当前已经打开的 chrome浏览器窗口 https://blog.csdn.net/weixin_45081575/article/details/112621581
【Selenium】控制当前已经打开的 chrome浏览器窗口(高级篇) https://blog.csdn.net/weixin_45081575/article/details/126389273

代码

# -*- coding: utf-8 -*-
# Name:         hide_features.py
# Author:       小菜
# Date:         2022/8/29 22:43
# Description:

import os
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

if __name__ == '__main__':
    os.system(r'start chrome --remote-debugging-port=9527 --user-data-dir="F:\selenium"')
    options = Options()
    options.add_experimental_option("debuggerAddress", "127.0.0.1:9527")
    driver = webdriver.Chrome(options=options)
    driver.get('https://bot.sannysoft.com/')

代码运行如下:

  • 无论打开多少个窗口,都是可以通过检测的


总结

上面介绍了三大类隐藏 Selenium 特征的方式,但是最好用是 第三种,即

  • 接管已经打开的浏览器端口,不用担心被网站所检测到,因为它就是你正常使用的浏览器

使用起来也很简单,调用cmd命令去打开浏览器然后再使用 Selenium 去接管即可。

后话

自己动手,试验一番,岂不美哉~
see you‍‍

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_45081575/article/details/126585575

智能推荐

html按钮按下效果_您应该在网站中尝试的8种惊人的HTML按钮悬停效果,让您的网站令人难忘...-程序员宅基地

文章浏览阅读403次。HTML按钮悬停效果简介按钮是每个页面,Web应用程序或移动应用程序中经常使用的基本HTML元素。HTML按钮是布局中非常重要的元素,因为在很多情况下,它是用户在呼吁采取行动并说服单击时必须注意到的元素。前端开发人员和设计人员经常尝试以任何不错的方式突出显示按钮,尤其是当用户与它们交互时,例如悬停或聚焦时。因此,今天我决定向您展示8种出色的HTML按钮悬停效果,您可以在项目中使用它们,并使用户和客..._按钮的悬停和按下效果设计

VMware Pro16 安装MacOS 11/12教程_vm16pro 安装 macos11-程序员宅基地

文章浏览阅读6.8k次,点赞2次,收藏27次。本文引用了诸多教程, 如有侵犯, 请联系以删除写作日期: 2022年2月22日1. 原料准备VMware Pro实测VMware Pro16.0.0最高只有MacOS11.1, VMware Pro16.2.2有MacOS12和MacOS13, 需要配合unlocker使用VMware Pro的安装和NAT网络配置请自行百度实测在VMware Pro16.0.0上选择MacOS11.1可以按照12.2unlocker用于给VMware Pro添加MacOS的选项unlocker下载地址._vm16pro 安装 macos11

Java原来可以这么玩!CV视频合成处理,视频前后拼接,画面合并_java怎么做视频合成-程序员宅基地

文章浏览阅读1.3k次,点赞26次,收藏19次。本章内容教会你如何用java代码实现 两个视频的画面合并 或者前后拼接。原理是使用了javacv开源jar包,代码经过反复修改,已经实现我能想到的最优最快的实现,如果你有更好更快的实现,欢迎评论区留言!!!先展示一下效果吧!!!两个视频前后拼接两个视频画面合并。_java怎么做视频合成

Windows iPhone VMware [转]-程序员宅基地

文章浏览阅读256次。 本文在Windows Xp + VMware Workstation 7.0 + MAC OS X Snow Leopard 10.6 环境下安装iPhone SDK 3.1.2成功! -------------------------------------- 安装条件: 硬件:一台拥有支持虚拟技术的64位双核处理器和2GB以上内存的PC。 本人采用笔记本:DELL D630 4G内存 注意:..._iphone vmware

【Unity3D入门教程】Unity3D界面介绍及游戏对象基本操作_u3d2017页面操作-程序员宅基地

文章浏览阅读4w次,点赞30次,收藏95次。本文介绍了Unity3D界面及游戏对象基本操作。_u3d2017页面操作

vscode 如何格式化vue(template)html代码 , 保持标签属性不换行_vue html标签不要每个属性换行-程序员宅基地

文章浏览阅读2.3k次。百度看了好多文章,但是设置完了,还是会换行今天终于自己摸索出来不会换行1.vscode->文件->首选项->设置2.选择工作区->找到settings.json(滚动找到settings.json)3.设置如下,就ok了"settings": { "vetur.format.defaultFormatter.html": "js-beautify-html", "vetur.format.defaultFormatterOptions":{ "js-bea_vue html标签不要每个属性换行

随便推点

小程序转义html标签,wxDiscode-微信小程序特殊字符转义符转化工具类-程序员宅基地

文章浏览阅读724次。问题在大部分html或者其它富文本在保存到后台中,为了安全起见需要将一些特殊字符进行转义但是,请求回来的信息中包涵着这些转义过后的字符,而微信小程序是不能够直接进行反转义成为html特殊字符,所以需要将字符串特殊字符替换后才能恢复作用用于转义html中的特殊字符解析类型HTML 支持的数学符号HTML 支持的希腊字母HTML 支持的其他实体代码很简单,复制粘贴太难,所以提供给大家以便使用,欢迎补充..._微信小程序开发复制特殊字符

windows环境下动态库的生成和使用 (.dll文件) ._windows 动态库生成与使用-程序员宅基地

文章浏览阅读5k次。前面说了windows环境下静态库的生成和使用方法,现在来看一看windows环境下动态库的生成和使用方法。这次的代码来自《windows核心编程 第5版》中第19章“DLL基础”。 首先使用VS2008构建一个空工程,工程类型是“Win32 dynamic link library”。我们来看构建DLL模块的代码:/*****************************_windows 动态库生成与使用

linux双括号语法及双方括号语法_linux 判断数字是否相等 双括号-程序员宅基地

文章浏览阅读2k次。一般我们使用如下语法if [ expression ] theniflinux中提供了高级的双括号语法。在之前,如果要判断数字大小,大于号需要转义,否则会被认为重定向举例:[root@localhost shell]# cat test1.sh #!/bin/bashnum=10if [ num > 8 ];then echo "10>8"fi程序解释:..._linux 判断数字是否相等 双括号

springboot集成测试时@RunWith和@SpringBootTest爆红不能测试_springboot 聚合工程 @springboottest无法使用-程序员宅基地

文章浏览阅读4.8k次,点赞7次,收藏11次。场景:由于程序中从redis中获取到的值不正确,需要一个测试类测试下根据key从redis中获取到的值具体是什么。所以有了下面的代码 import lombok.extern.slf4j.Slf4j;import org.junit.Test;import org.junit.runner.RunWith;import org.springframework.beans.fact..._springboot 聚合工程 @springboottest无法使用

[使用经验] 搜集整理 i9100 含港行,欧水,国行可精简列表完整 12月8日_n9100国行精简列表-程序员宅基地

文章浏览阅读9.2k次。〔bbs.lidroid.com原创〕个性化的精简才是更适合自己的,对照列表自己动手精简吧。红色字体是要保留的,黑色字体是可以删除的,未知的和未列出的建议不要删除,以免出现什么莫名其妙的毛病,当然也不绝对,根据个人喜好操作吧。lidroid老大的rom里那些常见特色程序,比如高级设置,来电归属地,特殊代码,lidroid工具箱,主题管理,lidroid反馈等等就不一一列出了。还有那些合_n9100国行精简列表

C语言-实训任务-getchar()和putchar()函数的使用_方法一:用getchar和putchar函数显示个人名字的拼音首字母。-程序员宅基地

文章浏览阅读1.2k次。C语言-实训任务-getchar()和putchar()函数的使用任务要求编程,用getchar()读入两个字符c1、c2,然后分别用putchar()和printf()输出这两个字符代码实现#include <stdio.h>/**编程,用getchar()读入两个字符c1、c2,然后分别用putchar()和printf()输出 这两个字符,这两个字符应为你姓名首字母(如果是三字的姓名则用前两个字母)。*/int main(){ char one,two; o_方法一:用getchar和putchar函数显示个人名字的拼音首字母。

推荐文章

热门文章

相关标签