Python爬虫TLS指纹校验原理底层剖析和绕过 模拟浏览器TLS/JA3指纹库curl_cffi

114次阅读
没有评论

共计 1667 个字符,预计需要花费 5 分钟才能阅读完成。

现象

如果你使用浏览器可以正常访问,但是换成代码访问的话,即使携带相同的参数,也会请求失败,获取到的数据是非正常数据,那么你可能遇到了 TLS 指纹校验。

TLS 指纹

现在绝大多数的网站都已经使用了 HTTPS(HTTP + SSL/TLS),要建立 HTTPS 链接,服务器和客户端之间首先要进行 TLS/SSL 握手(TLS 是 SSL 3.0 的后继者,现已成为标准),在握手过程中交换双方支持的 TLS 版本,加密算法等信息。

不同客户端之间的差异很大,而且一般这些信息还都是稳定的,所以服务端就可以根据 TLS 的握手信息来作为特征,识别一个请求是普通的用户浏览器访问,还是来自 Python 脚本等的自动化访问。

JA3 是生成 TLS 指纹的一个常用算法。它的工作原理也很简单,大概就是把以上特征拼接生成 MD5。TLS 指纹,也有人叫 JA3 指纹。

知道了 TLS 指纹的原理,那就有了绕过 TLS 指纹校验的大致思路:

  • 修改指纹信息,使生成的 MD5 发生变化
  • 直接模拟浏览器指纹

查看指纹信息

通过网站查看

ja3_hash 就是浏览器的指纹信息。

通过工具查看

Wireshark 是非常流行的网络封包分析软件,简称小鲨鱼,功能十分强大。可以截取各种网络封包,显示网络封包的详细信息。

Wireshark 官网:https://www.wireshark.org/

选择要捕获的网卡,接着在过滤栏设置过滤条件进行数据包列表过滤,如筛选目标 IP:ip.dst_host==115.155.81.93

点击 Info 列显示 Client Hello 所在行这个数据包,找到「Transport Layer Security」点击它,展开再展开,拉到最下边找到 [JA3: bc0f30896620d2820b102005d763d1e5],就是浏览器的指纹信息 MD5。

[JA3 Fullstring] 分别对应:TLS Version, Cipher Suites, Extensions, supported_groups, ec_point_formats。

如何绕过

非法指纹黑名单

直接修改 Client Hello 包 Ciphers 里的值。

import httpx
import ssl

# 创建 SSL 上下文
ssl_context = ssl.create_default_context()
CIPHERS = ":".join(["DH+AES", "RSA+AESGCM", "RSA+AES", "!aNULL", "!eNULL", "!MD5", "!DSS"]
)
ssl_context.set_ciphers(CIPHERS)

url = "https://match.yuanrenxue.cn/api/match/19"
r = httpx.get(url, verify=ssl_context)
print(r.text)

不同 TLS 版本对应的套接字可参考:https://support.huaweicloud.com/bestpractice-waf/waf_06_0012.html

合法指纹白名单

Python 目前只能改 Ciphers 里面的算法套件,来生成非默认的 JA3 指纹,然后骗过检测不太严格的反爬机制。

对于校验更严格的反爬机制,需用到一个第三方库:curl_cffi。(

GitHub 仓库地址:https://github.com/yifeikong/curl_cffi

from curl_cffi import requests

# url = https://ascii2d.net/
# url = https://cn.investing.com/equities/amazon-com-inc-historical-data
url = "https://match.yuanrenxue.cn/api/match/19"
# impersonate 参数指定模拟哪个浏览器
r = requests.get(url, impersonate="chrome101")
print(r.text)

正文完
 0
三毛笔记
版权声明:本站原创文章,由 三毛笔记 于2024-01-05发表,共计1667字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)