## cURL

以谷歌浏览器为例：

1. 在网页内右键【检查】，选择【Network】
2. 右键单击某个请求， 点击"Copy" → "Copy as cURL (bash)"

## curlconverter

可以将cURL命令转换为Python/Javascript/PHP等[爬虫](__GHOST_URL__/tag/crawler/)代码，非常的实用。

在cURL页面中，粘贴复制的cURL命令，页面会自动生成相应的爬虫代码。

注意：复制的cURL命令可能包含cookies或其他敏感数据。如果与他人分享命令，请务必小心，向某人发送cookies就像向他们发送密码一样。

## 网站地址

官网：[https://curlconverter.com/](https://curlconverter.com/)


curlconverter-将cURL命令转换为Python/JavaScript/PHP爬虫代码

## 现象

如果你使用浏览器可以正常访问，但是换成代码访问的话，即使携带相同的参数，也会请求失败，获取到的数据是非正常数据，那么你可能遇到了TLS指纹校验。

## TLS指纹

现在绝大多数的网站都已经使用了HTTPS（HTTP + SSL/TLS），要建立HTTPS链接，服务器和客户端之间首先要进行TLS/SSL握手（TLS是SSL 3.0的后继者，现已成为标准），在握手过程中交换双方支持的TLS版本，加密算法等信息。

不同客户端之间的差异很大，而且一般这些信息还都是稳定的，所以服务端就可以根据TLS的握手信息来作为特征，识别一个请求是普通的用户浏览器访问，还是来自Python脚本等的自动化访问。

JA3是生成TLS指纹的一个常用算法。它的工作原理也很简单，大概就是把以上特征拼接生成MD5。TLS指纹，也有人叫JA3指纹。

知道了TLS指纹的原理，那就有了绕过TLS指纹校验的大致思路：

- 修改指纹信息，使生成的MD5发生变化
- 直接模拟浏览器指纹

## 查看指纹信息

### 通过网站查看

- [https://tls.browserleaks.com/json](https://tls.browserleaks.com/json)
- [https://tls.peet.ws/](https://tls.peet.ws/)

ja3_hash就是浏览器的指纹信息。

### 通过工具查看

Wireshark是非常流行的网络封包分析软件，简称小鲨鱼，功能十分强大。可以截取各种网络封包，显示网络封包的详细信息。

Wireshark官网：[https://www.wireshark.org/](https://www.wireshark.org/)

选择要捕获的网卡，接着在过滤栏设置过滤条件进行数据包列表过滤，如筛选目标IP：`ip.dst_host==115.155.81.93`。

点击Info列显示Client Hello所在行这个数据包，找到「Transport Layer Security」点击它，展开再展开，拉到最下边找到 [JA3: bc0f30896620d2820b102005d763d1e5]，就是浏览器的指纹信息MD5。

[JA3 Fullstring] 分别对应：TLS Version, Cipher Suites, Extensions, supported_groups, ec_point_formats。

## 如何绕过

### 非法指纹黑名单

直接修改Client Hello包Ciphers里的值。 import httpx import ssl

# 创建SSL上下文

ssl_context = ssl.create_default_context()
CIPHERS = ":".join(
["DH+AES", "RSA+AESGCM", "RSA+AES", "!aNULL", "!eNULL", "!MD5", "!DSS"]
)
ssl_context.set_ciphers(CIPHERS)

url = "https://match.yuanrenxue.cn/api/match/19"
r = httpx.get(url, verify=ssl_context)
print(r.text)

不同TLS版本对应的套接字可参考：[https://support.huaweicloud.com/bestpractice-waf/waf_06_0012.html](https://support.huaweicloud.com/bestpractice-waf/waf_06_0012.html)

### 合法指纹白名单

Python目前只能改Ciphers里面的算法套件，来生成非默认的JA3指纹，然后骗过检测不太严格的反爬机制。

对于校验更严格的反爬机制，需用到一个第三方库：curl_cffi。（

GitHub仓库地址：[https://github.com/yifeikong/curl_cffi](https://github.com/yifeikong/curl_cffi)

from curl_cffi import requests # url = https://ascii2d.net/ # url = https://cn.investing.com/equities/amazon-com-inc-historical-data url = "https://match.yuanrenxue.cn/api/match/19" # impersonate参数指定模拟哪个浏览器 r = requests.get(url, impersonate="chrome101") print(r.text)


Python爬虫TLS指纹校验原理底层剖析和绕过 模拟浏览器TLS/JA3指纹库curl_cffi

## SmashingDocs

是一个在线免费文档模版素材资源网站，网站提供精心设计的日常办公Word文档模板，包括简历模版、计划模版、发票模版和证书模版四大分类。用户无需学习设计技能，只需使用Word文档即可创建具有设计感的精美文档，所有模板均为现成创作的免费文件，可直接下载、修改个人内容并打印。

因为作者是一位在平面设计领域拥有近20年经验的专业人士，擅长制作简单而优雅的作品。出于对设计的热爱，他创建了这个免费模板网站，所有网站中的模板资源版权归作者所有，虽可用于个人和商业用途，但仍需遵守版权规定，详细信息请查看网站中作者的许可证说明。

## 网站地址

SmashingDocs：[https://smashingdocs.com/](https://smashingdocs.com/)


SmashingDocs-免费文档模版素材资源网站 可编辑打印

## 🎉 写在前面

这个博客即将迎来它的第二个周年。在此之前，我曾数次尝试，更换过多个域名，它们大多停留在一两年的光景。这一次，我将域名直接注册了十年，决心将「阿伯手记」长久地经营下去。

感谢每一位到访的朋友，是你们在评论里的每一次互动、对博客模板的每一句赞美、乃至投稿的每一次询问，汇聚成了我持续写作与分享的坚实动力。独立博客之路不易，是你们的陪伴让我走得更加坚定。🙏

## ❤️ 支持与赞助

您的支持是我保持更新的最大动力。以下是支持本站的几种方式，任选其一，都令我感激不尽。
方式如何支持您的获益**💖 日常支持**将本站加入收藏夹，或偶尔点击页面广告免费的帮助，带来宝贵的流量与微薄的服务器补贴☕ **请喝咖啡**通过下方二维码自愿打赏，金额随意您的慷慨将直接用于网站运营，支撑本站稳定运行🎁 **深度支持**赞助后[**邮件联系我**](__GHOST_URL__/work-with-me/)，升级为**赞助会员**解锁专属内容与资源，成为社区核心成员
## 💰 赞助通道
![](https://thumbsnap.com/i/Nurt1agx.jpg)
感谢您的关注与任何形式的支持！


支持阿伯手记

Python网络爬虫领域两个最新的比较火的工具莫过于httpx和parsel了。

## httpx和parsel

httpx号称下一代的新一代网络请求库，不仅支持requests库的所有操作，还能发送异步请求。

parsel最初集成在著名Python爬虫框架Scrapy中，后独立出来成立一个单独的模块，支持XPath选择器、CSS选择器和正则表达式等多种解析提取方式, 据说相比于BeautifulSoup解析效率更高。

## 多线程代码

    from fake_useragent import UserAgent
    import csv
    import re
    import time
    from parsel import Selector
    import httpx
    import threading
    class HomeLinkSpider(object):
    def init(self):
    self.data = list()
    self.path = "浦东_70_90平_500_800万.csv"
    self.url = "https://sh.lianjia.com/ershoufang/pudong/a3p5/"
    def get_max_page(self):
        response = httpx.get(self.url, headers={&quot;User-Agent&quot;: UserAgent().random})
        if response.status_code == 200:
            # 创建Selector类实例
            selector = Selector(response.text)
            # 采用css选择器获取最大页码div Boxl
            a = selector.css('div[class=&quot;page-box house-lst-page-box&quot;]')
            # 使用eval将page-data的json字符串转化为字典格式
            max_page = eval(a[0].xpath(&quot;//@page-data&quot;).get())[&quot;totalPage&quot;]
            print(f&quot;最大页码数：{max_page}&quot;)
            return max_page
        else:
            print(&quot;请求失败 status:{}&quot;.format(response.status_code))
            return None
    
    # 解析单页面，需传入单页面url地址
    def parse_single_page(self, url):
        print(f&quot;多线程开始爬取：{url}&quot;)
        response = httpx.get(url, headers={&quot;User-Agent&quot;: UserAgent().random})
        selector = Selector(response.text)
        ul = selector.css(&quot;ul.sellListContent&quot;)[0]
        li_list = ul.css(&quot;li&quot;)
        for li in li_list:
            detail = dict()
            detail[&quot;title&quot;] = li.css(&quot;div.title a::text&quot;).get()
    
            #  2室1厅 | 74.14平米 | 南 | 精装 | 高楼层(共6层) | 1999年建 | 板楼
            house_info = li.css(&quot;div.houseInfo::text&quot;).get()
            house_info_list = house_info.split(&quot; | &quot;)
    
            detail[&quot;bedroom&quot;] = house_info_list[0]
            detail[&quot;area&quot;] = house_info_list[1]
            detail[&quot;direction&quot;] = house_info_list[2]
    
            floor_pattern = re.compile(r&quot;\d{1,2}&quot;)
            match1 = re.search(floor_pattern, house_info_list[4])  # 从字符串任意位置匹配
            if match1:
                detail[&quot;floor&quot;] = match1.group()
            else:
                detail[&quot;floor&quot;] = &quot;未知&quot;
    
            # 匹配年份
            year_pattern = re.compile(r&quot;\d{4}&quot;)
            match2 = re.search(year_pattern, house_info_list[5])
            if match2:
                detail[&quot;year&quot;] = match2.group()
            else:
                detail[&quot;year&quot;] = &quot;未知&quot;
    
            # 文兰小区 - 塘桥    提取小区名和哈快
            position_info = li.css(&quot;div.positionInfo a::text&quot;).getall()
            detail[&quot;house&quot;] = position_info[0]
            detail[&quot;location&quot;] = position_info[1]
    
            # 650万，匹配650
            price_pattern = re.compile(r&quot;\d+&quot;)
            total_price = li.css(&quot;div.totalPrice span::text&quot;).get()
            detail[&quot;total_price&quot;] = re.search(price_pattern, total_price).group()
    
            # 单价64182元/平米， 匹配64182
            unit_price = li.css(&quot;div.unitPrice span::text&quot;).get()
            detail[&quot;unit_price&quot;] = re.search(price_pattern, unit_price).group()
    
            self.data.append(detail)
    
    def parse_page(self):
        max_page = self.get_max_page()
    
        thread_list = []
        for i in range(1, max_page + 1):
            url = f&quot;https://sh.lianjia.com/ershoufang/pudong/pg{i}a3p5/&quot;
            t = threading.Thread(target=self.parse_single_page, args=(url,))
            thread_list.append(t)
    
        for t in thread_list:
            t.start()
    
        for t in thread_list:
            t.join()
    
    def write_csv_file(self):
        head = [&quot;标题&quot;, &quot;小区&quot;, &quot;房厅&quot;, &quot;面积&quot;, &quot;朝向&quot;, &quot;楼层&quot;, &quot;年份&quot;, &quot;位置&quot;, &quot;总价(万)&quot;, &quot;单价(元/平方米)&quot;]
        keys = [
            &quot;title&quot;,
            &quot;house&quot;,
            &quot;bedroom&quot;,
            &quot;area&quot;,
            &quot;direction&quot;,
            &quot;floor&quot;,
            &quot;year&quot;,
            &quot;location&quot;,
            &quot;total_price&quot;,
            &quot;unit_price&quot;,
        ]
    
        try:
            with open(self.path, &quot;w&quot;, newline=&quot;&quot;, encoding=&quot;utf_8_sig&quot;) as csv_file:
                writer = csv.writer(csv_file, dialect=&quot;excel&quot;)
                if head is not None:
                    writer.writerow(head)
                for item in self.data:
                    row_data = []
                    for k in keys:
                        row_data.append(item[k])
                    writer.writerow(row_data)
                print(f&quot;Write a CSV file to path {self.path} Successful.&quot;)
        except Exception as e:
            print(&quot;Fail to write CSV to path: %s, Case: %s&quot; % (self.path, e))
    
    if name == "main":
    start = time.time()
    home_link_spider = HomeLinkSpider()
    home_link_spider.parse_page()
    home_link_spider.write_csv_file()
    end = time.time()
    print(f"耗时：{end - start:.2f}秒")

参考：[https://pythondjango.cn/python/advanced/3-httpx-parsel-requests-comparision/](https://pythondjango.cn/python/advanced/3-httpx-parsel-requests-comparision/)


httpx和parsel组合实现Python多线程爬虫

这里是 aboss.top 的自留地。写了十几年野路子代码，攒了些摸爬滚打的经验，做成系列课程慢慢讲；也留了一小块地方，记记代码之外的胡思乱想。