V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
工单节点使用指南
• 请用平和的语言准确描述你所遇到的问题
• 厂商的技术支持和你一样也是有喜怒哀乐的普通人类,尊重是相互的
• 如果是关于 V2EX 本身的问题反馈,请使用 反馈 节点
netnr

吐槽爬虫(来自火山引擎 IP)伪装 UserAgent

  •  
  •   netnr · Jul 19, 2025 · 3111 views
    This topic created in 283 days ago, the information mentioned may be changed or developed.
    IP Count
    180.184.145.7 11353
    180.184.147.195 5781
    106.92.145.252 234

    China Beijing
    Beijing Volcano Engine Technology Co. Ltd.

    前三名的 IP 请求统计,前面两个都是火山引擎的 IP ,不清楚这个是火山引擎自己的爬虫还是卖给用户的云服务器,UserAgent 不带 Bot 而是伪装正常的用户访问,非常鄙视这种行为,网站本身对爬虫无限制,但是将爬虫进行了分类,方便统计有效的用户数据,而这种行为有被恶心到。

    图片说明

    12 replies    2025-07-19 14:14:54 +08:00
    nomagick
        1
    nomagick  
       Jul 19, 2025
    什么叫伪装

    用 LLM 操纵浏览器访问你的网站,UA 是浏览器,算 bot 还是算正常用户
    用程序操纵浏览器访问你的网站,UA 是浏览器,算 bot 还是算正常用户
    用浏览器插件访问你的网站,UA 是浏览器,算 bot 还是算正常用户
    用户用 Curl 访问你的网站,UA 是 Curl ,算 bot 还是算正常用户

    世界是在不断发展的,现实和你的假设不一致,你吐槽现实说真恶心,有意义么
    netnr
        2
    netnr  
    OP
       Jul 19, 2025
    附一张同一时段的爬虫统计 @nomagick

    abcopp
        3
    abcopp  
       Jul 19, 2025
    这个是什么统计
    netnr
        4
    netnr  
    OP
       Jul 19, 2025
    UserAgent 识别使用的是 https://github.com/matomo-org/device-detector 数据

    从日志记录看 还特意改了版本号

    H97794
        5
    H97794  
       Jul 19, 2025
    @nomagick 的确应该与时俱进...







    netnr
        6
    netnr  
    OP
       Jul 19, 2025
    @abcopp ,这是自己站点开发的,UserAgent 识别 + 纯真 IP 解析 + DuckDB + ECharts
    Seanfuck
        7
    Seanfuck  
       Jul 19, 2025
    火山有搜索 api 业务的
    ClericPy
        8
    ClericPy  
       Jul 19, 2025
    借路问一句

    现在大模型调用浏览器访问网页,遵循 robots 吗
    nomagick
        9
    nomagick  
       Jul 19, 2025   ❤️ 1
    @netnr 现在无头浏览器,SSL 指纹伪装都是基操,还有大量基于 Chrome 或者 Electron 的各类应用和浏览器, 早就没办法只通过 UA 就精准分类用户了。
    jimages123
        10
    jimages123  
       Jul 19, 2025
    现在的基操,都是访问直接先做一段计算工作,要求使用 js 进行计算出结果才能继续访问了
    netnr
        11
    netnr  
    OP
       Jul 19, 2025
    @nomagick @jimages123 正规军还是遵循的,至少不会像现在这样故意伪装随机版本号
    abcopp
        12
    abcopp  
       Jul 19, 2025
    直接限流吧,根据 ip 。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3269 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 48ms · UTC 14:07 · PVG 22:07 · LAX 07:07 · JFK 10:07
    ♥ Do have faith in what you're doing.