V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
azev
V2EX  ›  问与答

做爬虫 首先考虑用高并发?

  •  
  •   azev · 74 天前 · 878 次点击
    这是一个创建于 74 天前的主题,其中的信息可能已经有所发展或是发生改变。
    除非遇到限制才会搞延时仿真?
    高并发一般怎么个高法 同时发出去多少个请求呢?
    11 条回复    2022-09-22 09:17:37 +08:00
    superrichman
        1
    superrichman  
       74 天前 via Android   ❤️ 2
    首先考虑刑法
    azev
        2
    azev  
    OP
       74 天前
    @superrichman 给你一个赞
    kera0a
        3
    kera0a  
       74 天前
    不是海量数据+海量代理 IP ,没必要考虑并发问题。
    我爬过的大站点都有频率限制,小站点扛不住并发,基本没条件去高并发爬。
    herozzm
        4
    herozzm  
       74 天前
    首先考虑的是 ip 库,爬虫很容易被封 ip 的
    picone
        5
    picone  
       74 天前
    看瓶颈在哪。如果爬取的数据没有时效性,慢慢爬就行了
    xiao109
        6
    xiao109  
       74 天前
    首先考虑可以爬,像 mvnrepository.com 这种站点你连第一步都展开不了
    gumupaier
        7
    gumupaier  
       74 天前
    首先考虑如何进去
    lyang
        8
    lyang  
       74 天前
    我看刑
    gezimonkey
        9
    gezimonkey  
       74 天前
    首先考虑不被抓
    IvanLi127
        10
    IvanLi127  
       74 天前
    首先考虑如何不影响对方业务,避免变成攻击行为。。。。
    abc0123xyz
        11
    abc0123xyz  
       73 天前
    考虑蹬缝纫机
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2773 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 53ms · UTC 15:14 · PVG 23:14 · LAX 07:14 · JFK 10:14
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.