V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  patrickpu  ›  全部回复第 21 页 / 共 21 页
回复总数  412
1 ... 12  13  14  15  16  17  18  19  20  21  
2025 年 5 月 21 日
回复了 weiwenhao 创建的主题 程序员 我写了一个编程语言,受 golang 启发
还没有 net 标准库吗
2025 年 5 月 20 日
回复了 bianYuX 创建的主题 生活 吐槽一下最近糟心的事情
退一步越想越气
2025 年 5 月 20 日
回复了 touchfishcc 创建的主题 华为 谁会买华为的新电脑?
v 站一堆人一说到 hw 就是歇斯底里,这也不行那也不是,10 年后别人还是发展的好好的
2025 年 5 月 20 日
回复了 touchfishcc 创建的主题 华为 谁会买华为的新电脑?
有些人只是自我标榜,人云亦云,情绪输出
2025 年 5 月 20 日
回复了 helloword001 创建的主题 职场话题 牛马程序员,今天被组长训了一顿
@damnthatsfunny 三观还是要跟着五官走,新手村都不想加班整天想屁吃
2025 年 5 月 19 日
回复了 asdfghjklqwertyu 创建的主题 华为 华为发布了,大家觉得能成么
看个热闹,暂不评价,先让子弹飞一会吧
2025 年 5 月 16 日
回复了 xz410236056 创建的主题 职场话题 被强迫写鸿蒙怎么搞
屌毛,直接炒老板,没必要委屈自己,有技术哪里不能吃这碗饭
2025 年 4 月 3 日
回复了 Fike 创建的主题 iDev 考研结束了想学习 ios 开发,请问推荐 flutter 还是 Swift ?
@Fike 计算机考 408 的都是 985 吧
2025 年 2 月 21 日
回复了 cjlalalala 创建的主题 Web Dev API 请求体字段定义询问各位大佬。
把这个不听话的实习生开了
2025 年 2 月 20 日
回复了 zqlcrow 创建的主题 程序员 全栈自研和基于 Git,冲突吗?
@fengleiyidao 哪里都不缺年薪百万的屌毛
2022 年 3 月 18 日
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
性能慢主要慢在两个方面,一个是 python 的 for 循环,一个是获取 sql 查询数据。
pymysql 是纯 python 的,而 python 的 for 循环性能是很低的,低的惨不忍听,数据量不大还好,当你一次要处理+10w 数据的时候性能就很感人了,最好的方法是用 cython 把.py 转成动态链接库.so 的形式,会有明显的加速效果。
当你查询的数据量大了后,pymysql 等 python 客户端执行的结果集获取是通过游标分块获取的,也就是说查询 1w 的数据,数据库往返请求可能会有 100 次,这些请求都是串行的是透明的,优化的方向可以考虑通过多线程并发,按 id 分块读,同时指定 limit
见 pymysql 的 cursor_iter:
def cursor_iter(cursor, sentinel, col_count, itersize):
"""
Yield blocks of rows from a cursor and ensure the cursor is closed when
done.
"""
try:
for rows in iter((lambda: cursor.fetchmany(itersize)), sentinel):
yield rows if col_count is None else [r[:col_count] for r in rows]
finally:
cursor.close()
1 ... 12  13  14  15  16  17  18  19  20  21  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   910 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 30ms · UTC 20:59 · PVG 04:59 · LAX 13:59 · JFK 16:59
♥ Do have faith in what you're doing.