如何批量更新一个10w条记录的数据库?求思路。。。

2012-12-01 22:23:04 +08:00
 kenneth
测试数据10w条记录都通过抓取得来,能否通过Twisted长连接,监测有没有更新?
通过gevent来异步更新数据?
还是通过python-rq让队列来批量更新mysql中的数据?
求思路?
4033 次点击
所在节点    Python
5 条回复
picasso250
2012-12-01 23:50:37 +08:00
将纪录划分成N份,摘要之?

纯粹抛砖引玉。
lonelybug
2012-12-01 23:56:24 +08:00
分批量更新,每次1000条之类的。
dreampuf
2012-12-02 00:27:38 +08:00
10W这种量级,一条SQL,你问完了,也就跑完了。
songpengf117
2012-12-02 10:19:19 +08:00
重新抓取10W记录,要多长时间?
picasso250
2012-12-03 14:08:09 +08:00
楼上问的问题貌似蛮重要的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/53849

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX