如何批量更新一个10w条记录的数据库？求思路。。。

2012-12-01 22:23:04 +08:00
 kenneth
测试数据10w条记录都通过抓取得来，能否通过Twisted长连接，监测有没有更新？
通过gevent来异步更新数据？
还是通过python-rq让队列来批量更新mysql中的数据？
求思路？
4045 次点击
所在节点    Python
5 条回复
picasso250
2012-12-01 23:50:37 +08:00
将纪录划分成N份，摘要之？

纯粹抛砖引玉。
lonelybug
2012-12-01 23:56:24 +08:00
分批量更新，每次1000条之类的。
dreampuf
2012-12-02 00:27:38 +08:00
10W这种量级，一条SQL，你问完了，也就跑完了。
songpengf117
2012-12-02 10:19:19 +08:00
重新抓取10W记录，要多长时间？
picasso250
2012-12-03 14:08:09 +08:00
楼上问的问题貌似蛮重要的

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/53849

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX