100 万行的 xml 文件存入数据库,文件每周更新,求解最佳办法?

2016-03-17 11:45:22 +08:00
 Sparty

已经用 python 写好了读取文件并存入数据库的程序,但现在不知道更新功能应该如何实现。如果是从 mysql 把数据拿下来并一一比较的话太耗时。 现在想到的一个方法是写一个 python class 储存所有 xml 里面的内容,然后利用旧文件和新文件创造两个 instance ,并比较得出区别。想问问大家这个是否是最佳选择?

文件内容是一家公司的产品,内容就是<product>(中间有很多 subtag 包含产品具体描述)</product>。

不允许抹掉数据库重新载入内容。文件内的产品信息会改变, 产品本身也会有增删的情况。每个产品有独立的型号。

4667 次点击
所在节点    Python
21 条回复
yangqi
2016-03-17 21:50:23 +08:00
数据库设计没问题的话难道不是直接 insert into ... on duplicate key update 么?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/264149

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX