Scrapy 的结果如何处理？

[caizixian]

用Scrapy爬了一些数据，弄成了JSON。
接下来有搜索的需要。
JSON类似于
{"name":.....,"para1":.....,"para2":.....,}

需求就是模糊搜索name，输出para1，para2。
JSON文件大约300多MB，十几万行。
求高效的处理方式。

顺便问一下，用Python处理较大的JSON文件有什么好办法？还是说直接上C Binding？

Thx！

[linnchord]

十几万行 放数据库不是挺好吗

[caizixian]

@Livid @binux 有什么建议吗？

[tennix]

这种 json 数据最适合放到文档数据库里了，比如 mongodb， mongo 的查询功能也算比较强大

[binux]

1、放内存
2、放数据库
3、放elasticsearch

[yakczh]

scrapy检测网站内容更新有什么好的方案？

[Moker]

我现在也存成了JSON 可是 存数据库老是出错...