Python 读取 txt 数据存 mangodb

[QGabriel]

我现在的读取存方法太慢了,希望大佬能给点建议提升效率.

def file_name(url):
for root, dirs, files in os.walk(url):
for i in range(len(files)):
f = open('c:/test/txt/file/' + files[i][:files[i].index('.txt')] + '.txt')
next(f)
for j in f:
res = j.split(' ')
obj = {}
for k in res:
if len(res) > 2:
obj = {
"trade_date": res[0],
"time": res[1],
"open": float(res[2]) if res[2] else '',
"high": float(res[3]) if res[3] else '',
"low": float(res[4]) if res[4] else '',
"close": float(res[5]) if res[5] else '',
"vol": float(10)
}
if obj and obj['trade_date'] != '':
name = files[i][:files[i].index('.txt')]
origin = client['abc'][name]
origin.insert_one(obj)
# print()
print(i, files[i][:files[i].index('.txt')], 'end')

file_name('c:/test/txt/file/')



txt 文件:
B2210 豆二 2210 1 分钟线 前复权
日期 时间 开盘 最高 最低 收盘 成交量 持仓量 结算价
20211025 0901 3853 3853 3853 3853 0 0 0

[kaedeair]

任务切块扔进程池

[tairan2006]

你不要一条一条插啊…批量写入

[CaptainD]

用 pandas 批量处理 txt ，然后批量构建 obj ，再插入，然后再分块多进程，这个思路是不是好点

[vhysug01]

这类型数据我存过，用的是 bcolz 存的，文件形式落盘

[httplife]

空白键换成 , 另存为 csv. 然后 import?

[root000]

https://www.mongodb.com/docs/database-tools/mongoimport/

可以试试官方的工具 但是需要转下文件格式 目前只支持 JSON, CSV, or TSV

目前在用这个来导

[SenLief]

把 txt 先整成 csv ，那就效率高了。