分块读取 hdfs 数据,一条数据分为多条

2018-06-01 09:28:27 +08:00
 ylxw
请问在读取 hdfs 文件的时候,采用分块 chunksize 读取数据,但怎么会把一条数据拆分成多条呢?
with client.read(full_path,encoding='utf-8',chunk_size=10000) as reader:
for piece in reader:
piece=piece.split('\n')
for line in piece:
print(line)

本来数据是 2018-05-01|weorjerjsfj|worjwelfjs|
结果读出来的数据是 2018-05-01|weo
rjerjsfj|worjwelfjs|分别显示了两条记录
871 次点击
所在节点    问与答
1 条回复
RmanzzZ
2019-04-19 11:06:21 +08:00
老哥问题解决了吗 遇到同样问题了 不知道怎么处理

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/459457

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX