from concurrent.futures import ThreadPoolExecutor
insert_executor = ThreadPoolExecutor(max_workers=20)
_TOTAL_TEST_DATA_NUMBERS = 5000000
_INSERT_DATA_BLOCK_SIZE = 500
def data_generator():
ret_data = []
for i in range(1, _TOTAL_TEST_DATA_NUMBERS + 1):
data = {"id": i}
ret_data.append(data)
if len(ret_data) >= _INSERT_DATA_BLOCK_SIZE:
yield ret_data
ret_data.clear()
yield ret_data
def data_process(data):
value = max(data, key=lambda item: item["id"])
print("max id {}".format(value["id"]))
if __name__ == '__main__':
dg = data_generator()
for d in dg:
insert_executor.submit(data_process, d)
data_generator,生成一个大小是 500 的数组,最大 id 是 5000000,理论上每次生成的最大 id 是能被 500 整除的。
实际上,data_process 打印出来的 id,总是会出现类似 4855854 这样的不规则数字,和 data_generator 函数生成的数据理论上不一致,请问是什么原因?有大哥指导一下吗?
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.