V2EX › 1462326016 的所有回复 › 第 8 页 / 共 9 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9

❮

❯

2019-10-06 19:30:28 +08:00

回复了 silenceeeee 创建的主题 › Python › Python 初学，求教一个关于 MySQLdb 转义字符的问题

据我所知，format 会自动将二进制转换为字符串，而 f 的方式不会这样做，所以打印出来会带有 b'abc'前缀。可以试试将 escape_string 后的字符串 type 下看看是什么类型的，然后 decode 下就好了

2019-08-28 11:33:37 +08:00

回复了 v1cT0r 创建的主题 › Python › 多线程 queue 问题，求助大神

@v1cT0r 但是我测试无法复现，win10 和 linux （ Ubuntu18.0.4 ）均正常

2019-08-28 10:04:43 +08:00

回复了 v1cT0r 创建的主题 › Python › 多线程 queue 问题，求助大神

别的不说，我想问下你开这么多线程干嘛？这都快两千了

2019-08-20 08:18:07 +08:00

回复了 aieike 创建的主题 › Python › 我想在 flask 里返回 pandas 生成的 Excel 表格, 但又不想保存这个文件有没有办法,跳过生成文件这个步骤? 我想到用流处理,但不知道该怎么弄

一楼的意思应该是 BytesIO ？

2019-08-16 11:27:42 +08:00

回复了 1462326016 创建的主题 › Python › 多进程队列 multiprocessing.Queue() 通过 get 方法获取数据很慢， 1000 条要 5 秒多

@wuwukai007 可以尝试在生产者中加一个 else，在队里满 10000 时 sleep 一下，应该就正常了。否则会不停地获取队列大小，占用锁导致 get 很慢。

2019-08-16 11:26:18 +08:00

回复了 1462326016 创建的主题 › Python › 多进程队列 multiprocessing.Queue() 通过 get 方法获取数据很慢， 1000 条要 5 秒多

@gravitykey 可能是因为生产者不停持有锁造成的问题，详见附言，感谢回复。

2019-08-16 11:25:02 +08:00

回复了 1462326016 创建的主题 › Python › 多进程队列 multiprocessing.Queue() 通过 get 方法获取数据很慢， 1000 条要 5 秒多

@lllllliu 哈哈，谢谢，顺便给大家留一个参考

2019-08-16 11:24:23 +08:00

回复了 1462326016 创建的主题 › Python › 多进程队列 multiprocessing.Queue() 通过 get 方法获取数据很慢， 1000 条要 5 秒多

@rogwan 应该是 windows 和 linux 的多进程实现方式不同造成的，由于我忘了加 sleep，导致不停地在获取队列大小，造成一直持有锁，所以会很慢。linux 可能进程是 fork 出来的，所以加锁方式不同或者其他原因？个人看法，未求证！

2019-08-16 10:52:14 +08:00

回复了 1462326016 创建的主题 › Python › 多进程队列 multiprocessing.Queue() 通过 get 方法获取数据很慢， 1000 条要 5 秒多

@skinny 已经找到原因了，详见附言，感谢帮助。

2019-08-16 10:22:15 +08:00

回复了 1462326016 创建的主题 › Python › 多进程队列 multiprocessing.Queue() 通过 get 方法获取数据很慢， 1000 条要 5 秒多

@BingoXuan 生产者只需保证队列中的数据达到 10000 条就不会再生产了，这时候只剩下消费者不停地 get 数据

2019-08-16 10:20:50 +08:00

回复了 1462326016 创建的主题 › Python › 多进程队列 multiprocessing.Queue() 通过 get 方法获取数据很慢， 1000 条要 5 秒多

@skinny put 元素的速度是很快的，你可以看 size 线程的输出值，几秒钟就可以生成 10000 条数据，并且在数据不足 10000 的时候再次生成数据 put 进去。所以说无论是否 time.sleep(2)，都可以保证 get 的时候队列中数据是大于 10000 的

2019-08-16 10:06:28 +08:00

回复了 1462326016 创建的主题 › Python › 多进程队列 multiprocessing.Queue() 通过 get 方法获取数据很慢， 1000 条要 5 秒多

@BingoXuan 所以说我觉得可能是 windows 平台实现方式不一样导致的？但是我记得我之前也这么用过，是没有问题的。。。。

2019-08-16 10:05:20 +08:00

回复了 1462326016 创建的主题 › Python › 多进程队列 multiprocessing.Queue() 通过 get 方法获取数据很慢， 1000 条要 5 秒多

@lllllliu 只记录了 queue 的 get 方法的耗时，所以应该就是在 get 的时候比较耗时，但是单条数据会很快，数据多了就很慢，很难 debug。。。

2019-08-14 14:17:19 +08:00

回复了 1462326016 创建的主题 › Python › 关于 asyncio 创建多个 tcp 连接，线程数不准确的问题

@gaokevin163 恩恩，这个我是了解的，可以通过自己新开线程然后在新的线程中新建事件循环达到多个线程处理 io 的目的。发帖子的目的主要就是弄清楚其他线程是干什么用的。

2019-08-14 09:39:24 +08:00

回复了 1462326016 创建的主题 › Python › 关于 asyncio 创建多个 tcp 连接，线程数不准确的问题

@cs010 非常感谢，回答正确，我试了下的确就是我想要的结果，感谢感谢！我去翻翻源码看看怎么实现的。

2019-08-14 09:21:21 +08:00

回复了 1462326016 创建的主题 › Python › 关于 asyncio 创建多个 tcp 连接，线程数不准确的问题

@BBCCBB 感谢回复，我在获取线程数量下方添加了 currentThread 函数，获取到的对象都是同一个 Thread 对象，证实了当前的十个连接都是在同一个线程上的。但是为什么单单在打开 tcp 连接的时候出现这么多线程呢？如果不打开 tcp 连接，只是把 task 函数 sleep 模拟下任务的话就只有一个主线程是活动的，线程数量总是 1。

2019-08-14 08:47:07 +08:00

回复了 1462326016 创建的主题 › Python › 关于 asyncio 创建多个 tcp 连接，线程数不准确的问题

@BBCCBB 可是我要获取的是当前线程总数量，为什么要用 currentThread 呢？

2019-08-09 10:45:58 +08:00

回复了 joson1205 创建的主题 › Python › Python 读取 Excel 超大数据文件问题

试试 openpyxl ？

2019-07-25 22:49:34 +08:00

回复了 peanuts7660 创建的主题 › Python › 有什么方法能批量将 py 文件生成 pyd 文件吗？

要学会看文档。http://docs.cython.org/en/latest/src/quickstart/build.html

2019-07-18 15:20:20 +08:00

回复了 piaochen0 创建的主题 › Python › 爬虫如何处理弹框式的登录？

图挂了。。。弹窗无非就是 ajax 请求，然后认证完给你 cookie，找到登录按钮的请求就搞定了。

1 2 3 4 5 6 7 8 9

❮

❯