V2EX › wxf666 的所有回复 › 第 25 页 / 共 37 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 21 22 23 24 25 26 27 28 29 30 ... 37

❮

❯

2022 年 9 月 20 日

回复了 monetto 创建的主题 › 程序员 › Python 操作 SQLite 异常

@monetto 9 楼给的官方文档说了，一个 connection 内同时读写的行为是未定义的。即，按道理，是有问题的

你试试每个线程一个 connection ？

2022 年 9 月 20 日

回复了 monetto 创建的主题 › 程序员 › Python 操作 SQLite 异常

我这里测试没崩啊

Windows 10
Python 3.10
PyCharm 2021

另外，根据[文档]( https://sqlite.org/isolation.html )所说，你不应该在同一个连接内同时读写数据库，此行为未定义

最后，贴代码起码用下 Markdown 啊。回复用不了就算了，帖子还不用。。

2022 年 9 月 16 日

回复了 KIRAYOMATO 创建的主题 › 问与答 › 安卓和 pc 互传文件的最佳方案？

我目前使用以下方式，在资源管理器中，通过 Z 盘访问安卓手机的 /sdcard：

- 安卓端 Termux 上启动 `sshd`
- 电脑端 cmd 运行 `net use Z: \\sshfs.kr\192.168.1.2!8022\storage\emulated\0`

前提：

1. Windows 安装 [SSHFS-Win]( https://github.com/winfsp/sshfs-win )
2. Windows SSH 公钥已放入 Termux 的 `~/.ssh/authorized_keys`

2022 年 9 月 15 日

回复了 dfgddgf 创建的主题 › 程序员 › 请问最佳的爬虫语言是什么

@zzl22100048

> 高并发下有概率出现读取 tcp 流的异常和 broken pipe 异常；

Emm 。。反正我做了错误检测，超时 /错了就重试。也不知道频不频繁

> session 不能携带之前的 cookie ；

也没注意这个问题，因为爬的小说不要求登录。。

2022 年 9 月 15 日

回复了 dfgddgf 创建的主题 › Perl › 一段 perl 代码展示如何 all in one 优雅地编写一个异步爬虫

@dfgddgf 感觉脚本语言的网络库、正则库、网页解析库等，底层应该都是 C/C++ 实现的吧

Python 、Perl 、Ruby 速度应该差不多的

perl 好像是文本处理较为优势，听说搞生物的常用？

2022 年 9 月 15 日

回复了 dfgddgf 创建的主题 › Perl › 一段 perl 代码展示如何 all in one 优雅地编写一个异步爬虫

@dfgddgf 你在上一个帖子的意思，不是『如何用最少的人工，写出速度最快的爬虫』嘛

感觉你有几亿数十亿页面要爬取解析来着。。

所以想看看你最后，是如何用最优雅的姿势，写出最能压榨机器性能的爬虫的

2022 年 9 月 15 日

回复了 dfgddgf 创建的主题 › Perl › 一段 perl 代码展示如何 all in one 优雅地编写一个异步爬虫

@dfgddgf 你本地测试，平均每秒能爬下来并解析多少页面呢

想看看这 perl 的效率如何

2022 年 9 月 15 日

回复了 dfgddgf 创建的主题 › Perl › 一段 perl 代码展示如何 all in one 优雅地编写一个异步爬虫

每秒大概能爬多少个页面？

2022 年 9 月 15 日

回复了 dfgddgf 创建的主题 › 程序员 › 请问最佳的爬虫语言是什么

@zzl22100048 有啥 bug 吗？我用这个库爬了好多小说了

@dfgddgf 我提供一个 Python 异步 + 多线程的数据：

环境：Redmi Note 5 （高通骁龙 636 ）的 Linux Deploy 里，Debian 11 arm64 ，Python 3.10 ，百兆 WIFI ，电池供电

流程：sqlite3 读取网址，aiohttp 并发下载多个章节，json 解析，每本书所有章节合并成一个 json ，编码成 UTF-16 ，多线程 lzma 压缩，每一千本保存一个 tar

速度：峰值 700 章节 /秒（每个章节需下载一个页面，大约在凌晨 3 点 ~ 7 点）

2022 年 9 月 15 日

回复了 ztoben 创建的主题 › Python › Python 如何删除文件中指定范围的内容？

@ztoben seek 再 write 能满足吗？

2022 年 9 月 15 日

回复了 dfgddgf 创建的主题 › 程序员 › 请问最佳的爬虫语言是什么

@sunnysab 你 python 用啥做 html 的 parser ？ lxml 的速度也不够吗？

2022 年 9 月 15 日

回复了 ztoben 创建的主题 › Python › Python 如何删除文件中指定范围的内容？

啥意思。。

比如 a.part.1 、a.part.2 、a.part.3 ，每个 1MB ，合并成 3MB 的 a.txt ？

但 a.part.3 有可能写入不完整？

下次继续运行时，需要重新在 a.txt 的 2MB 处，写入 a.part.3 ？

2022 年 9 月 15 日

回复了 sickick 创建的主题 › Python › lstrip()问题

[文档]( https://docs.python.org/zh-cn/3/library/stdtypes.html?highlight=lstrip#str.lstrip )说：

> 实际上 chars 参数并非指定单个前缀；而是会移除参数值的所有组合

因为 'o' in "/root/kyApi/wwwroot/transfer/avatar-"，所以也会移除

> 参见 [str.removeprefix()]( https://docs.python.org/zh-cn/3/library/stdtypes.html?highlight=lstrip#str.removeprefix ) ，该方法将删除单个前缀字符串，而不是全部给定集合中的字符

你应该想用 str.removeprefix("/root/kyApi/wwwroot/transfer/avatar-")

2022 年 9 月 15 日

回复了 wanqiuyao 创建的主题 › Android › 现安卓手机信号这块哪个品牌好一点

@cweijan 你们现在一般用 5G 干啥？

我开了 5G ，耗电变快了，但网络体验没有提高太多（原来 4G 也够用）

2022 年 9 月 15 日

回复了 maichaide 创建的主题 › Linux › Linux 下好用的磁盘空间分析应用 baobab

感觉 ncdu 和这个很像

2022 年 9 月 15 日

回复了 wanqiuyao 创建的主题 › Android › 现安卓手机信号这块哪个品牌好一点

好像不怎么见过吐槽安卓信号问题的？更常见的是卡顿问题？

2022 年 9 月 15 日

回复了 shxxy 创建的主题 › 问与答 › 内网传大文件夹的工具

实在不行，用 BT 软件做个种，另一台电脑下载也行啊（狗头）