首页   注册   登录
 Yingruoyuan 最近的时间轴更新

Yingruoyuan

V2EX 第 214343 号会员,加入于 2017-02-10 09:08:50 +08:00
1 G 31 S 84 B
有没有方法对 windows 版微信接收到的图片自动进行批量处理
Python  •  Yingruoyuan  •  2017-10-10 15:27:42 PM  •  最后回复来自 Hzzone
10
scrapy 如何在一个 spider 中指定对应 pipeline 输出到多张表中
Python  •  Yingruoyuan  •  2017-07-04 16:09:46 PM  •  最后回复来自 Yingruoyuan
12
scrapy 下载图片到 4w 张左右总是会卡住
Python  •  Yingruoyuan  •  2017-06-08 12:52:23 PM  •  最后回复来自 noobpythoner
15
针对 ajax 的 post 请求,怎样转化为 Python 版?
Python  •  Yingruoyuan  •  2017-05-08 14:29:08 PM  •  最后回复来自 Yingruoyuan
2
Yingruoyuan 最近回复了
2017-12-07 09:38:02 +08:00
回复了 nannanziyu 创建的主题 分享创造 Mac 开源工具 - 截图并通过在线 OCR API 识别文字
支持楼主,请问下楼主,我想弄个 python 版的练练手,但没有 swift 和 oc 基础,看懂你这个项目大概需要多久?
2017-10-10 15:06:40 +08:00
回复了 Yingruoyuan 创建的主题 Python 有没有方法对 windows 版微信接收到的图片自动进行批量处理
@NaVient,这个蛮有用的,我试下,谢谢!
@dreamcracker @bfbd @demen,谢谢
2017-10-10 10:08:42 +08:00
回复了 Yingruoyuan 创建的主题 Python 有没有方法对 windows 版微信接收到的图片自动进行批量处理
@zjsxwc 这是种方法,我等下试下
2017-10-10 10:07:53 +08:00
回复了 Yingruoyuan 创建的主题 Python 有没有方法对 windows 版微信接收到的图片自动进行批量处理
@dcty,我找了下这些目录下,没有对方发过来的图片,难道是手机端不能同时登陆的原因?
2017-07-04 16:09:46 +08:00
回复了 Yingruoyuan 创建的主题 Python scrapy 如何在一个 spider 中指定对应 pipeline 输出到多张表中
@rebeccaMyKid 谢谢,思路很有帮助;
只是我用的是 sqlarchemy 来插入到 mysql 里面,如果写入到文件里,在爬取结束之后我还是要导入到数据库的,所以在性能可以承受的情况下,直接导入可能会更省事些
2017-07-04 15:50:26 +08:00
回复了 Yingruoyuan 创建的主题 Python scrapy 如何在一个 spider 中指定对应 pipeline 输出到多张表中
@1130335361 @knightdf @seven2016,谢谢各位解惑!
我找到原因了,我的问题是因为我自己写的 sqlarchemy 的 models 模块和 scrapy 的 items.py 冲突了,pipelines 里面用 models 代替了 item,所以会出现混乱的无法找到指定的 pipeline 来进行对应操作;
解决方法是在 pipelines 中只保留一个 spider 对应一个 pipelines,这个 spider 的所有数据输出都经过这一个 pipeline 来处理,然后把各个 items 加入 pipelines.py 中,再利用 item.__class__做判断是哪一种 item 数据类型,来决定插入哪张表就可以解决了
2017-07-04 15:06:17 +08:00
回复了 Yingruoyuan 创建的主题 Python scrapy 如何在一个 spider 中指定对应 pipeline 输出到多张表中
@1130335361 有指定呢,在 settings.py 里面和 spider 的 custom_settings = { 'ITEM_PIPELINES':{}}里都指定了呢,但是输出数据的时候会只输出到了一张表里,比如商品信息和店铺信息都写在了商品表里面
2017-07-04 14:52:13 +08:00
回复了 Yingruoyuan 创建的主题 Python scrapy 如何在一个 spider 中指定对应 pipeline 输出到多张表中
@knightdf 我又 google 了一些资料,但是越看越迷糊了;
生成了 item 之后,yield 传递到 pipeline,在 pipelines.py 我定义了多个 class 来处理不同的数据,但我在 spider 里面获取到数据后该怎么让对应的 pipeline 来处理呢?
2017-07-04 14:32:35 +08:00
回复了 Yingruoyuan 创建的主题 Python scrapy 如何在一个 spider 中指定对应 pipeline 输出到多张表中
@seven2016 我有定义 item 及 pipeline 来对应不同的表结构,但是不明白在 spider 中把指定的数据输入到指定的表中?我现在遇到了所有的数据都输入到一张表中,另外一张表没有数据输入的现象
@knightdf ,可以一个 spider 抓取多个 pipeline 的数据吗?因为涉及到关联的对应关系,想一起抓下来
用 python 脚本并发控制,然后把脚本放在 crontab 里
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2474 人在线   最高记录 5043   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 18ms · UTC 15:00 · PVG 23:00 · LAX 07:00 · JFK 10:00
♥ Do have faith in what you're doing.