V2EX › Yc1992 的所有回复 › 第 72 页 / 共 77 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 64 65 66 67 68 69 70 71 72 73 ... 77

❮

❯

2016-04-14 14:58:06 +08:00

回复了 guolingbing 创建的主题 › Python › 求助 Scrapy 的问题

@fengxiang 说明 schedule 里面的 request 太多了, 使用 Debugging memory leaks with trackref 看一下，或者设置下爬取页面上限， scrapy 有接口

2016-04-14 13:38:54 +08:00

回复了 guolingbing 创建的主题 › Python › 求助 Scrapy 的问题

@fengxiang ctrl + c 只按一次可以停止并返回当前爬取的结果

2016-04-14 11:29:34 +08:00

回复了 guolingbing 创建的主题 › Python › 求助 Scrapy 的问题

@guolingbing 一般都这样写啊，写多了就适应了，我一开始写爬虫 parse 也长的可怕，后来就拆分了。

2016-04-14 10:39:12 +08:00

回复了 guolingbing 创建的主题 › Python › 求助 Scrapy 的问题

yield 一个 request ，设置不同的回调 parse

2016-04-07 08:52:59 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@knightdf 额我记得直接 timeout 导致 connection close 了

2016-04-07 08:51:32 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@ffwalle 框架方便了我们这些初级码农写一些还不算太糟糕的爬虫，不过越写越发现确实很多地方被框架所限，谢谢你的建议~

2016-04-06 17:37:02 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@knightdf 试过，直接 timeout 了，太慢了

2016-04-06 16:09:02 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@chinvo 是个不错的建议，我再想想，谢谢~

2016-04-06 16:06:48 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@cxh116 是的，但是生产环境只有 10.04 ，很多依赖需要手工编译，然后被否决了。。。

2016-04-06 15:11:03 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@davidzhang 使用 splash 服务的 scrapy 爬虫吗？

2016-04-06 14:56:10 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@chinvo 不是难度问题，是项目经理不允许使用。

2016-04-06 14:27:19 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@cxh116 见楼上，实际情况是项目部署上 splash 不被允许，需要使用 docker

2016-04-06 14:25:37 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@chinvo 这不就成了一个服务了吗？还要去监控和守护？

2016-04-06 14:24:35 +08:00

回复了 Yc1992 创建的主题 › Python › 求教 scrapy 的一个问题，困扰了很久。

@appleandbanana 如果没有特别的限制，建议你用 scrapyjs ，比 phantomjs 好用得多，加上一个中间件，渲染效果很好。

2016-04-04 12:32:51 +08:00

回复了 garyzhang 创建的主题 › 职场话题 › 好学校和一般学校的计算机专业，找工作时有什么区别？

是。

2016-04-01 09:57:08 +08:00

回复了 redhatping 创建的主题 › 职场话题 › 魔都创业公司，招聘销售人员遇到麻烦，无责任底薪 3000 招不到人

涨工资。。。

2016-03-28 18:23:49 +08:00

回复了 zhangchioulin 创建的主题 › 求职 › "拉钩"投递了好多份简历，但是都说"不匹配"，请大家看看我的简历，还有什么地方需要改进？

标点符号，半角全角混用。中英文符号混用。

2016-03-26 17:28:58 +08:00

回复了 panamera 创建的主题 › 问与答 › 你们会把这样的技术交给公司吗？

楼主收徒吗。。。

2016-03-21 18:15:11 +08:00

回复了 linpf 创建的主题 › 求职 › [北京]求职-16 届本科毕业生-PHPer

北航 13k 那个妹子就没人吐槽，果然学校很重要。

2016-03-21 10:10:58 +08:00

回复了 publicAdmin 创建的主题 › 成都 › 软件园租房租房租房，价位价位。

北京 1700/month 8 平米去哪说理

1 ... 64 65 66 67 68 69 70 71 72 73 ... 77

❮

❯