V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Kirscheis  ›  全部回复第 35 页 / 共 48 页
回复总数  942
1 ... 31  32  33  34  35  36  37  38  39  40 ... 48  
google photos 和 aws s3 啊。。。不知道多少年前的照片都还在。 s3 有个长期保存计划,便宜到发指,而且从来没有丢过我的数据。
2016-02-22 14:05:29 +08:00
回复了 wangleineo 创建的主题 问与答 怎样设计一个分布式的爬虫服务?
这样是否可行?
worker 首先 parse ,之后把抽取的 url 返回给 master ,然后从 master 的 waiting list 领取下一个 request 。
master 维护一个保存着爬过的 url 的库, worker 返回的所有链接用 bloomfilter 快速检查是否爬过,然后把没爬过的加入 waiting list 。
2016-02-20 13:36:28 +08:00
回复了 ahcat 创建的主题 问与答 想在阿里云买个便宜的套餐,请问谁有优惠码?
带返利的推荐码 hme7nw ,应该是 9 折,不知楼下有没有更低的
LOL

这个厉害啊,太人性化了
2016-02-15 21:30:40 +08:00
回复了 libook 创建的主题 V2EX 为什么没有人使用 V2 的赞和踩功能呢?
评分不能踩成负数,这算 bug 还是 feature?
2016-02-13 23:20:48 +08:00
回复了 liuxl8964 创建的主题 macOS 完蛋了 我不小心把整個盤放進垃圾桶裏了
厉害😂。这个算 bug 还是 feature ?
2016-02-12 23:02:01 +08:00
回复了 mianju 创建的主题 程序员 第一次写爬虫,爬了课程格子的校花榜
发现自己并不会用 python2 。。直接用 scrapy 重构了
2016-02-12 22:04:41 +08:00
回复了 mianju 创建的主题 程序员 第一次写爬虫,爬了课程格子的校花榜
@mianju 我试试加个多线程功能。另外对方返回的本来就是 serialize 了的 json 格式,感觉可以多保存点信息,比如说直接保存 pretty-print 的 jsonline 文件之类的。。
2016-02-12 22:00:32 +08:00
回复了 mianju 创建的主题 程序员 第一次写爬虫,爬了课程格子的校花榜
@mianju 原来是这样。测试了一下你的爬虫,图片只下载了前二十张就卡住了 (bug?) 。。。单线程下载爬速确实感人。另外返回的图片 url 可以直接去掉后面的 !300x300 ,这样就可以下载到原图了。
2016-02-12 19:02:56 +08:00
回复了 mianju 创建的主题 程序员 第一次写爬虫,爬了课程格子的校花榜
设备 token 是什么。。没用过课程格子,这个东西是需要用类似 mitm 抓包的方法拿到的吗?还是算法生成的?
另外看到代码 cookie 里写死的_kecheng_session ,确定这个值不会改变吗。。?
2016-02-11 11:51:07 +08:00
回复了 supman 创建的主题 问与答 怎么彻底毁掉一个移动硬盘呢?
邮寄给我吧,我帮你处理😇🌝
如果你有公网 IP 那么本来就是暴露在公网上的,动态解析域名即可

如果你在内网那么一般需要内网穿透,开个 ngrok 就可以了,但是自己开个 ngrok 也是需要有公网 IP 的服务器的,不如直接把应用放到服务器上。。。
2016-02-05 15:57:18 +08:00
回复了 Gem 创建的主题 Python Scrapy 支持 python3(转帖发布)
赞一个,现在就去试试
2016-02-02 17:45:14 +08:00
回复了 JeffreyLau 创建的主题 Sublime Text SublimeText 自动补全引号的问题
你可以直接再输一个双引号就移出去了
2016-01-31 08:57:23 +08:00
回复了 introom 创建的主题 问与答 osx 下有什么软件可以限制软件网络访问?
防火墙啊。 little snitch 之类
2016-01-30 22:16:06 +08:00
回复了 cqcn1991 创建的主题 问与答 求教一个 Python import 的问题
写到一个文件里然后手动写 __all__ 然后在其他文件里 from import * 不就得了,但是这么省一行代码有啥意义。。不方便读代码,也不能节省开销
说明大家都安装了抢红包插件
最近写超小的东西常常用 Atom ,颜值不错,但是大一点的东西打开就卡死了。。。
2016-01-28 11:47:26 +08:00
回复了 openbaby 创建的主题 问与答 你们,能打开必应吗?
不对,忘了关翻墙,不翻墙打不开了
1 ... 31  32  33  34  35  36  37  38  39  40 ... 48  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3387 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 37ms · UTC 11:47 · PVG 19:47 · LAX 03:47 · JFK 06:47
Developed with CodeLauncher
♥ Do have faith in what you're doing.