V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  cxh116  ›  全部回复第 42 页 / 共 91 页
回复总数  1818
1 ... 38  39  40  41  42  43  44  45  46  47 ... 91  
2019-05-09 11:28:45 +08:00
回复了 anypwx 创建的主题 职场话题 昨天下午被 hr 约谈
离职不能领失业保险,辞退可以
2019-05-06 20:14:19 +08:00
回复了 caneman 创建的主题 Python Scrapy 效率瓶颈
@caneman 你得确认瓶颈在什么地方?
假如网页通过代理访问,60 秒才返回一个页面.这样就算你 1000 个并发. 1000 / 60 = 16.6 .这样算每秒最多也就是 16 个而已.

假如网页解析比较费时,这个问题就更加不好解决.因为毕竟这种类似于阻塞的调用.


你可以登录 telnet 用 est() 查看一下状态,分析一下原因 https://docs.scrapy.org/en/latest/topics/telnetconsole.html
可以看一下 engine.scraper.slot.queue 的实现,这里应该可以取到你要的队列大小值.

你还可以尝试用你自己的 redis 这种方案,启用多个进程,看看有没有提升.
2019-05-06 15:50:16 +08:00
回复了 caneman 创建的主题 Python Scrapy 效率瓶颈
数据是怎么保存的? 用的是同步还是异步调用.在 pipline 用同步阻塞方式去保存数据的话,会阻塞整个抓取调度的.

https://leehodgkinson.com/blog/scrapy-pipelines/
2019-04-16 15:44:13 +08:00
回复了 mitraillette 创建的主题 职场话题 被产品经理阴了一吧,咋办
这功能需求文档上面没有写.
这功能任务描述里面没有写.

口口相传的话,就是他没说.
2019-04-11 08:43:40 +08:00
回复了 xcaptain 创建的主题 Linux Linux 快速备份系统
我直接用 cp -a 命令,新硬盘分好区,挂载,每个分区执行 cp 拷文件,改 fstab,改引导。1 小时就从 128g 的 ssd 换成 256g 的 ssd,顺便还完美的扩展分区的大小。
2019-04-09 17:50:49 +08:00
回复了 wesall100200 创建的主题 程序员 萌新求问, Golang 和 C++我应该选择哪一个作为备用语言?
C/C++ .太多的基础库是用它们来写的. 比如数据库驱动,Java Python PHP 语言的实现.

不要求熟练,至少要能看懂.
2019-04-09 12:01:29 +08:00
回复了 imherer 创建的主题 程序员 用户 ID 应该如何设计?
@imherer 引用文档 " If you need your ids to consist of only numbers, check out Optimus. It's based on Knuth's integer hash method and produces obfuscated integer ids (and does it faster too). There are PHP and Go implementations. "
2019-04-09 11:45:09 +08:00
回复了 imherer 创建的主题 程序员 用户 ID 应该如何设计?
2019-04-08 07:37:46 +08:00
回复了 baojiwei 创建的主题 Go 编程语言 go 是个好语言
Go 语言的优点,缺点和令人厌恶的设计 https://studygolang.com/articles/12907
2019-04-04 07:58:57 +08:00
回复了 mk52 创建的主题 全球工单系统 希望通过 V2EX 的工单系统解决与 weixin_crawler 作者的纠纷
@shiny 用了一年,没有被封。反正是新注册的小号,无所谓。
2019-04-03 11:26:19 +08:00
回复了 mk52 创建的主题 全球工单系统 希望通过 V2EX 的工单系统解决与 weixin_crawler 作者的纠纷
@alexsunxl 也是用 "登陆后台调用搜索接口" 这种方式,多搞些公众号来抓,这样不容易被封. 麻烦点就是手机自动扫描登录,目前是用 android 机的自写的 xposed 模块实现的.
2019-04-02 18:07:08 +08:00
回复了 mk52 创建的主题 全球工单系统 希望通过 V2EX 的工单系统解决与 weixin_crawler 作者的纠纷
微信爬虫这么赚钱,感觉可以把自己写的那套微信爬虫提取出来卖钱?

不过这种感觉开源出来就容易被封,自己偷偷的用差不多.

https://www.shidaipinpai.com/articles
抓取了 70 多万的数据,然后并没有什么用,一天 10 多个 ip,没点收入来源.
2019-03-29 08:00:51 +08:00
回复了 h123123h 创建的主题 职场话题 离职交接工作期间你们还改 bug 吗
正常改,不加班。
2019-03-28 09:36:40 +08:00
回复了 heyjianjun 创建的主题 职场话题 准备离职了,想送给部门同事一个礼物,求推荐
@zhouyou457 有证据可以证明是谁的话,这种应该可以按照 <破坏计算机信息系统罪> 判刑吧?


第 286 条 违反国家规定,对计算机信息系统功能进行删除、修改、增加、干扰,造成计算机信息系统不能正常运行,后果严重的,处 5 年以下有期徒刑或者拘役;后果特别严重的,处 5 年以上有期徒刑。

违反国家规定,对计算机信息系统中存储、处理或者传输的数据和应用程序进行删除、修改、增加的操作,后果严重的,依照前款的规定处罚。

https://zh.wikipedia.org/wiki/%E7%A0%B4%E5%9D%8F%E8%AE%A1%E7%AE%97%E6%9C%BA%E4%BF%A1%E6%81%AF%E7%B3%BB%E7%BB%9F%E7%BD%AA
2019-03-22 12:19:48 +08:00
回复了 n121 创建的主题 分享发现 Chrome 下载 tar.gz 大小异常(被解压)
提 Bug 给 erlang 官网,让他们设置一下 Web 服务的 mime type .
2019-03-21 08:57:01 +08:00
回复了 szq8014 创建的主题 程序员 有多少 vimer 遇到过这个场景然后一通瞎按退出的? ::doge::
ctrl c
1 ... 38  39  40  41  42  43  44  45  46  47 ... 91  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2457 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 53ms · UTC 15:43 · PVG 23:43 · LAX 07:43 · JFK 10:43
Developed with CodeLauncher
♥ Do have faith in what you're doing.