pyspider 是最好用的爬虫之一?

2016-12-13 19:23:22 +08:00
 only0jac
答:我不知道。折腾两天了,没用上。我傻。

我先是在 win 上安装的,安装完后看了下文档,直接运行 pyspider ,然后在 web 中写代码?(一脸懵逼)

好吧,那就命令行运行 pyspider ,出现如下:


(此时我以为这就行了)
打开 localhost:5000 ,无法连接?什么鬼?

卸载重装,又重启系统,终于成功一次,原来后面还有……

打开后没样式,看了下是又拍云的 cdn 不行,挂上梯子解决。

总算是没问题了,赶紧 create 一个试试吧,用的 demo ,运行后:


网络问题?应该不是,因为我直接访问 start_url 是可以打开的,并且我也挂了全局梯子( 127.0.0.1 不走代理),也是不行。

这个问题到目前为止都没解决,心想难道是 win 系统问题?问了下别人,别人也说有这个问题,但只是偶尔出现,并非像我一样一直是这样。

那我换到 linux 下试试吧,centos7 ,virtualenv ……

进入虚拟环境,继续命令行 pyspider ,这次直接报了一大堆错,挨个看,系统编码不行啊、没有 sqite3 模块啊(说是我编译 py3 的时候没弄完整,需要卸载 py3 重新编译,想想那个麻烦的过程,还是不编译了……)

再次回到 win 下,结果就一直如图一,直接打不开了……

累……

希望有碰到过这种情况的同学能告知下,万分感激!
7876 次点击
所在节点    Python
25 条回复
only0jac
2016-12-14 09:12:22 +08:00
@shijingshijing

第一张图并没有跑起来,只是出现一个 warnning 一个 info 后就没有然后了,一直卡在这里,完整的跑起来是最后出现 0.0.0.0:5000

@binux
chenkun0128
2016-12-14 09:15:35 +08:00
心疼楼主+1
VicYu
2016-12-14 10:08:32 +08:00
@binux 看这个标题,我以为是要撕逼了.
zianeCui
2016-12-14 12:01:26 +08:00
dsg001
2016-12-14 20:45:09 +08:00
win7+py3.5 , pip install pyspider ,安装完成直接打开,完全没问题

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/327408

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX