pycharm 问题

2018-07-16 18:11:20 +08:00
 jmjiafan
用 pycharm 爬取网页显示不全，用 fiddler 抓包看来是全的，再用 python 自来的 ide 也是全是这是用问题，都是 requests 抓
3110 次点击
所在节点    Python
11 条回复
ranleng
2018-07-16 18:34:12 +08:00
"也是全是这是用问题"... <-- 真的懂不了
pycharm 和 爬出来的全不全应该没有关系... 就一个 IDE...
herozhang
2018-07-16 18:34:13 +08:00
可能网页有一部分是 js 动态加载或者生成的。
你走浏览器抓，自然浏览器就执行了这些 js。
而 requests 抓，这部分就没执行，自然就木有了。

可以了解一下 selenium 这个库
herozhang
2018-07-16 18:35:21 +08:00
Selenium + PhantomJS
Leigg
2018-07-16 18:39:46 +08:00
怪 ide，过分了兄 dei
pabupa
2018-07-16 18:49:47 +08:00
厉害了～
jimmy2010
2018-07-16 20:03:52 +08:00
根据你的描述我得出一个结论，既然都是 requests 出问题，那应该怪 requests，而不是 pycharm
PureWhite
2018-07-16 20:04:51 +08:00
可能是 python 出的问题，更可能是写 Python 用的 C 出的问题。
anyele
2018-07-16 20:31:46 +08:00
厉害了
jrtzxh020
2018-07-17 08:35:31 +08:00
pycharm 躺着也能中枪..
lieh222
2018-07-17 09:33:06 +08:00
我猜是宇宙射线干扰了内存，导致丢失了这部分数据
zhuangzhuang1988
2018-07-17 09:46:57 +08:00
咋能怪 ide 呢， 怪操作系统。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/471344

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX