继续求教 scrapy 问题 如何忽略某些被隐藏元素的页面?

2016-08-23 16:39:20 +08:00
 xiaoyu9527

抓帖子 有些帖子被隐藏了。 如何才能忽略这些隐藏的帖子

def parse_item(self, response):
   l = ItemLoader(item=MeizituItem(), response=response)
   l.add_xpath('name', '//html/body/div[1]/div[2]/div/div[2]/div[1]/div[1]/article/header/div[1]/h1/text()')
   l.add_xpath('tags', '//html/body/div[1]/div[2]/div/div[2]/div[1]/div[1]/article/header/div[2]/div[2]/span/ul/li/a/div/text()')
   image_url=l.add_xpath('image_urls', '//html/body/div[1]/div[2]/div/div[2]/div[1]/div[1]/article/div[1]/div/div/img/@src',Identity())
   print image_url
   l.add_value('url', response.url)
   yield l.load_item()

我现在这样抓 如果 image_url 是抓不到的 好像就会报错。。

1429 次点击
所在节点    问与答
1 条回复
imcocc
2016-08-23 20:51:32 +08:00
看看能写正则忽略不

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/301230

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX