Scrapy 的相关分页怎么写？

[xiaoyu9527]

最近学习与练习 scrapy 终于会基本的改规则了。（当然只限于下载图片 数据处理那部分还没学）

http://www.jdlingyu.moe/cosplay/page/2/

目标站

内容页已经会采集了。

但是他的链接分页是 相关分页 也就是第一页的时候只显示 23 最后一页。

如何才能写的规则 我改的妹子图的分页规则是 直接抓取（因为妹子图是完整分页）

    pages = sel.xpath('//*[@id="pagenavi"]/a/@href').extract()
    print('pages: %s' % pages)
    if len(pages) > 2:
        page_link = pages[-2]
        request = scrapy.Request('http://www.jdlingyu.moe/cosplay/page/%s/' % page_link, callback=self.parse)
        yield request
        
        请问一下应该怎么写？
        
        感谢 GOD

[582033]

愣是没看明白。。。

[laoyur]

期待楼主发 Scrapy 系列教程……

url 已经告诉你真相 http://www.jdlingyu.moe/cosplay/page/2/
解完一页后，直接根据当前 url 构造下一个 request 不就完了嘛，当然，这样不是并发
真要并发的话，你直接根据 url 构造成百上千个 request 扔出去，再加上 delay 、限流控制不就欧了

[xiaoyu9527]

@582033 我现在不知道 scrapy 怎么采集相关分页的。

[xiaoyu9527]

@laoyur 有没有相关案例教程。 你光这样说我也不懂呀。 懂我精通了我会写一些发出来的

[laoyur]

@xiaoyu9527 说清楚思路后需要你自己去实现，总不能什么都别人帮你做好吧
再说具体一点，你现在的情况比较简单， url 中不是有 page/2/这种嘛，说明你想爬哪一页，就直接构造对应的 url 就行了，那么最简单的实现，比如你要爬前 1000 页，就为你的 spider.start_urls 插入 一千个 url ，从 page/1/一直到 page/1000/不就完了嘛，你自己在 setting 里面设置好限流频次之类的， Scrapy 会自己逐个去抓

[xiaoyu9527]

@laoyur 构造 PAGES 页的 URL 。 这种比较简单么。 我想学习爬取 PAGES 页然后剔除重复 这样对待不规则的 URLS 也可以用。

不是要针对这个给。

[laoyur]

直接拿到『下一页』的 url
//a[@title='下一页']/@href

[xiaoyu9527]

class MeizituSpider(scrapy.Spider):
name = "meizitu"
allowed_domains = ["jdlingyu.moe"]
start_urls = []
#获取全部翻页链接
for pn in range(1,29):
url = 'http://www.jdlingyu.moe/cosplay/page/%s/' % pn
start_urls.append(url)

我把构造 pages 页写成这样了。 但是不知道为啥他并不能抓取到所有的 pages 页。 是因为并发太高的原因导致被防攻击了么？

另外谁知道 scrapy 的日志放在哪里么？

[samael]

@xiaoyu9527 scrapy 的日志需要自己重定向到自己想要保存的文件里

[xiaoyu9527]

@samael 我去百度一下 谢谢。

[xiaoyu9527]

http://scrapy-chs.readthedocs.io/zh_CN/latest/topics/logging.html

看不懂呀。。

[582033]

@xiaoyu9527
https://github.com/582033/scrapy_test
之前写的一个抓 itjuzi 数据的，跟你的需求应该是一样，你可以参考参考

[xiaoyu9527]

@582033

感谢。 我去学习一下分页抓取 现在是直接生成的。

[xiaoyu9527]

继续请教 现在是内页 分页 怎么破？

[xiaoyu9527]

[root@localhost fun_crawler]# wget http://www.xiumm.cc/albums/Goddess-2.html
--2016-08-19 19:41:03-- http://www.xiumm.cc/albums/Goddess-2.html
正在解析主机 www.xiumm.cc... 127.0.0.1
正在连接 www.xiumm.cc|127.0.0.1|:80... 已连接。
已发出 HTTP 请求，正在等待回应... 404 Not Found
2016-08-19 19:41:18 错误 404 ： Not Found 。
这是什么鬼呀。。 怎么这个域名解析成 127.0.0.1 了。