新型 Python 爬虫框架 gain: 基于 asyncio, uvloop 和 aiohttp.

[prasanta]

Gain

github 地址: https://github.com/gaojiuli/gain/

gain 是为了让每大家能够轻松编写 python 爬虫, 它使用了 asyncio, uvloop 和 aiohttp.

准备

• Python3.5+

安装

pip install gain

用法

Write spider.py:

from gain import Css, Item, Parser, Spider


class Post(Item):
    title = Css('.entry-title')
    content = Css('.entry-content')

    async def save(self):
        with open('scrapinghub.txt', 'a+') as f:
            f.writelines(self.results['title'] + '\n')


class MySpider(Spider):
    start_url = 'https://blog.scrapinghub.com/'
    parsers = [Parser('https://blog.scrapinghub.com/page/\d+/'),
               Parser('https://blog.scrapinghub.com/\d{4}/\d{2}/\d{2}/[a-z0-9\-]+/', Post)]


MySpider.run()

run python spider.py

案例

案例在 /example/ 目录下.

github 地址: https://github.com/gaojiuli/gain/

[awolfly9]

mark

[MIROKY]

wow 马克

[charove]

感觉好叼。。。

[qs]

win 平台不支持 uvloop, 建议做个适配

[prasanta]

@qs 多谢测试

[maze1024]

aiohttp 的 http 解析配合 uvloop 不是很高效，建议看看 uvloop 的实现 https://github.com/MagicStack/httptools

[isaced]

建议把输出结果文件的操作封装一下用起来更舒服

[PythonAnswer]

uvloop win 跑不了啊

[prasanta]

@maze1024 感谢你的意见，我去测试

[prasanta]

@isaced 你有什么好的想法么，我现在是让使用者自定义 save()函数。不知道你的封装是指？

[prasanta]

@PythonAnswer 看了楼上的意见，我准备暂时移除 uvloop

[chuanqirenwu]

不错，感谢作者的分享，已转发到 Pythonzhcn 社区，不知道是否允许？

[prasanta]

@chuanqirenwu 可以

[pythonee]

mark

[hellogbk]

我这些天在用 pyquery 的时候是到一个问题，如果网页是以
<?xml version="1.0" encoding="UTF-8"?>
开头的则 pyquery 会出错。 不知道楼主有没有遇到。

[prasanta]

@hellogbk pyquery 没有支持 xml 文件吧？

[hbmask]

mark 一下

[hellogbk]

@prasanta #16
我碰到的是 HTML 文件，但是文件开头写着的却是<?xml version="1.0" encoding="UTF-8"?>
然后 pyquery 就出错了。

[prasanta]

@hellogbk pyquery 已经够好用了，你这种情况建议使用 lxml

[pb941129]

mark 一下