Toapi - 让任何一个网站提供 API 接口.

[prasanta]

Github: https://github.com/gaojiuli/toapi

Toapi

这个项目的意义在于让一个没有提供 API 的网站拥有 API 接口。

安装

• pip install toapi
• pip install git+https://github.com/gaojiuli/toapi/

使用

from pprint import pprint

from toapi import XPath, Item, Api

api = Api('https://news.ycombinator.com/')

class Post(Item):
    url = XPath('//a[@class="storylink"][1]/@href')
    title = XPath('//a[@class="storylink"][1]/text()')

    class Meta:
        source = XPath('//tr[@class="athing"]')
        route = '/'

api.register(Post)

pprint(api.parse('/'))

api.serve()

然后你就让一个网站提供了 api 服务。 那些没有 api 的网站，就让我们自己给他们弄上 api 接口！

Github: https://github.com/gaojiuli/toapi

[naiba]

@xingzhi +1

你这个没什么卵用。当服务用的话就是个爬虫 /反向代理，访问量大了指定被 ban，买代理的话成本又高。
本地用的话自己想怎么爬怎么爬，两分钟搞定的事情不需要用这个。

最后：没什么卵用😒

[zyqf]

如何处理 js ？

[prasanta]

@xingzhi
@naiba
1. 同一个 url 只访问一次, 缓存系统
2. 和通常爬虫相比最大的优势是自动实时更新

[prasanta]

@zyqf 这个库用的是 selenium 加载异步页面