Toapi - 让任何一个网站提供 API 接口.

[prasanta]

Github: https://github.com/gaojiuli/toapi

Toapi

这个项目的意义在于让一个没有提供 API 的网站拥有 API 接口。

安装

• pip install toapi
• pip install git+https://github.com/gaojiuli/toapi/

使用

from pprint import pprint

from toapi import XPath, Item, Api

api = Api('https://news.ycombinator.com/')

class Post(Item):
    url = XPath('//a[@class="storylink"][1]/@href')
    title = XPath('//a[@class="storylink"][1]/text()')

    class Meta:
        source = XPath('//tr[@class="athing"]')
        route = '/'

api.register(Post)

pprint(api.parse('/'))

api.serve()

然后你就让一个网站提供了 api 服务。 那些没有 api 的网站，就让我们自己给他们弄上 api 接口！

Github: https://github.com/gaojiuli/toapi

[580a388da131]

很好玩 一只只的小爬虫么

[q8515620]

想法不错，赞

[prasanta]

@580a388da131 和爬虫有点像，只不过不爬数据，做中间转发的感觉

[wzw]

有点意思, 任何网站?

[Zzzzzzzzz]

yahoo 有个 yql.....

[prasanta]

@wzw 浏览器能访问的网站就行，原理就是把 html 按照一定规则转为 json。

[prasanta]

@Zzzzzzzzz 酷，我就打算做这种感觉的东西。又孤陋寡闻了。Yahoo 这个能在本地部署不

[mlyy]

idea 点赞！快速看了下代码，这个玩意如何处理 ajax 请求得到的数据？还有，requests 的请求头，user-agent 要怎么写也是个蛋疼的问题。。。。。。

[LeungJZ]

有木有其他版本？

[prasanta]

@mlyy ajax 用 selenium 处理，这个已经在本地分支写好了。头部这些都能自定义。

[prasanta]

@LeungJZ 你指的是？

[kingcos]

酷！ Star，有机会研究下

[fy]

羡慕有想法又有行动力的大佬

[xiaozizayang]

我也有这个想法 但随后又想 这就是一个小爬虫框架啊 就没弄 支持楼主 想去贡献下😍😍

[renyijiu]

Star，想法挺有意思的

[prasanta]

@xiaozizayang 有一个问题没有解决，就是 XPath 选择出来的结果是一个 list, 但是期望的是一个字符串.

[virusdefender]

这种写法不错

[widewing]

api 格式可以自定义吗？

[xiaozizayang]

@prasanta 抱歉 ，刚看到，我没用 xpath 不过我发现 cssselector 也有这个问题 我已经解决了并提交 pr，我还提交了一些参数的优化 比如 requests 的 get 支持 headers，flask 的一些 options 参数传递问题，新增加了一个用 css 提取写的豆瓣 demo

[xiaozizayang]

关于 xpath 的解决方式，我另一个项目和你这个项目的目标值提取方式很像，我当时的解决方式是让使用者自己定义一个函数在 Item 的继承类里面，比如
``` python
from talonspider import Item, TextField, AttrField
from pprint import pprint

try:
bool(type(unicode))
except NameError:
unicode = str


class DoubanItem(Item):
target_item = TextField(css_select='div.item')
title = TextField(css_select='span.title')
cover = AttrField(css_select='div.pic>a>img', attr='src')
abstract = TextField(css_select='span.inq')

def tal_title(self, title):
# 这里当返回是 list，让使用者在自己定义的这个函数里解决
if isinstance(title, unicode):
return title
else:
return ''.join([i.text.strip().replace(u'\xa0', '') for i in title])
```
项目地址 https://github.com/howie6879/talonspider

如果你觉得可以 我们可以改成这样子去解决

[simpleapples]

requirement.txt 里少了 requests 提了一个 pr

[woshichuanqilz]

这个运行起来怎么调用 api, 小白求指点。 比如就是这个例子里面的代码。

[lvwzhen]

https://wrapapi.com/

[prolic]

挺有意思的

[prasanta]

@widewing 这个作为数据提供，你可以自己写 API 服务，然后包装一下这个数据。

[prasanta]

@woshichuanqilz 直接访问网址就可以了，内置服务器是 flask

[prasanta]

@lvwzhen 这个项目和我的思路差不多。可惜不开源

[scriptB0y]

可以进一步做成 ifttt

[donmen]

有没有具体的用法啊，感觉玩不转呢。

[LeungJZ]

@LeungJZ php node。

[nyanyh]

赞，以前就想实现了，可惜行动力不足，只做了几个特定网站的支持就烂尾了

[prasanta]

@donmen 暂时只有几个案例在 example 目录下面。文档会和 1.0 版一起发布。

[prasanta]

@LeungJZ 暂时没有哦，期待有兴趣朋友实现一下。

[woshichuanqilz]

@prasanta
我看这个就是一个爬虫的效果, 这个 api 在哪里调用?


[dassh]

能不能返回多级信息？举个例子：你那

[dassh]

@dassh 不小心点到 enter。。。
你那个电影的例子，返回的是标题的和链接，而想要的是标题和链接里的下载地址

[fhefh]

已 start~~~

[prasanta]

@woshichuanqilz 直接运行就行了，访问本地的网址 127.0.0.1:5000/，内置的 flask，可以有 flask 功能。路由通过 Meta.route 配置

[prasanta]

@dassh 可以呀，下一层配置新的 item 就行了，匹配下一层的路由

[xingzhi]

没访问几次就被 ban 了

[naiba]

@xingzhi +1

你这个没什么卵用。当服务用的话就是个爬虫 /反向代理，访问量大了指定被 ban，买代理的话成本又高。
本地用的话自己想怎么爬怎么爬，两分钟搞定的事情不需要用这个。

最后：没什么卵用😒

[zyqf]

如何处理 js ？

[prasanta]

@xingzhi
@naiba
1. 同一个 url 只访问一次, 缓存系统
2. 和通常爬虫相比最大的优势是自动实时更新

[prasanta]

@zyqf 这个库用的是 selenium 加载异步页面