robotstxt - 我用 Rust 重写了 Google 的 robotstxt 解析库

[Wichna]

我把 Google 的 robotstxt 解析库 port 到 rust 了，并且用 FFI 的方式跑通了 C++的测试用例。感兴趣的朋友欢迎 star 🥳

地址：https://github.com/Folyd/robotstxt

robotstxt

A native Rust port of Google's robots.txt parser and matcher C++ library.

• Native Rust port, no third-part crate dependency
• Preserves all behavior of original library
• Consistent API with original library
• 100% google original test passed

Installation

[dependencies]
robotstxt = "0.2.0"

Quick start

use robotstxt::DefaultMatcher;

let mut matcher = DefaultMatcher::default();
let robots_body = "user-agent: FooBot\n\
                   disallow: /\n";
assert_eq!(false, matcher.one_agent_allowed_by_robots(robots_body, "FooBot", "https://foo.com/"));

[tikazyq]

只能 rust 用么？有不有 py 的接口?

[Wichna]

@tikazyq Python 可以调用 rust 版本的库

[tulongtou]

@tikazyq 可以用 pyO3 封装成 python 扩展

[jimmyismagic]

@tikazyq 本来就是 c++的，为什么还要转换成 rust 后再转成 python

[leoleoasd]

差点看成 floyd hhh

[Wichna]

@leoleoasd 哈哈哈，本意就是 Floyd,注册域名的时候手抖打错了，当时没发现，然后将错就错沿用至今了

[Wichna]

@jimmyismagic rust 版是我自己实现的一个库，其他 rust 项目就可以直接调用了。至于 python 项目想调用 C++还是 Rust 的版本都可以