Rust 实现 BLEU Score 计算(采用和 Huggingface evaluate完全一致的算法),通过 Binding 构建 Python 库
做了大量的结果对比测试来保证此 Rust 实现的结果和 Huggingface 结果是一致的
做了较为充分的 Benchmark 来测试当前 Rust 实现的性能
欢迎理性讨论,欢迎 PR !
1
huangyezhufeng OP 如果想进一步探索 Rust 用于机器学习的最佳实践,可以通过这个 issue(及其背后的项目)来进一步了解: https://github.com/dustalov/evalica/issues/5
这是一位能力很强的老哥,代码质量也很高。 |
2
Contextualist 81 天前 1
感谢分享!支持一下 Rust for ML 和 PyO3
上次看相关方面还是 https://www.arewelearningyet.com ,不知道现在的生态怎么样了 能想到的 Rust for ML 的代表项目应该是 huggingface/safetensors 了 |
3
huangyezhufeng OP @Contextualist 感觉现在相关的生态都在快速的完善起来吧。Huggingface 在挺多的项目上都在拥抱 Rust: https://github.com/huggingface?q=&type=all&language=rust&sort=, 其中 candle ,tokenizer ,text-embeddings-inference 是比较知名的。
其他我了解到的比如 Grafana 也在用 Rust 做 ML 相关的工作,比如 https://github.com/grafana/augurs, 用在 Grafana 时序数据的预测和异常检测等。 |