想问下大厂的同学们你们的 NLP 基础设施是什么样的

2020-11-17 14:38:10 +08:00
 Morriaty
网上更多的 NLP 资料要么是炼丹论文,要么是《 xxx 算法详解》,几乎没有看到一个完备的文章去介绍一个工业界落地的基础架构设施是什么样的
2119 次点击
所在节点    程序员
6 条回复
threeEggs123
2020-11-17 14:52:50 +08:00
sklearn 做了一个模型。然后用 flask,暴露一个 api,搞定了。是做文本分类。部署方式就是 docker 镜像,部署到 ecs 上面去了。

https://zhuanlan.zhihu.com/p/47349497
lsvih
2020-11-17 14:54:58 +08:00
以前 Uber 机器学习平台的介绍

https://juejin.im/post/6844903497809264653
Morriaty
2020-11-17 17:13:32 +08:00
@lsvih 机器学习工作流这部分的抽象和拆解很清晰
andj4cn
2020-11-18 09:10:51 +08:00
@threeEggs123 数据量上来 Flask 会不会表现很差,仅靠单机内存计算的话。
Morriaty
2020-11-18 10:13:13 +08:00
过于真实,全是收藏的🤣
threeEggs123
2020-11-18 12:36:40 +08:00
@andj4cn 我们的需求是文本多分类,
比如 I love u -> api -> 喜欢。
api 就告诉我们这句话的 tag 是什么。
至于高并发的情况下,我们也考虑到了,部署方式是 ECS,默认三台机器,有对应的扩容缩容策略。负载均衡的平摊 api 请求。数据量上来了,我理解的是高并发哈。。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/726199

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX