自然语言处理问题 W2V

2021-05-06 17:44:12 +08:00
 galileo1214

我看好像所有语料都是连在一起的 那么第一句的末尾词和第二句开头词也是有关系的 按道理来说不应该是有关系的，想问下有什么定论吗？

1392 次点击
所在节点    Python
1 条回复
princelai
2021-05-07 15:56:16 +08:00
开头连着结尾是合理的，比如文本生成，生成到句号，需要根据上 N 个词和句号来继续生成下一句话的开头。

而且就算真的没有上下文关系，只要你的每句话够长，那么不管 window=5 还是 7,都只有少部分两句话被关联起来了，对于整体的分布影响不大。

最后如果你非纠结这个问题，那你自己 split('.;')或者正则分割一下不就好了吗

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/775233

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX