关于模型 embedding 层尺寸的问题?

2020-10-16 00:38:50 +08:00
 thinszx

这两天在尝试复现一篇论文,但是在嵌入层的尺寸这里出现了问题

论文中说,嵌入层向量的尺寸为 25*1000,想知道这个 size 指的嵌入层中使用的矩阵的尺寸吗?可能是我看论文太少没见过这种说法... 论文嵌入层部分的描述

From the sequence of connection states toward the output of the deep learning architecture, the first block is the embedding function, and it maps and associates a numeric vector with every connection state, which belongs to the connection array between two nodes. ** Embedding leverages the distance function calculating between any two vectors to capture the relationship between the two correlated connection states. The matrix formed by these vectors is called embedding whose size is 25 × 1000. **

2074 次点击
所在节点    机器学习
2 条回复
helloworld000
2020-10-16 06:50:02 +08:00
是啊,embedding 就是一个 hidden layer + softmax,那个 hidden layer 就是你 embedding 要得到的那个 weight matrix
thinszx
2020-10-16 08:05:03 +08:00
@helloworld000 如果嵌入层的权重矩阵尺寸确定为 25*1000 的话,应该意味着我的输入矩阵的宽也被确定为 25 了,我这样理解对吗?如果是这样的话我的去看看我的数据处理是不是有什么问题(゚ o ゚;

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/715421

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX