深度学习网络中有没有什么技巧可以人为地提高或者降低权重?

查看 46|回复 1
作者:LeeReamond   
自己搞网络,有 A 和 B 两部分独立数据与结果 C 相关,如果通过指定领域的先验经验的话,A 数据和结果关联性更大一些。不知道有没有什么技巧可以让网络更多地关注 A 而更少地关注 B ?
[ol]

  • 比如我现在有的输入,分别是用户评价(自然语言序列数据),以及结构化的用户关系图,我能否让网络的结果更多地受前者(或后者)的影响?

  • 或者另外一个问题,比如我的关系图是树状的,是否有办法人为地让注意力更靠拢根节点而忽略叶子节点?
    [/ol]
    我想了想,各种各样的注意力机制,比如用自注意力层这种的话,似乎没听说过人为能怎么干预的。似乎只能让网络自己去学校,如果人类认为数据 A 与结果相关性更高,网络给出相反的结果也完全不奇怪,人类也没法修改。
    另外一个简单想法是做两个独立分别接收两种数据然后将结果加权?这个感觉好像没有任何意义,相当于纯做线性运算,网络会自动优化结果,跟没做一模一样。。。

    结果, 网络, 注意力, 人为

  • kaiz   
    如果真的 A 与 C 的关联比 B 大,那么网络会学到。
    比如说你训练一个根据体重和学历两个特征预测人的身高的模型,显然体重和身高更相关,学历和身高不太相关。这种情况只要你的数据体现了这种相关性,比如有大量的人身高和体重呈正相关,而学历分布没有相关性,那么模型会自动学到。
    怕就怕你的数据无法体现这种相关性,比如你的训练数据里身高高的普遍学历高,那么行就学偏了。这里涉及到一些比较理论的东西,但直观上就是我例子里的意思。
    如果你一定要说,我数据就体现不出这种关系,但我就想让模型有这种关系,我感觉你这个更适合手工设计特征,不太适合机器学习。或者你可以做数据增强。还是以身高体重为例,你可以生成一大批升高体重正相关,学历随机分布的数据去训练模型。
    您需要登录后才可以回帖 登录 | 立即注册

    返回顶部