一个简单的方法是直接在每个原始数据点上,比如原始数据用 10 维表示一个字,那就再额外增加几个维度输入这些超信息,所有数据点的这几维都一样。这个处理方法比较简单,但我对效果存疑,而且还有个问题是超信息这么搞的话就没法提前通过其他网络编码了,编码后一旦维数增加,总不至于让每个点携带 10 维的词信息+20 维的超信息吧,感觉有点头重脚轻了。
不知道有没有什么好的方法,大佬提供个思路啥的。不知道有没有什么可以从 cv 或者其他领域借鉴的经验?我感觉 vit 方面数据结构和 nlp 也挺像的,肯定也有人研究过超信息啥的吧。。。