RAG文本检索：小模型的思考

首先本文作者很擅长做时序类行列attention的代码做过一个时序basemodel的但是没办法很好的表现自己。所以我想到了一篇怎么来做文本检索的但是限于资源没办法实现1.首先是预训练让模型学会读懂行。整一篇文章就是一个2D的行列最创新的想法就是以行作为基本元素来进行训练。然后损失就是用行复原的百分比来做损失。2.微调阶段就是用分割行符号 来分割检索的问题和内容这种方法应该是有效的。用来做效果应该不错可惜缺乏资源来实现