DSSM算法:文本匹配、文本检索、信息检索、推荐算法
DSSM(Deep Structured Semantic Model)是微软研究院提出的利用深度神经网络将文本表示为低维度的向量,应用于文本相似度匹配场景下的一个算法是应用于信息检索领域的算法。但是在后续发展中,不局限于文本匹配,例如搜索引擎,在其他可以计算相似性计算的场景也可使用,例如推荐系统中。
推荐系统和搜索引擎两者之间很相似,都是根据满足用户需求,根据用户喜好给出答案,但又不是完全相同,只不过推荐系统更难,因为推荐系统需要挖掘用户潜在喜好来推荐内容和物品给用户。这是因为搜索引擎和推荐系统的关系之间相似性,所以适用于文本匹配的模型也可以应用到推荐系统中。
网络结构
其网络结果比较简单,由几层全连接组成网络,我们将要搜索文本(Query)和要匹配的文本(Document)的 embedding 输入到网络,网络输出为 128 维的向量,然后通过向量之间计算余弦相似度来计算向量之间距离,可以看作每一个 D 和 Q 之间相似分数,然后在做 softmax ,网络结构如下图
其中Q代表Query信息,D表示Document信息。P(D|Q)表示相似分数,我们可以根据相似分数进行检索结果排序,决定哪个排在前面,也可表示检索信息与文档的匹配程度。
详细原理解释后续更新......