论文阅读笔记920

论文标题：基于静态与动态学习需求感知的知识点推荐方法
作者与发表日期：周洋涛,李青山,褚华,李佳楠,高明彪,卫彪彪.基于静态与动态学习需求感知的知识点推荐方法.软件学报,2024,35(9):4425-4447
期刊或会议名称：软件学报
链接：https://www.jos.org.cn/jos/article/abstract/6962?st=article_issue
DOI： 10.13328/j.cnki.jos.006962
摘要： 随着互联网信息技术的高速发展, 线上学习资源的爆炸式增长引起了“信息过载”与“学习迷航”问题. 在缺乏专家指导的场景中, 用户难以明确自己的学习需求并从海量的学习资源中选择合适的内容进行学习. 教育领域推荐方法能够基于用户的历史学习行为提供学习资源的个性化推荐, 因此该方法近年来受到大量研究人员的广泛关注. 然而, 现有的教育领域推荐方法在学习需求感知时忽略了对知识点之间复杂关系的建模, 同时缺乏考虑用户学习需求的动态性变化, 导致推荐的学习资源不够精准. 针对上述问题, 提出一种基于静态与动态学习需求感知的知识点推荐方法, 通过静态感知与动态感知相结合的方式建模复杂知识关联下的用户学习行为. 对于静态学习需求感知, 设计一种基于知识点先修后继元路径引导的注意力图卷积网络, 通过建模知识点之间先修后继关系的复杂约束, 能够消除其他非学习需求因素的干扰, 从而精准地捕获用户在细粒度知识点层面上的静态学习需求; 对于动态学习需求感知, 所提方法以课程为单元聚合知识点嵌入以表征用户在不同时刻的知识水平, 然后采用循环神经网络建模编码用户的知识水平序列, 能够有效地挖掘用户知识水平变化中蕴含的动态学习需求; 最后, 对获得的静态与动态学习需求进行融合, 在同一框架下建模静态与动态学习需求之间的兼容性, 促进这两种学习需求相互补充, 以实现细粒度的个性化知识点推荐. 实验表明, 在两个公开数据集上, 所提方法能够有效地感知用户的学习需求并提供个性化的知识点推荐, 在多种评估指标上优于主流的推荐方法.

关键词:知识点推荐;知识感知;动态性建模;学习需求融合

1. 研究背景

信息过载与学习迷航问题：随着在线学习资源的爆炸式增长，用户难以明确学习需求并选择合适的资源。
现有推荐方法局限：忽视知识点复杂关系建模，未考虑用户学习需求的动态变化，导致推荐不精准。

和其他领域推荐系统相比，教育领域推荐系统面临的挑战：

学习资源的多样性：不同于其他领域的单一推荐对象，教育领域有多种推荐对象（如课程、视频、知识点等），且它们之间存在复杂的关联关系（如课程与知识点的包含关系、知识点的先修后继关系）。
学习者的特殊需求：学习者的目标是掌握知识点，并受到资源关联的约束。推荐不当（如未遵循知识点的先修后继关系）可能导致学习失败。

2. 研究问题

在感知用户的学习需求时注意：

（1）对知识点之间复杂关系进行建模

（2）考虑用户学习需求的动态性变化

针对这两个问题改进解决，提供更加精准的学习资源推荐

3. 研究方法

框架图如下

3.1 方法概述

静态学习需求建模：显式建模知识点之间的复杂关系（如先修后继关系），挖掘细粒度的静态学习需求。
动态学习需求建模：编码用户每阶段的知识水平，使用循环神经网络序列化建模，捕获动态学习需求。

3.2 主要贡献

综合建模：提出基于静态与动态学习需求感知的推荐方法，结合图卷积网络和循环神经网络，在统一框架中实现细粒度且实时动态的学习需求建模。
静态建模方法：使用基于元路径（特别是先修后继关系）的图卷积网络显式建模知识点间的复杂关系，精确感知细粒度的学习需求。
动态建模方法：以课程为单位建模知识水平，利用循环神经网络分析用户知识水平的动态变化，提供动态学习需求引导。
模型验证：在公开数据集 MOOCCube 上进行综合对比实验，验证了模型在教育推荐中的有效性。

3.3 技术细节

3.3.1 图卷积网络（GCN）

图卷积网络的核心思想是通过邻居节点的特征来更新每个节点的特征。与传统卷积操作类似，GCN的“卷积”实际上是对每个节点及其邻居节点的信息进行聚合，计算新的节点特征表示。这一过程可以看作是图中的“消息传递”。

GCN的计算过程

对于一个图中的每个节点，GCN通过以下步骤更新节点特征：

信息聚合（Aggregate）：从当前节点的邻居节点收集特征信息，通常是通过对邻居节点特征的求和或平均。
特征变换（Transform）：将聚合后的特征通过一个线性变换（通常是通过权重矩阵的乘法），并经过非线性激活函数（如ReLU）得到新的特征表示。

具体公式为：

**H(l)**：第 l 层节点的特征矩阵，初始为点的输入特征。
**W(l)**：第 l 层的权重矩阵，用于特征变换。
σ：非线性激活函数（如ReLU）。
**A(hat)**：归一化后的邻接矩阵，用于邻居信息的聚合。

图的邻接矩阵 A 用于描述节点之间的连接关系，通常在GCN中，会使用归一化的邻接矩阵 A hat，即：

其中，D 是度矩阵，用于归一化邻接矩阵，确保信息在聚合时保持尺度不变。

用GCN建模复杂知识点的先修和后继关系，主要是通过将知识点视为图中的节点，而知识点之间的先修和后继关系作为边，从而利用图卷积网络在图结构中进行特征传播和学习。

节点：每个知识点作为一个节点。节点的特征可以是该知识点的特性或学生的掌握程度等信息。
边：先修知识点和后继知识点之间的关系用边表示。先修关系（从基础到进阶）在图中形成有向边，指示学习的顺序和依赖。

每个知识点节点初始化特征向量，特征可以基于：

知识点本身的属性（如知识点的重要性、难度等）。
学生对知识点的掌握情况（如得分、熟练度）。

GCN模型的设计:

使用图卷积网络来对知识点及其关联关系进行建模。GCN的每一层将根据节点的邻居（即先修或后继的知识点）来更新节点的表示。
邻居信息的聚合方式反映了先修知识点如何影响后继知识点的表示。例如，如果一个知识点的多个先修知识点掌握得好，那么这个知识点可能更容易被掌握。

信息传递与特征更新：

在GCN的每一层中，先修知识点的特征向量被聚合到后继知识点的特征中，经过线性变换和非线性激活，逐层传播信息。
这种信息聚合方式模拟了先修知识点对学习后继知识点的影响，帮助模型更好地理解知识点之间的复杂依赖关系。

训练与应用：

通过已知的训练数据（如学生的答题记录、知识点的掌握情况），训练GCN模型，以学习每个知识点的最终特征表示。
模型可以用于：
- 预测掌握程度：根据学生对先修知识点的掌握情况，预测学生对后继知识点的掌握。
- 知识推荐：根据学习路径，推荐学生需要重点复习的知识点或未来需要学习的内容。

最后，模型输出每个知识点的嵌入表示，包含了知识点的先修后继关系以及学习者的状态，可以用于进一步的教育应用，如个性化学习路径推荐、知识点的难度预测等。

3.3.4 RNN：

利用RNN（循环神经网络）捕捉用户的知识水平序列和动态需求变化，适合处理与时间相关的序列数据。RNN可以通过用户的学习历史、考试记录等时间序列信息，来挖掘用户知识水平的变化趋势和需求的动态变化。

用户知识水平序列建模

输入序列：RNN的输入可以是用户在一段时间内对各个知识点的掌握情况（如答题正确率、学习时长等），每个时间步对应用户某时刻的学习状态。
时间依赖性：RNN的关键特性是能捕捉数据的时间依赖性，因此可以跟踪用户知识水平随时间的变化，了解知识掌握的动态过程。

知识水平的状态更新

在每个时间步，RNN会根据当前输入（当前的学习情况）以及上一时刻的状态（用户之前的知识掌握情况），更新用户的知识状态。
这种机制可以捕捉用户知识水平的累积和遗忘。例如，如果一个用户长时间没有接触某个知识点，模型可能会预测该知识点的熟练度下降。

动态需求的挖掘

RNN可以通过学习知识水平的序列，挖掘用户对不同知识点的动态需求变化，即哪些知识点在当前学习阶段需要更多关注。
例如，当RNN检测到用户对某个知识点的掌握水平下降时，可以建议用户复习该知识点；或者根据学习的先修后继关系，预测用户将来可能需要学习的知识点。

个性化学习路径推荐

通过分析用户的知识水平变化，RNN可以预测未来学习的需求，进而生成个性化的学习路径。
例如，RNN可以帮助确定下一个用户最需要学习的知识点，或者预测用户对即将学习的内容可能的掌握程度，从而动态调整学习计划。

模型输出

RNN输出的是用户在每个时间步的知识状态，表示其当前知识掌握情况。结合这些状态，系统可以为用户提供个性化的学习建议，如知识点复习、未来学习规划等。

3.4 实验结果

在两个公开数据集上进行验证。
效果优于主流方法：多个评估指标显示，提出的方法能更好地感知学习需求并提供个性化推荐。

4. 详细介绍

4.1 静态学习建模

主要两步，首先是给特征做初始化，然后是进行元路径引导的注意力图卷积。

4.1.1 特征初始化

分别给用户user和知识点concept做特征初始化

判断两种知识点是不是同种类型的知识点：

否：说明是不同类的知识点，则记为交互知识元路径
是：说明是同类的，可能存在有依赖关系的，记为先修后继知识元路径

（1）交互知识元路径：找出对推荐效果贡献最大的几种为例

1）K←U→K 一个用户掌握两个知识点

2）U→C←U 两个人学习同一门课程

3）U←K→U 两个用户都掌握了同一个知识点（该元路径对应的邻接矩阵表示为A^UKU^）

4）U→C←T→C←U 两个人上的不同课是同一个老师教的

计算出来的带有自适应特征的元路径邻接矩阵可以继续计算得出元路径的特征矩阵P^UKU^，然后可以用于引导图卷积的信息聚合过程

（2）先修后继知识元路径：

K→K 简记为kk

也是通过系列计算得到它的元路径特征矩阵

4.1.2 元路径引导的注意力图卷积

（1）元路径引导图卷积：

输入：f User、f concept（用户和知识点的初始内容特征嵌入表达）
图卷积：用我们刚才计算得到的那些元路径的特征矩阵（PUKU、PKK……）替代了以前普通的图卷积中使用的用户-物品邻接矩阵
输出：挖掘异构关联关系

其中，基于P KK 引导多层图卷积的信息传播公式为：

使用了ReLU非线性激活操作，W共享权重可以更好地正则化（降低模型复杂度），公式最后得到的是一个实体经过l+1层图卷积后计算得到的最新嵌入表达。

（2）注意力异构关系融合：

因为不同元路径引导图卷积获得的实体嵌入表达所蕴含的信息不同，所以采取注意力机制实现知识的自动加权融合，以此获得最终的用户静态学习需求/知识点的嵌入表达。

V static表示融合了MP U集合中所有元路径引导下用户实体嵌入表达后获得的最终的用户实体嵌入表达, 即用户的静态学习需求嵌入表达

同理我们也可以得到知识点的实体嵌入表达：

4.2 动态学习需求建模

本模块旨在利用静态学习需求建模过程中获得的知识点嵌入表达，对用户在学习过程中的知识水平变化进行追踪，以挖掘下一时刻用户的动态学习需求。

4.2.1 序列化知识水平编码

为了表征用户的知识水平，本文以用户学习的可成为编码单元，划分每个课程包含的知识点集合。

可以获得用户在学完对应课程后提升的知识水平。

这里采用的方法是对对应的嵌入表达进行累加聚合。

4.2.2 动态学习需求挖掘

采用了具有动态序列化建模能力的RNN来对知识水平动态编码。

根据用户的知识水平变化序列（表现学习了不同课程后的水平变化），这里采用了RNN的变体GRU门控循环神经网络

最后时刻得出来的Vdynamic就是用户的动态学习需求

由于GRU序列化动态建模仅能感知用户个体自身的变化，无法融合不同用户之间的协同信号。

而静态中虽然可以融合不同用户个体的协同信号，但静态忽略了变化。

因此，我们要将静态模块中用户静态学习需求的嵌入表达和动态的学习需求嵌入表达进行拼接。

4.3 知识遗忘矩阵分解

6. 创新点

① 本文首次在知识点推荐任务中引入先修后继知识元路径, 通过主流的基于元路径的注意力图卷积网络在信息聚合过程中自然地融合对知识点先修后继关系的建模, 以捕获用户全局的静态学习需求;

② 本文以课程为单元, 聚合每个课程中包含的知识点的嵌入来表征用户在不时刻的知识水平, 再引入循环神经网络建模用户不同时刻知识水平的动态变化, 以捕获用户个体的动态学习需求;

③ 虽然图卷积网络能够捕获全局的高阶协同信号, 但缺乏序列化动态建模的能力, 而循环神经网络适用于序列化动态建模的场景, 却无法捕获不同个体之间的高阶协同信号, 于是本文设计了一个统一的框架对图卷积和循环神经网络进行集成, 以获得同时感知静态与动态学习需求的能力.

7. 个人评价

1）优点：改进的思想比较好理解。在同一框架下建模静态与动态学习需求之间的兼容性, 促进这两种学习需求相互补充与融合, 以实现细粒度的个性化知识点推荐. 大量实验表明该文章提出的知识点推荐方法在多种指标上优于一系列先进的推荐方法。

2）不足之处：

序列化知识水平编码那里，对于知识水平的提升只使用了简单的累加聚合的方法，我感觉对于同一知识点，其学习效果对于水平的提升应该是逐渐变弱的，应该有权重变化才对。
在学习需求挖掘方面, 本文仅采用一阶的先修后继知识元路径引导学习需求的显式建模, 可考虑补充高阶的先修后继关系元路径以及互补等其他关系元路径以挖掘更加精准的用户学习需求
数据稀疏性问题是困扰推荐系统多年的一个开放性问题, 在教育推荐场景中存在多种用户的交互行为, 如点击、收藏、观看时长与评论等, 综合多种交互行为以挖掘用户的学习需求, 是一种具有前景的能够有效应对教育推荐场景中数据稀疏性问题的研究方向.

3）适用性与启发：暂时不知道。

8. 关键引用

参考文献：

[doi: 10.1145/3377571.3377587]
[doi: 10.3969/j.issn.1673-4785.201409045]
[doi: 10.15888/j.cnki.csa.008356]
[doi: 10.13328/j.cnki.jos.006629]
[doi: 10.1016/j.neucom.2020.07.064]