【刊载信息】赖安·S.贝克,德拉甘·伽瑟维克,沙姆亚·卡伦拜亚.2021.学习分析四种范式：论范式融合的重要性[J].肖俊洪,译.中国远程教育（12）：38-52.
【关键词】学习分析；教育人工智能；量化民族志；大规模学习；机器学习；研究范式
一、
引言
与初期相比，学习分析领域已经有了长足发展。LAK大会论文集是教育技术领域被引率最高的出版物之一（GoogleScholar,2020）。提交LAK大会的论文数量和参会人数稳步增加，因此，LAK大会已经成为一个主要学术会议。学习分析社区在全球各地举办LAK博士联盟（DoctoralConsortium）系列活动和学习分析暑期学院（LearningAnalyticsSummerInstitutes）以及多种形式的在线讲座系列活动，致力于培养下一代研究者、实践者和领袖。《学习分析期刊》（JournalofLearningAnalytics）已被各主要期刊数据库索引（比如Scopus和EmergingSourcesCitationIndex）。《学习分析手册》（HandbookofLearningAnalytics）第一版获得成功（Lang,etal.,2017），第二版正在紧锣密鼓进行中。SoLAR建设了一个由个人会员和机构会员组成的网络，并与教育技术行业建立紧密联系。SoLAR还启动几项计划以促进学习分析领域建设，比如组建一些特殊兴趣小组、开展网络研讨会和播客系列活动、出版简报和发布招聘信息。
二、
作为一种实践的学习分析
学习分析从一开始便既是一个研究领域又是一个实践领域。之所以强调实践，主要是因为政治和经济因素的变化（BuckinghamShum&Luckin,2019;Ferguson,2012;Siemens,2013）。教育发展受制于政治和经济因素，全球均如此。很多国家高等教育拨款模式在很大程度上受到顺利获得学位的学生人数的影响。所以，学校高层管理者（比如副校长、院长和教务长）和决策者看到学习分析通过预测建模和早期预警系统降低学生流失率方面的潜能（Siemens,2013）。同样，使用预测分析提高K-12毕业率也越来越引起研究者的兴趣（Bowers,etal.,2012;Singh,2018）。学习分析可用于支持学生继续就读（减少流失）以及学校其他需要优先考虑的事情，由此形成了学校事务分析（academicanalytics）（Campbell,etal.,2007）。学校事务分析对学习分析影响很大，并由此促使从事学习分析的人和高等教育学校信息技术负责人这两个群体建立紧密关系。后者通常参加EDUCAUSE举办的活动。
除了学习管理系统外，学界对基于计算机学习环境的使用和进一步完善也有比较大的兴趣，比如自适应学习系统、智能辅导系统和慕课（Essa,2016）。目前K-12越来越重视标准化考试，学校也需要证明学生考试成绩的提高以获得拨款，因此这是基于计算机学习环境在K-12发展的主要驱动因素之一。这种现象始于英美，但现在已经席卷全球（Lingard&Lewis,2016）。至于高等教育，虽然没有这样的驱动因素，但是师生同样热衷于使用这些学习技术。诸如ALEKS、CognitiveTutor、KhanAcademy、edX和Coursera这些大平台的用户多达数十万或数百万。学习分析研究者试图利用这些数据使这些平台更有效，进一步完善知识考核以改进课程学习顺序（Ritter,etal.,2016），通过各种人类记忆模型更好地安排各阶段复习（Settles&Meeder,2016），把复杂的考核任务融入教学干预策略中（Li,etal.,2018），以及研究针对不同学生和不同环境的不同干预措施（Sales,etal.,2018）。如同学习管理系统一样，学界在这方面也很热衷于通过报告和可视化手段向教师提供反馈信息，便于他们据此与学生交流和做出相应干预（An,etal.,2019;Holstein,etal.,2019）。
正因为学习分析强调实际应用，很多学习技术销售商从这个领域形成之初便积极参加学习分析的活动，赞助LAK大会和EDM大会并发表论文。的确，今天的LAK大会设置有实践者参加的分主题，而EDM大会则设置有业界参加的分主题。
（一）影响学习分析实践的领域
文献一直强调学习分析的社会——技术本质（Dawson,etal.,2019;Siemens,2013）。这一点在SoLAR所采用的学习分析定义中便得到体现，即学习分析使用学习发生环境的数据（Long,etal.,2011），也体现在和2019年国际电子组件与材料研讨会（InternationalElectronDevicesandMaterialsSymposium，IEDMS）所采用的教育数据挖掘定义中，即教育数据挖掘的目标是“更好地了解学生以及他们的学习环境”。学习分析领域一些著名作者指出学习分析应用于组织环境中，而在这样的环境里社会、政治、隐私和伦理因素的作用至少与任何技术解决方案同等重要（Colvin,etal.,2015;Dawson,etal,2018,2019;,etal.,2017;Lynch,2017;Macfadyen,etal.,2014;Siemens,2013）。正因如此，学习分析的很多研究集中在制订实践准则、政策和策略框架等方面，而这些东西已经影响到很多机构和系统对学习分析的采用（Sclater&Bailey,2015;Tsai,etal.,2018）。作为一个实践领域，学习分析在很大程度上得益于组织研究、变革管理、信息系统、法律和伦理等领域的成果。
因为意识到学习分析实践是在复杂教育系统中开展的，因此研究者更加重视借鉴复杂性科学和理论（Jacobson,etal.,2016）。研究者强调必须把学习分析置于复杂教育系统中开展才能使之发挥最大的实际作用（Dawson,etal.,2019）。有研究者认为学习分析的成功变革管理要建立在对复杂自适应系统理解的基础上（Macfadyen,etal.,2014）。复杂性领导力包含运作、开创新局面和使能三个方面，因此被视为扩大学习分析应用规模促进教育创新所必不可少的（Tsai,etal.,2019）。
要使学习分析在实践中得到广泛应用，必须重视其设计和充分考虑人的因素（BuckinghamShum,etal.,2019;,etal.,2017）。不同学习分析工具（主要是指仪表盘）曾经受到热捧，但是有一些研究发现这种工具的实际应用率经常相对较低，也可能造成一些不理想后果，比如如果缺乏有效设计（Bodily&Verbert,2017;Corrin&deBarba,2014）会导致大学本科生的掌握导向（masteryorientation）表现下降（Lonn,etal.,2015）和平均积分点（GPA）下降（Chaturapruek,etal.,2018）。因此，近年来研究者提出一些旨在指导学习分析系统设计和理解意义建构的方法（Holstein,etal.,2019;Wise&Jung,2019）。白金汉·岑等（BuckinghamShum,etal.,2019）更进一步提出要充分考虑学习分析中人的因素。这个方向的研究清楚强调学习分析实践越来越受到设计科学和人机交互的影响。
（二）学习分析实践模型
三、
学习分析的四种思维范式
（一）四种范式
在已经有EDM大会的情况下还举办LAK大会，可能是因为这两个会议的发起者彼此不认识。在组织首届LAK大会时EDM大会和LAK大会的发起者中几乎没有互相认识者。这的确是一件怪事。然而，我们认为这些分支并不只是当时同一个领域研究者的社交网络不畅所致的偶然结果，而是因为不同研究者在如何理解科学，甚至是现实的本质方面，存在的深层差异所致的。这些深层次的不同促使早期很多教育数据挖掘研究者研究智能辅导系统和游戏以及供学习者个体使用的技术，而早期很多学习分析与知识研究者则重视研究协作性和基于讨论的学习环境，尤其是在大学层次。因为选择不同研究方向，很多研究者无缘相识，这或许是学习分析研究者举办自己的会议而不是参加EDM会议的原因，也可能是教育数据挖掘研究者（比如本文第一作者）大多没有听说过首届LAK大公组织者的原因。
但是，为什么学习分析研究者和教育数据挖掘研究者（大多数）思维不一样？一种可能的解释要追溯到公元前4世纪，也就是说即使是本领域最资深的研究者开始从事这方面研究之前这些不同就已经存在了。
理查德·麦基翁（RichardMcKeon）是20世纪著名哲学家，虽然很多人看不懂他的哲学。他曾经阐述四种可以追溯到柏拉图（Plato）和亚里士多德（Aristotle）的哲学思想流派（McKeon,1966）：实体论（原子论[atomist]/德谟克里特斯[Democritus]）、本体论（柏拉图）、存在论（诡辩论[sophist]/普罗泰戈拉[Protagoras）和本质论（亚里士多德）四种思想流派。沃森（Watson,1994）和里克（Rich,2018）对麦基翁的观点进一步扩展和阐释，方便读者理解。这些思想流派有各自喜欢使用的“方法”（鉴于本文目的，不妨视为元方法[mets-method]或有关方法的思维方式）。
简而言之，还原论（reductionism）是实体学派的主要方法。还原论在理解现象时把现象分解成为它们的组成部分，然后进一步分析这些组成部分之间的关系。虽然一直以来还原论没有受到哲学家的青睐（德谟克里特斯的名声远不及柏拉图和亚里士多德），但是还原论已经发展成为很多学科的核心元方法。这里有必要提醒读者注意，还原论主张所有现象都可以被简化为物理过程（Sachse,2013），但是我们采用还原论这种方法时不必接受这种激进观点。
辩证法（Dialectic）是本体论学派的主要方法。这个学派认为要把现象作为一个整体进行理解或者把系统理解为系统，只有理解整个系统才能理解其组成部分。这种理解常常通过以下过程得以实现：分析看似矛盾的不同观点以逐步更好地理解某一现象或系统，同时使抽象和不完整的理解具体化和更加完整。
麦基翁用于表述另外两种方法的术语（运算[operational]和疑难[problematic]）较少为人所知，但是它们所代表的思想流派却是学界所熟知的。存在论把现实视为从根本上是个人建构的，因此认为对现象的理解应该是现实参与者自己的理解而且这些理解具有不可简化的合理性（诸如“哲学建构主义”[philosophicalconstructionism]和“现象理解”[phenomenologicalunderstanding]这些术语时有所见）。存在论经常使用本质上是描述性的方法，而且拒绝采用通用目的措施（Strohecker,1991）。
与之相反的本质论认为天地万物皆有意义，因此认为“数据的作用难以讲清楚”，并将其当成拒绝可解释的建模方法的理由（Halevy,etal.,2009）。换言之，对现实进行直接建模就足够了，不必说明理论依据或解释（这甚至是不足取的）。
（二）四种范式在学习分析中的体现
早期EDM大会研究成果中体现实体论/还原论的一些例子包括：
把各个知识领域的结构简化为一套技能，这些技能对应相应项目（Barnes,2005），并进一步研究具体项目中某一项技能能否弥补另一项技能（Pardos,etal.,2008）；
研究智能辅导系统哪一种方法最能有效预测学生未来表现（Baker,etal.,2008;Pavlik,etal.,2009）；
通过分析辅助性资源的使用情况和对学习表现的直接促进作用评价辅助性资源的质量（Chang,etal.,2006）。
提交首届LAK大会的研究成果中体现本体论/辩证论的一些例子：
提出分布式学习多层次分析的本体论（Suthers&Rosen,2011）；
从社会文化角度分析会议参加者之间各种形式的对话（Ferguson&Shum,2011）。
更加体现本质论范式的研究在早年EDM和LAK大会上相对不受青睐，因为审稿人不看好在不理解现象的情况下对现象进行预测的研究。贝克（Baker,2012）一书收录了一项研究，作者试图根据全部作业和考试的成绩预测一门课程的最终成绩。这确实有点出乎意料（因为该书的主题是教育大数据）。然而，L@S大会的举办为本质论范式研究提供了一个交流舞台，早期一些例子包括：
全面调查慕课学习者何时停止观看课程视频和何时交互更加频繁（Kim,etal.,2014）；
分析发帖量更大的学生特点，包括他们的人口统计信息、年级、注册学习的课程数量和发帖的内容和背景（Huang,etal.,2014）；
对学生在学习一种非正式编程语言过程所呈现的模式进行聚类，量化分析非正式学习（Yang,etal.,2014）。
并非提交L@S大会的所有论文都采用这种范式，第二届大会（原先明确不鼓励提交涉及智能辅导系统数据的论文，但第二届放弃执行这个政策）收到不少通常参加EDM大会的作者提交的论文。但是，L@S大会为对本质论范式感兴趣的研究者提供了一个交流舞台。随着L@S大会的成功举办以及机器学习领域热衷研究高深莫测的算法，即深度学习（LeCun,etal.,2015），研究不理解情况下的预测成为EDM大会论文的一种趋势，即上文提到的“数据的作用难以讲清楚”（Halevy,etal.,2009），包括使用深度学习对学生知识（Khajah,etal.,2016）和学生情感（Botelho,etal.,2018）进行建模的算法和给简答题评分的算法（Zhang,etal.,2016）。
LAK大会也出现与这种趋势相对应的情况，很多原来向AIED或EDM大会提交论文的研究者开始在LAK大会发表他们的研究成果。比如：
研究在慕课学习中对不同社会经济地位（能力）的态度和意见的不同程度如何影响同伴反馈并对此进行建模（Choi,etal.,2019）；
研究学习游戏设计的变化如何对学习者的选择和表现产生实际影响（Harpstead,etal.,2019）；
分析未能完成作业现象和这种现象与学生自信的关系（Botello,etal.,2019）。
相比之下，量化民族志研究者创办自己的学术会议——ICQE大会，以弥补学习分析领域没有向他们提供相应舞台的缺陷（虽然认知网络分析在计算机支持协作学习大会获得成功）。ICQE大会的范围不仅包括学习或教育，举办这个大会的部分目的是扩大研究领域和研究方法，虽然首届大会的正式论文中78%涉及学习或教育方面的研究。
提交首届ICEQ大会的论文包括：
分析职前教师诊断性推论上的差别（Bauer,etal.,2019）。
了解学生面对动机或理解方面问题时在如何调节协作学习方面的不同（Melzner,etal.,2019）。
近来出现了一个变化，即存在论范式研究在学习分析会议和期刊占有更大的份额，比如《学习分析期刊》最近出版“以人为中心的学习分析”主题专刊，其前言提出学习分析研究要“承认对现实的理解因环境而异……必须从学习分析主要重视量化，向有助于详细阐述说为什么和如何使用学习分析以及为什么学习分析可能被误用或被忽视的转变”（BuckinghamShum,etal.,2019,p.6）。与之相呼应的是2020年LAK大会出现了一大批采用认知网络分析方法的论文（比如：Chen,Rolim,etal.,2020;Ferreira,etal.,2020;Saint,etal.,2020;Swiecki&Shaffer,2020;Uzir,etal.,2020;Whitelock-Wainwright,etal.,2020）。
四、
各种范式在学习分析实践中的主要位置
并非所有研究者和实践者都采用相同范式，因此我们认为不同范式的存在很自然，也是好事，有益于学习分析的发展。学习分析给我们这些研究者和实践者带来复杂挑战（参见：Baker,2019;Pellánek,2020），这些挑战如此艰巨，非任何一种范式能解决。学习分析给教育界带来非常重要的机会，不能因为教育内部的“派别之争”而浪费这些机会。
我们认为不同思维范式阵营的研究者必须加强协作，除了保持本领域跨学科特点外，朝着“跨范式”研究方向发展。帕夫利克和托特（Pavlik&Toth,2010）在谈到智能辅导系统实践社区存在的不同观点时指出：“从根本上讲，虽然这些观点可能有所不同……但是在这种情况下它们能互为补充和相互加强。”（p.105）
正因如此，我们认为一种范式的方法在解决另一种范式的短板问题上可能发挥非常有效的作用。下面我们拟提出一些可能的做法。
第一种做法其实已经存在。基于本质论范式、更加适合使用数据的高深莫测模型正在为教育数据挖掘领域所接受，因为在很多情况下更好的预测本身是一件好事。虽然预测准确性不是一个模型的唯一目标，但是我们有充分理由选择AUCROC值0.75的模型，而不选择AUCROC值0.65的模型。高深莫测、预测能力强的模型对我们日常生活产生变革性影响，比如在语音识别方面。关键是必须明确哪些情况需要更高的预测准确率并且有解决效度问题的好办法，因为准确率的优化可能带来其他效度问题，因此既要能够发现这些问题又要能够减少这些因素的影响。比如，杨和杨（Yeung&Yeung,2018）提出了一个学生知识估测深度学习模型，发现一些效度问题，然后通过正则化（regularization）在不降低模型预测准确率的情况下解决这些问题。把本质论范式在预测准确率方面的优势与实体论范式重视效度的优势相结合，这可能有助于解决实体论范式和辩证论范式学习分析实践者所希望解决的问题。
实体论范式发现复杂构念的能力有益于其他范式的研究。很多存在论范式研究涉及对具体案例进行质性深度分析——这是一个非常费力的过程（Sherin,etal.,2018）。虽然可视化能提高分析过程的速度（Shaffer&Ruis,2017;Sherin,etal.,2018），但是收集质性数据经常可能是一个深入而又耗时的过程，因此使用自动化模型加快质性数据的收集和分析的速度可能大有裨益。如果我们能够确定我们特别感兴趣的案例，我们便能集中分析这些案例。更值得称道的是，如果我们能够确定对哪些正在发生的案例感兴趣，我们便能够集中收集它们的质性数据，如访谈和观察。比如，观察到学生情绪变化时马上向现场质性研究者发出提醒，研究者便能够在这种情绪变化的一分钟之内对该学生进行访谈（Baker,inpreparation）。
存在论范式可能在几个方面支持其他范式的研究。量化民族志和其他存在论范式方法很可能有助于更好地理解其他范式机器学习模型所研究的现象。比较现象可见和现象不可见在行为上的关系（比较认知网络）可能有助于我们更好地了解这种现象发生的原因（比如：Karumbaiah,etal.,2019），构建发现这种现象的更有效特征工程（featureengineering）。从现象学的角度了解编码者发现一个构念的推理过程也可能更好地发现这个构念。比如帕克特等（Paquette,etal.,2014）采用知识工程方法研究编码者是如何发现“钻空子”现象的，并把结果用于发现其他学习系统相同现象且无须重新训练模型（Paquette&Baker,2019）。
五、
结束语
本文讨论了对大数据和数据科学教育用途感兴趣的四个共同体（学习分析、教育数据挖掘、大规模学习和量化民族志）之间的关系和最主要的不同之处。
我们认为这四个共同体所开展的不同工作在很大程度上可以从四种哲学范式的角度进行解释。这四种范式追溯到古希腊哲学的起源，而本文采用理查德·麦基翁和理查德·布坎南提出的框架并做适当修改。虽然上述四个共同体各自举办的四种学术会议与这四种范式不存在严格的对应关系，但是这些范式与四个共同体各自的研究存在惊人的对应程度。
我们希望每一个人都更好地了解自己的哲学观对研究和实践的影响。通过了解自己，我们便能够更加深入地了解我们做出具体选择的原因并从遵循这种哲学传统的其他研究中寻找类似的东西。通过了解更大学术领域同行对他们的研究和实践所持的哲学观，我们便能够更好地了解他们做出具体选择的原因以及这些选择与（有时是不可言传的）深层哲学理念的关系，明白他们不是因为无知、懒惰或愚蠢才做出这些选择的。
或许更重要的是，通过了解我们同行的哲学观，我们可能能够更好地理解他们看问题的视角（我们原先做不到，因为不了解他们的哲学观），更好地向他们学习。我们因此更可能能够设计充分利用各自优势的研究课题，为本领域做出贡献，也能服务好我们的学生。本文阐述了不同共同体的合作可能带来的新关系和研究课题。当然，各方加强彼此联系和协作的机会并不限于本文所述，还有很多可能性是我们现在还想象不到的。一言以蔽之，我们这个领域希望解决的挑战不可能通过某一种方法或一套工具得以解决。我们必须共同面对，一起解决。
参考文献
Amershi,S.,&Conati,C.(2009).Combiningunsupervisedandsupervisedclassificationtobuildusermodelsforexploratorylearningenvironments.JournalofEducationalDataMining,1(1),18-71.
An,P.,Bakker,S.,Ordanovski,S.,Taconis,R.,Paffen,C.L.,&Eggen,B.(2019).Unobtrusivelyenhancingreflection-in-actionofteachersthroughspatiallydistributedambientinformation.InProceedingsofthe2019CHIconferenceonhumanfactorsincomputingsystems(paperno.91).AssociationforComputingMachinery.
Anderson,J.R.,Reder,L.M.,&Simon,H.A.(1997).Situativeversuscognitiveperspectives:Formversussubstance.EducationalResearcher,26(1),18-21.
Atkisson,M.,&Wiley,D.(2011).Learninganalyticsasinterpretivepractice:Applyingwestermantoeducationalintervention.InProceedingsofthe1stinternationalconferenceonlearninganalyticsandknowledge(pp.117-121).AssociationforComputingMachinery.
Baker,R.S.(2012).Bigdataandeducation(1sted.).ColumbiaUniversity.TeachersCollege.
Baker,R.S.(2019).Challengesforthefutureofeducationaldatamining:TheBakerlearninganalyticsprizes.JournalofEducationalDataMining,11(1),1-17.
Baker,R.S.J.d.,Corbett,A.T.,&Aleven,V.(2008).Improvingcontextualmodelsofguessingandslippingwithatruncatedtrainingset.InR.deBaker,T.Barnes,&J.Beck(Eds.),Proceedingsofthe1stinternationalconferenceoneducationaldatamining(pp.67-76).InternationalEducationalDataMiningSociety.
Baker,R.S.J.d.,&Yacef,K.(2009).Thestateofeducationaldataminingin2009:Areviewandfuturevisions.JournalofEducationalDataMining,1(1),3-17.
Bakharia,A.,&Dawson,S.(2011).SNAPP:Abird’s-eyeviewoftemporalparticipantinteraction.InProceedingsofthe1stinternationalConferenceonlearningAnalyticsandknowledge(pp.168-173).AssociationforComputingMachinery.
Barany,A.,&Foster,A.(2019).Examiningidentityexplorationinavideogameparticipatoryculture.InB.Eagan,M.Misfeldt,&A.Siebert-Evenstone(Eds.),Advancesinquantitativeethnography(pp.3-13).Springer.
Barnes,T.(2005).TheQ-matrixmethod:Miningstudentresponsedataforknowledge.InJ.E.Beck(Ed.),ProceedingsofAAAI2005educationaldataminingworkshop(pp.39-46).AssociationfortheAdvancementofArtificialIntelligence.
Bauer,E.,Sailer,M.,Kiesewetter,J.,Schulz,C.,Pfeiffer,J.,Gurevych,I.,Fischer,M.,&Fischer,F.(2019).UsingENAtoanalyzepre-serviceteachers’diagnosticargumentations:Aconceptualframeworkandinitialapplications.InB.Eagan,M.Misfeldt,&A.Siebert-Evenstone(Eds.),Advancesinquantitativeethnography(pp.14-25).Springer.
Berland,M.,Baker,R.S.,&Blikstein,P.(2014).Educationaldataminingandlearninganalytics:Applicationstoconstructionistresearch.Technology,KnowledgeandLearning,19,205-220.
Blikstein,P.(2011).Usinglearninganalyticstoassessstudents’behaviorinopen-endedprogrammingtasks.InProceedingsofthe1stinternationalconferenceonlearninganalyticsandknowledge(pp.110-116).AssociationforComputingMachinery.
Bodily,R.,Kay,J.,Aleven,V.,Jivet,I.,Davis,D.,Xhakaj,F.,&Verbert,K.(2018,March).Openlearnermodelsandlearninganalyticsdashboards:asystematicreview.InProceedingsofthe8thinternationalconferenceonlearninganalyticsandknowledge(pp.41-50).
Bodily,R.,&Verbert,K.(2017).Reviewofresearchonstudent-facinglearninganalyticsdashboardsandeducationalrecommendersystems.IEEETransactionsonLearningTechnologies,10(4),405-418.
Botelho,A.F.,Baker,R.,Ocumpaugh,J.,&Heffernan,N.(2018).Studyingaffectdynamicsandchronometryusingsensor-freedetectors.InK.E.Boyer,&M.Yudelson(Eds.),Proceedingsofthe11thinternationalconferenceoneducationaldatamining(pp.157-166).InternationalEducationalDataMiningSociety.
Botelho,A.F.,Varatharaj,A.,Inwegen,E.G.V.,&Heffernan,N.T.(2019).Refusingtotry:Characterizingearlystopoutonstudentassignments.InProceedingsofthe9thinternationalconferenceonlearninganalytics&knowledge(pp.391-400).AssociationforComputingMachinery.
Bowers,A.J.,Sprott,R.,&Taff,S.A.(2012).DoweknowwhowilldropoutAreviewofthepredictorsofdroppingoutofhighschool:Precision,sensitivity,andspecificity.HighSchoolJournal,96(2),77-100.
BuckinghamShum,S.,Ferguson,R.,&Martinez-Maldonado,R.(2019).Human-centredlearninganalytics.JournalofLearningAnalytics,6(2),1-9.
BuckinghamShum,S.,&Luckin,R.(2019).LearninganalyticsandAI:Politics,pedagogyandpractices.BritishJournalofEducationalTechnology,50(6),2785-2793.
Cai,Z.,Siebert-Evenstone,A.,Eagan,B.,Shaffer,D.W.,Hu,X.,&Graesser,A.C.(2019).nCoder+:AsemantictoolforimprovingrecallofnCodercoding.InB.Eagan,M.Misfeldt,&A.Siebert-Evenstone(Eds.),Advancesinquantitativeethnography(pp.41-54).Springer.
Campbell,J.P.,DeBlois,P.B.,&Oblinger,D.(2007).Academicanalytics:Anewtoolforanewera.EducauseReview,42(4),40-57.
Chang,K.M.,Beck,J.E.,Mostow,J.,&Corbett,A.(2006).DoeshelphelpABayesnetapproachtomodelingtutorinterventions.InProceedingsofthe21stannualMeetingoftheAmericanAssociationforartificialintelligence(pp.41-46).AmericanAssociationforArtificialIntelligence.
Chatti,M.A.,Dyckhoff,A.L.,Schroeder,U.,&Thüs,H.(2012).Areferencemodelforlearninganalytics.InternationalJournalofTechnologyEnhancedLearning,4(5-6),318-331.
Chaturapruek,S.,Dee,T.S.,Johari,R.,Kizilcec,R.F.,&Stevens,M.L.(2018).Howadata-drivencourseplanningtoolaffectscollegestudents’GPA:Evidencefromtwofieldexperiments.InProceedingsofthefifthannualACMconferenceonlearningatscale(p.63).AssociationforComputingMachinery.
D.(2020).Let’sshinetogether!Acomparativestudybetweenlearninganalyticsandeducationaldatamining.InProceedingsofthetenthinternationalconferenceonlearninganalytics&knowledge(pp.544-553).AssociationforComputingMachinery.
Chen,X.,Zou,D.,Cheng,G.,&Xie,H.(2020).Detectinglatenttopicsandtrendsineducationaltechnologiesoverfourdecadesusingstructuraltopicmodeling:Aretrospectiveofallvolumesofcomputers&education.Computers&Education,151,103855.
Choi,H.,Dowell,N.,Brooks,C.,&Teasley,S.(2019).SocialcomparisoninMOOCs:PerceivedSES,opinion,andmessageformality.InProceedingsofthe9thinternationalconferenceonlearninganalytics&knowledge(pp.160-169).AssociationforComputingMachinery.
Clow,D.(2012).Thelearninganalyticscycle:Closingtheloopeffectively.InProceedingsofthe2ndinternationalconferenceonlearninganalyticsandknowledge(pp.134-138).AssociationforComputingMachinery.
Coleman,S.R.,&Salamon,R.(1988).Kuhn’sStructureofscientificrevolutionsinthepsychologicaljournalliterature,1969-1983:Adescriptivestudy.TheJournalofMindandBehavior,9(4),415-446.
Corrin,L.,&deBarba,P.(2014).Exploringstudents’interpretationoffeedbackdeliveredthroughlearninganalyticsdashboards.InProceedingsoftheASCILITE2014conference(pp.629-633).AustralasianSocietyforComputersinLearninginTertiaryEducation.
,D.,Siemens,G.,&Joksimovic,S.(2014,March).Currentstateandfuturetrends:Acitationnetworkanalysisofthelearninganalyticsfield.InProceedingsofthefourthinternationalconferenceonlearninganalyticsandknowledge(pp.231-240).
Dawson,S.,Joksimovic,S.,Poquet,O.,&Siemens,G.(2019).Increasingtheimpactoflearninganalytics.InProceedingsofthe9thinternationalconferenceonlearninganalytics&knowledge(pp.446-455).AssociationforComputingMachinery.
,D.(2018).Rethinkinglearninganalyticsadoptionthroughcomplexityleadershiptheory.InProceedingsofthe8thinternationalconferenceonlearninganalyticsandknowledge(pp.236-244).AssociationforComputingMachinery.
Essa,A.(2016).Apossiblefuturefornextgenerationadaptivelearningsystems.SmartLearningEnvironments,3(16),1-24.
Ferguson,R.(2012).Learninganalytics:Drivers,developmentsandchallenges.InternationalJournalofTechnologyEnhancedLearning,4(5),304-317.
Ferguson,R.,&Shum,S.B.(2011).Learninganalyticstoidentifyexploratorydialoguewithinsynchronoustextchat.InProceedingsofthe1stinternationalconferenceonlearninganalyticsandknowledge(pp.99-103).AssociationforComputingMachinery.
,D.(2020).Towardsautomaticcontentanalysisofsocialpresenceintranscriptsofonlinediscussions.InProceedingsofthetenthinternationalconferenceonlearninganalytics&knowledge(pp.141-150).AssociationforComputingMachinery.
,D.,Joksimovi,S.,Eagan,B.R.,&Shaffer,D.W.(2019).SENS:Networkanalyticstocombinesocialandcognitiveperspectivesofcollaborativelearning.ComputersinHumanBehavior,92,562-577.
,S.(2017).Piecingthelearninganalyticspuzzle:Aconsolidatedmodelofafieldofresearchandpractice.Learning:ResearchandPractice,3(1),63-78.
Greeno,J.G.(1997).Onclaimsthatanswerthewrongquestions.EducationalResearcher,26(1),5-17.
Greller,W.,&Drachsler,H.(2012).Translatinglearningintonumbers:Agenericframeworkforlearninganalytics.JournalofEducationalTechnology&Society,15(3),42-57.
Halevy,A.,Norvig,P.,&Pereira,F.(2009).Theunreasonableeffectivenessofdata.IEEEIntelligentSystems,24(2),8-12.
Harpstead,E.,Richey,J.E.,Nguyen,H.,&McLaren,B.M.(2019).Exploringthesubtletiesofagencyandindirectcontrolindigitallearninggames.InProceedingsofthe9thinternationalconferenceonlearninganalytics&knowledge(pp.121-129).AssociationforComputingMachinery.
Holstein,K.,McLaren,B.M.,&Aleven,V.(2019).Co-designingareal-timeclassroomorchestrationtooltosupportteacher-AIcomplementarity.JournalofLearningAnalytics,6(2),27-52.
Huang,J.,Dasgupta,A.,Ghosh,A.,Manning,J.,&Sanders,M.(2014).SuperposterbehaviorinMOOCforums.InProceedingsofthefirstACMconferenceonlearning@scaleconference(pp.117-126).AssociationforComputingMachinery.
Jacobson,M.J.,Kapur,M.,&Reimann,P.(2016).Conceptualizingdebatesinlearningandeducationalresearch:Towardacomplexsystemsconceptualframeworkoflearning.EducationalPsychologist,51(2),210-218.
Jensen,D.(2000).Datasnooping,dredgingandfishing:ThedarksideofdataminingaSIGKDD99panelreport.SIGKDDExplorations,1(2),52-54.
,D.,Brooks,C.,Devedzic,V.,Hatala,M.,Eap,T.,&Richards,G.(2008).LOCO-Analyst:Semanticwebtechnologiesinlearningcontentusageanalysis.InternationalJournalofContinuingEngineeringEducationandLifeLongLearning,18(1),54-76.
Karumbaiah,S.,Baker,R.S.,Barany,A.,&Shute,V.(2019).Usingepistemicnetworkswithautomatedcodestounderstandwhyplayersquitlevelsinalearninggame.InB.Eagan,M.Misfeldt,&A.Siebert-Evenstone(Eds.),Advancesinquantitativeethnography(pp.106-116).Springer.
Khajah,M.,Lindsey,R.V.,&Mozer,M.C.(2016).HowdeepisknowledgetracingInT.Barnes,M.Chi,&M.Feng(Eds.),Proceedingsofthe9thinternationalconferenceoneducationaldatamining(pp.94-101).InternationalEducationalDataMiningSociety.
Kim,J.,Guo,P.J.,Seaton,D.T.,Mitros,P.,Gajos,K.Z.,&Miller,R.C.(2014).Understandingin-videodropoutsandinteractionpeaksinonlinelecturevideos.InProceedingsofthefirstACM
,D.,Dawson,S.,Joksimovic,S.,Baker,R.S.,&Hatala,M.(2016).Doestime-on-taskestimationmatterImplicationsonvalidityoflearninganalyticsfindings.JournalofLearningAnalytics,2(3),81-110.
Kuhn,T.S.(1962).Thestructureofscientificrevolutions(1sted.).UniversityofChicagoPress.
LeCun,Y.,Bengio,Y.,&Hinton,G.(2015).Deeplearning.Nature,521(7553),436-444.
Li,H.,Gobert,J.,Dickler,R.,&Moussavi,R.(2018).Theimpactofmultiplereal-timescaffoldingexperiencesonscienceinquirypractices.InR.Nkambou,R.Azevedo,&J.Vassileva(Eds.),Intelligenttutoringsystems:14thinternationalconferenceproceedings(pp.99-109).Springer.
Lingard,B.,&Lewis,S.(2016).GlobalisationoftheAnglo-Americanapproachtotopdown,test-basededucationalaccountability.InG.T.L.Brown,&L.R.Harris(Eds.),Handbookofhumanandsocialconditionsinassessment(1sted.)(pp.387-403).Routledge.
Long,P.D.,Siemens,G.,Conole,G.,&
,D.(Eds.).(2011).LAK’11:Proceedingsofthe1stinternationalconferenceonlearninganalyticsandknowledge.AssociationforComputingMachinery.
Lonn,S.,Aguilar,S.J.,&Teasley,S.D.(2015).Investigatingstudentmotivationinthecontextofalearninganalyticsinterventionduringasummerbridgeprogram.ComputersinHumanBehavior,47,90-97.
Lynch,C.F.(2017).WhoprophetsfrombigdataineducationNewinsightsandnewchallenges.TheoryandResearchinEducation,15(3),249-271.
Macfadyen,L.P.,Dawson,S.,Pardo,A.,&
,D.(2014).Embracingbigdataincomplexeducationalsystems:Thelearninganalyticsimperativeandthepolicychallenge.Research&PracticeinAssessment,9(Winter),17-28.
Martin,T.,PetrickSmith,C.,Forsgren,N.,Aghababyan,A.,Janisiewicz,P.,&Baker,S.(2015).Learningfractionsbysplitting:Usinglearninganalyticstoilluminatethedevelopmentofmathematicalunderstanding.TheJournaloftheLearningSciences,24(4),593-637.
,D.,&Pardo,A.(2020).Asystematicreviewofempiricalstudiesonlearninganalyticsdashboards:Aself-regulatedlearningperspective.IEEETransactionsonLearningTechnologies,13(2),226-245.
McKeon,R.(1966).Philosophicsemanticsandphilosophicinquiry.InZ.K.Mckeon(Ed.),Freedomandhistoryandotheressays:AnintroductiontothethoughtofRichardMcKeon(pp.242-256).TheUniversityofChicagoPress.
Melzner,N.,Greisel,M.,Dresel,M.,&Kollar,I.(2019).Usingprocessmining(PM)andepistemicnetworkanalysis(ENA)forcomparingprocessesofcollaborativeproblemregulation.InB.Eagan,M.Misfeldt,&A.Siebert-Evenstone(Eds.),Advancesinquantitativeethnography(pp.154-164).Springer.
Paquette,L.,&Baker,R.S.(2019).Comparingmachinelearningtoknowledgeengineeringforstudentbehaviormodeling:Acasestudyingamingthesystem.InteractiveLearningEnvironments,27(5-6),585-597.
Paquette,L.,deCarvalho,A.M.J.A.,&Baker,R.S.(2014).Towardsunderstandingexpertcodingofstudentdisengagementinonlinelearning.InProceedingsofthe36thannualcognitivescienceconference(pp.1126-1131).CognitiveScienceSociety.
Pardos,Z.,Heffernan,N.,Ruiz,C.,&Beck,J.(2008).Thecompositioneffect:ConjuntiveorcompensatoryAnanalysisofmulti-skillmathquestionsinITS.InR.S.J.d.Baker,T.Barnes,&J.E.Beck(Eds.),Proceedingsofthe1stinternationalconferenceoneducationaldatamining(pp.147-156).InternationalEducationalDataMiningSociety.
Pavlik,P.I.,Jr.,Cen,H.,&Koedinger,K.R.(2009).Learningfactorstransferanalysis:Usinglearningcurveanalysistoautomaticallygeneratedomainmodels.InT.Barnes,M.Desmararis,C.Romero,&S.Ventura(Eds.),Proceedingsofthe2ndinternationalconferenceoneducationaldatamining(pp.121-130).InternationalEducationalDataMiningSociety.
Pavlik,P.,&Toth,J.(2010).Howtobuildbridgesbetweenintelligenttutoringsystemsubfieldsofresearch.InV.Aleven,J.Kay,&J.Mostow(Eds.),Intelligenttutoringsystems:10thinternationalconference,proceedingsPartII(pp.103-112).Springer.
Pelánek,R.(2020).Learninganalyticschallenges:Trade-offs,methodology,scalability.InProceedingsofthetenthinternationalconferenceonlearninganalytics&knowledge(pp.554-558).AssociationforComputingMachinery.
PontualFalco,T.,FerreiraMello,R.,Rodrigues,R.L.,Diniz,J.R.B.,Tsai,Y.S.,&
,D.(2020).PerceptionsandexpectationsaboutlearninganalyticsfromaBrazilianhighereducationinstitution.InProceedingsofthetenthinternationalconferenceonlearninganalytics&knowledge(pp.240-249).
Rich,M.H.(2018).McKeon'ssemanticsofcommunication:Apragmaticexplorationofthecommunicativearts.Empedocles:EuropeanJournalforthePhilosophyofCommunication,9(1),5-24.
Rienties,B.,Herodotou,C.,Olney,T.,Schencks,M.,&Boroowa,A.(2018).Makingsenseoflearninganalyticsdashboards:Atechnologyacceptanceperspectiveof95teachers.InternationalReviewofResearchinOpenandDistanceLearning,19(5),186-202.
Ritter,S.,Yudelson,M.,Fancsali,S.E.,&Berman,S.R.(2016).Howmasterylearningworksatscale.InProceedingsofthethirdACMconferenceonlearning@scale(pp.71-79).AssociationforComputingMachinery.
Sachse,C.(2013).Reductionisminthephilosophyofscience(Vol.11).WalterdeGruyter.
,D.,Matcha,W.,Uzir,N.A.A.,&Pardo,A.(2020).Combininganalyticmethodstounlocksequentialandtemporalpatternsofself-regulatedlearning.InProceedingsofthetenthinternationalconferenceonlearninganalytics&knowledge(pp.402-411).
Sales,A.,Botelho,A.F.,Patikorn,T.,&Heffernan,N.T.(2018).Usingbigdatatosharpendesign-basedinferenceinA/Btests.InK.E.Boyer,&M.Yudelson(Eds.),Proceedingsofthe11thinternationalconferenceoneducationaldatamining(pp.479-485).InternationalEducationalDataMiningSociety.
Settles,B.,&Meeder,B.(2016).Atrainablespacedrepetitionmodelforlanguagelearning.InK.Erk,&N.A.Smith(Eds.),Proceedingsofthe54thannualmeetingoftheassociationforcomputationallinguistics(Vol.1,pp.1848-1858).Longpapers.
Shaffer,D.,&Ruis,A.(2017).Epistemicnetworkanalysis:Aworkedexampleoftheory-basedlearninganalytics.InC.Lang,G.Siemens,A.Wise,&D.
(Eds.),Handbookoflearninganalytics(pp.175-187).SoLAR.
Sherin,B.,Kersting,N.,&Berland,M.(2018).Learninganalyticsinsupportofqualitativeanalysis.InJ.Kay,&R.Luckin(Eds.),Proceedingsofthe13thinternationalconferenceofthelearningsciences(pp.464-471).InternationalSocietyoftheLearningSciences.
Siemens,G.,&Baker,R.S.D.(2012).Learninganalyticsandeducationaldatamining:towardscommunicationandcollaboration.InProceedingsofthe2ndinternationalconferenceonlearninganalyticsandknowledge(pp.252-254).
Siemens,G.(2013).Learninganalytics:theemergenceofadiscipline.AmericanBehavioralScientist,57(10),1380-1400.
Siemens,G.(2014).Thejournaloflearninganalytics:Supportingandpromotinglearninganalyticsresearch.JournalofLearningAnalytics,1(1),3-5.
Singh,R.P.(2018).Learninganalytics:Potential,protection,andprivacyintheeducationalsystem.InM.K.Singh,Z.Zerihun,&N.Singh(Eds.),Impactoflearninganalyticsoncurriculumdesignandstudentperformance(pp.1-18).IGIGlobal.
Strohecker,C.(1991).Elucidatingstylesofthinkingabouttopologythroughthinkingaboutknots.InI.Harel,&S.Papert(Eds.),Constructionism(pp.215-234).Ablex.
Suthers,D.,&Rosen,D.(2011).Aunifiedframeworkformulti-levelanalysisofdistributedlearning.InProceedingsofthe1stinternationalconferenceonlearninganalyticsandknowledge(pp.64-74).AssociationforComputingMachinery.
Swiecki,Z.,&Shaffer,D.W.(2020).iSENS:anintegratedapproachtocombiningepistemicandsocialnetworkanalyses.InProceedingsofthetenthinternationalconferenceonlearninganalytics&knowledge(pp.305-313).AssociationforComputingMachinery.
Tsai,V.,&Gasevic,D.(2017,March).Learninganalyticsinhighereducation—challengesandpolicies:areviewofeightlearninganalyticspolicies.InProceedingsoftheseventhinternationallearninganalytics&knowledgeconference(pp.233-242).
,D.,Whitelock-Wainwright,A.,Muoz-Merino,P.J.,Moreno-Marcos,P.M.,RubioFernández,A.,DelgadoKloos,C.,Scheffel,M.,Jivet,I.,Drachsler,H.,Tammets,K.,RuizCalleja,A.,&Kollom,K.(2018).Sheila:Supportinghighereducationtointegratelearninganalytics.TheUniversityofEdinburgh.
,D.,Dawson,S.,&Pardo,A.(2019).Complexityleadershipinlearninganalytics:Drivers,challengesandopportunities.BritishJournalofEducationalTechnology,50(6),2839-2854.
,J.,Matcha,W.,Lim,L.A.,&Fudge,A.(2020).Analyticsoftimemanagementandlearningstrategiesforeffectiveonlinelearninginblendedenvironments.InProceedingsofthetenthinternationalconferenceonlearninganalytics&knowledge(pp.392-401).AssociationforComputingMachinery.
Viberg,O.,Hatakka,M.,B¨alter,O.,&Mavroudi,A.(2018).Thecurrentlandscapeoflearninganalyticsinhighereducation.ComputersinHumanBehavior,89,98-110.
Watson,W.(1994).McKeon’ssemanticschema.PhilosophyandRhetoric,27(2),85-103.
Weller,M.(2020).25yearsofedtech.AthabascaUniversityPress.
Whitelock-Wainwright,A.,Tsai,Y.S.,Lyons,K.,Kaliff,S.,Bryant,M.,Ryan,K.,&
,D.(2020).Disciplinarydifferencesinblendedlearningdesign:Anetworkanalyticstudy.InProceedingsofthetenthinternationalconferenceonlearninganalytics&knowledge(pp.579-588).
Wise,A.,&Jung,Y.(2019).Teachingwithanalytics:Towardsasituatedmodelofinstructionaldecision-making.JournalofLearningAnalytics,6(2),53-69
Worsley,M.,&Blikstein,P.(2015).Leveragingmultimodallearninganalyticstodifferentiatestudentlearningstrategies.InProceedingsofthefifthinternationalconferenceonlearninganalyticsandknowledge(pp.360-367).AssociationforComputingMachinery.
Yang,S.,Domeniconi,C.,Revelle,M.,Sweeney,M.,Gelman,B.U.,Beckley,C.,&Johri,A.(2015).Uncoveringtrajectoriesofinformallearninginlargeonlinecommunitiesofcreators.InProceedingsofthesecondACMconferenceonlearning@scale(pp.131-140).AssociationforComputingMachinery.
Yeung,C.K.,&Yeung,D.Y.(2018).Addressingtwoproblemsindeepknowledgetracingviaprediction-consistentregularization.InProceedingsofthefifthannualACMconferenceonlearningatscale(pp.1-10).AssociationforComputingMachinery.
Zhang,Y.,Shah,R.,&Chi,M.(2016).Deeplearning+studentmodeling+clustering:Arecipeforeffectiveautomaticshortanswergrading.InT.Barnes,M.Chi,&M.Feng(Eds.),Proceedingsofthe9thinternationalconferenceoneducationaldatamining(pp.562-567).InternationalEducationalDataMiningSociety.
肖俊洪，汕头开放大学教授，DistanceEducation（《远程教育》）（Taylor&Francis）期刊副主编。SpringerBriefsinOpenandDistanceEducation（《远程开放教育SpringerBriefs系列丛书》）联执主编。