學生的(de)學習(xí)行爲投入度一般是指學生在學校中積極的(de)、有利于取得(de)成就的(de)行爲。目前，學生課堂學習(xí)行爲投入度的(de)定義主要有兩類：一類是從學生遵守規則的(de)角度進行研究，具體表征爲學生上課的(de)出勤率等，如Finn^[1]認爲學習(xí)投入度有助于發現學生逐步疏遠(yuǎn)、脫離學校的(de)過程，從而可(kě)以通(tōng)過及時(shí)幹預幫助學生完成學業；另一類是從學生深度參與學習(xí)活動的(de)角度進行研究，如努力、堅持、集中注意力等^[2]，具體表征爲學生是否完成作業和(hé)聽(tīng)課、回答(dá)問題、討(tǎo)論的(de)行爲等，如Henry等^[3]通(tōng)過測量學生的(de)行爲對(duì)其學習(xí)結果進行預測。本研究綜合考慮上述兩類學習(xí)行爲投入度的(de)内涵，在考慮學生出勤情況的(de)基礎上，通(tōng)過觀察學生在課堂學習(xí)過程中的(de)行爲表現，來(lái)掌握學生的(de)課堂行爲投入情況。

課堂學習(xí)行爲投入度的(de)測量方式主要有學生自我報告與課堂觀察。其中，學生自我報告是最常用(yòng)的(de)方法，這(zhè)一方法實用(yòng)性強、容易管理(lǐ)，并能以相對(duì)較低的(de)成本提供大(dà)樣本的(de)數據。然而，學生自我報告時(shí)易受主觀影(yǐng)響，在某些情況下(xià)可(kě)能不會如實回答(dá)，适用(yòng)于評估認知及情感投入^[4]，并且這(zhè)一方法在數據收集與處理(lǐ)的(de)時(shí)效性上具有滞後性。而課堂觀察可(kě)基于預先設置的(de)觀察量表，捕捉學生課堂學習(xí)投入度的(de)行爲特征，以評估學生個(gè)體在任務上和(hé)任務外的(de)行爲^[5]。但是，研究人(rén)員(yuán)在課堂上直接觀察并手動編碼的(de)傳統方法，以及目前較爲通(tōng)用(yòng)的(de)基于課堂視頻(pín)進行半自動數據編碼的(de)方法，均需要研究人(rén)員(yuán)投入較多(duō)的(de)人(rén)力和(hé)時(shí)間，因此不适用(yòng)于大(dà)樣本量的(de)調研，亦無法作爲常規的(de)過程性評價工具。

計算(suàn)機視覺技術的(de)出現，爲研究人(rén)員(yuán)改良課堂觀察法帶來(lái)了(le)新的(de)可(kě)能性：對(duì)課堂學習(xí)行爲的(de)捕捉與識别有望擺脫對(duì)人(rén)力的(de)依賴，從而大(dà)幅提升效率。計算(suàn)機視覺技術是一種計算(suàn)機模拟人(rén)類的(de)視覺過程、具有感受環境的(de)能力和(hé)人(rén)類視覺功能的(de)技術，是圖像處理(lǐ)、人(rén)工智能和(hé)模式識别等技術的(de)綜合^[6]。受益于計算(suàn)機視覺技術的(de)長(cháng)足發展，個(gè)體行爲的(de)自動化(huà)識别正走進真實實踐場(chǎng)景，但與課堂教學實踐相結合的(de)研究還(hái)處于起步階段。例如，賈鹂宇等^[7]在課堂中通(tōng)過對(duì)表情檢測分(fēn)類，來(lái)判斷學生的(de)聽(tīng)課狀态；孫衆等^[8]基于OpenPose算(suàn)法，進行學生的(de)人(rén)體姿态識别。但現有研究也(yě)存在一些局限，主要表現爲：往往專注于個(gè)别行爲的(de)識别，缺乏完整的(de)課堂學習(xí)行爲投入度分(fēn)析指标的(de)支持；行爲識别的(de)依據局限于人(rén)體骨架信息，沒有将學生周邊物(wù)體的(de)信息納爲行爲識别的(de)依據，故檢測的(de)準确性有待提升；在應用(yòng)層面往往止步于行爲識别、狀态呈現，而缺少教學維度的(de)關聯分(fēn)析。

本研究嘗試在計算(suàn)機視覺技術的(de)支持下(xià)，在數據收集與處理(lǐ)層面對(duì)傳統的(de)課堂觀察法加以改良與創新，擴大(dà)數據采集的(de)範圍、提升數據收集與處理(lǐ)的(de)效率，同時(shí)大(dà)幅降低研究人(rén)員(yuán)在人(rén)力方面的(de)開銷，最終實現課堂學習(xí)行爲投入度的(de)自動化(huà)測量。具體來(lái)說，本研究将在文獻梳理(lǐ)的(de)基礎上提煉出一套有代表性的(de)課堂學習(xí)行爲投入度測量和(hé)分(fēn)析指标集，然後引入計算(suàn)機視覺技術完成課堂學習(xí)行爲投入度測量與分(fēn)析系統的(de)開發，對(duì)學生課堂學習(xí)的(de)出勤情況、行爲投入度實施自動觀察、測量和(hé)診斷，爲教師及時(shí)掌握學生的(de)課堂學習(xí)投入狀态提供數據支撐。

表1  學生課堂學習(xí)行爲投入度的(de)相關指标

1 課堂學習(xí)行爲投入度觀察指标

目前，衆多(duō)研究者從投入與脫離兩個(gè)維度，來(lái)探討(tǎo)與學習(xí)行爲投入度測量相關的(de)指标。其中，投入是正向的(de)學習(xí)行爲投入，其特征表現爲努力、注意力和(hé)堅持；而脫離是負面投入，通(tōng)常表現爲被動、缺乏主動性和(hé)放棄。本研究從投入和(hé)脫離兩個(gè)維度，在文獻研讀的(de)基礎上對(duì)在校學生行爲觀察（Behavior Observation of Student in Schools，BOSS）^[9]、課堂氣氛、教學/内容、管理(lǐ)（Classroom Atmosphere, Instruction/Content, Management，Classroom AIMs）^[10]、教學結構和(hé)學生學業反饋主流編碼（Mainstream Version-Code for Instructional Structure and Student Academic Response，MS-CISSAR）^[11]、教學實踐清單（Instructional Practices Inventory，IPI）^[12]、課堂觀察編碼（Classroom Observation Code，COC）^[13]、直接觀察表格（Direct Observation Form，DOF）^[14]、Flanders交互分(fēn)析編目（Flanders Interactive Analysis Categories，FIAC）^[15]、語言交互編目（Verbal Interaction Category System，VICS）^[16]、信息技術交互分(fēn)析系統（Information Technology-based Interaction Analysis System，ITIAS）^[17]、S-T（Student-Teacher）^[18]等項目中的(de)課堂學習(xí)行爲指标進行了(le)梳理(lǐ)，得(de)到學生課堂學習(xí)行爲投入度的(de)相關指标，如表1所示。

基于學生課堂學習(xí)行爲投入度的(de)相關指标，本研究邀請18名相關專家（包括教育技術領域的(de)學者和(hé)大(dà)學一線教師）參加了(le)學生課堂行爲投入度觀察指标遴選的(de)問卷調研及訪談。結合問卷數據和(hé)訪談反饋的(de)分(fēn)析結果，本研究選取“看黑(hēi)闆（含看老師，下(xià)同）、看書(shū)、看電腦(nǎo)、舉手答(dá)問、側身交流”等五個(gè)行爲作爲投入行爲的(de)觀察指标，将“玩手機”作爲脫離行爲的(de)觀察指标，如表2所示。

表2  學生課堂行爲投入度的(de)觀察指标

2 學生課堂學習(xí)行爲投入度測量與分(fēn)析系統的(de)設計

本研究依托學生課堂學習(xí)行爲投入度的(de)觀察指标，以計算(suàn)機視覺技術爲支撐，設計了(le)學生課堂學習(xí)行爲投入度測量與分(fēn)析系統。此系統以高(gāo)清網絡攝像頭采集課堂教學的(de)大(dà)場(chǎng)景圖像爲輸入，通(tōng)過動作識别處理(lǐ)和(hé)數據管理(lǐ)，實現學生出勤率和(hé)課堂過程行爲投入度的(de)自動記錄與分(fēn)析，并予以可(kě)視化(huà)呈現。此系統分(fēn)爲系統支撐層、圖像識别層、數據分(fēn)析層，其具體的(de)業務流程如圖1所示。

圖1  課堂學習(xí)行爲投入度測量與分(fēn)析系統的(de)業務流程

（1）系統支撐層

在系統支撐層中，教室網絡高(gāo)清攝像頭對(duì)課堂學習(xí)行爲進行全面的(de)圖像采集，随機抽取采集圖像的(de)十分(fēn)之一，經由深度學習(xí)及計算(suàn)機視覺等技術處理(lǐ)，完成課堂學習(xí)行爲數據集的(de)制作和(hé)課堂學習(xí)行爲模型的(de)訓練，作爲後續課堂學習(xí)行爲識别的(de)基礎。其中，課堂學習(xí)行爲數據集示例如表3所示。

表3  課堂學習(xí)行爲數據集示例

（2）圖像識别層

圖像識别層是學生課堂學習(xí)行爲投入度測量與分(fēn)析系統最爲核心的(de)功能模塊，可(kě)分(fēn)爲兩個(gè)部分(fēn)：學習(xí)者識别部分(fēn)，系統通(tōng)過攝像頭獲取課堂現場(chǎng)的(de)圖像，完成圖像分(fēn)割後，通(tōng)過多(duō)任務級聯卷積神經網絡和(hé)面部網絡獲取學生的(de)人(rén)臉圖片，并将圖片提交人(rén)臉識别接口。動作識别部分(fēn)，本研究采用(yòng)遞進（疊加）的(de)技術手段完成課堂學習(xí)行爲的(de)判定：首先通(tōng)過身體姿态對(duì)個(gè)體動作加以識别，之後結合目标識别與位置判定等，實現“看書(shū)”、“玩手機”、“玩電腦(nǎo)”等交互動作識别。其中，四類身體姿态的(de)骨架示意圖如圖4所示，目标識别樣例如圖5所示。

表4  四類身體姿态的(de)骨架示意圖

動作骨架圖低頭側身正坐(zuò)舉手

表5  目标識别樣例示例圖片手書(shū)手機電腦(nǎo)

（3）數據分(fēn)析層

在數據分(fēn)析層，本研究運用(yòng)指标函數和(hé)模糊數學中的(de)隸屬度函數，對(duì)課堂學習(xí)行爲投入指标進行無量綱處理(lǐ)，如公式（1）所示。之後，本研究采用(yòng)層次分(fēn)析法與熵值賦權法計算(suàn)課堂學習(xí)行爲投入指标的(de)綜合權重：邀請5名教育技術領域專家填寫學習(xí)投入及學習(xí)脫離指标重要性矩陣，計算(suàn)得(de)出各指标的(de)主觀權重序列Wi；将無量綱化(huà)後的(de)各指标數據錄入Matlab，計算(suàn)得(de)出客觀權重序列Vi；最後，結合主觀權重與客觀權重，計算(suàn)得(de)出綜合權重，如公式（2）所示。

用(yòng)上述指标權重計算(suàn)方法可(kě)以得(de)到學習(xí)投入及學習(xí)脫離的(de)權重矩陣，如表6所示。以此爲基礎，系統開展了(le)課堂學習(xí)行爲投入度的(de)計算(suàn)，随後還(hái)對(duì)課堂整體行爲投入度、學生個(gè)人(rén)行爲投入度及其各自的(de)發展趨勢進行了(le)分(fēn)析和(hé)評估。

表6  課堂學習(xí)行爲投入度指标權重表

本研究以某高(gāo)校課程“教育技術學理(lǐ)論與實踐”中的(de)一堂課爲例，對(duì)參與此課學習(xí)的(de)26名學生的(de)學習(xí)行爲投入度進行了(le)測量與分(fēn)析。在收集視頻(pín)數據之前，研究者向學生告知了(le)研究的(de)目的(de)并承諾保密；完成課堂學生行爲采集之後，教師可(kě)以通(tōng)過系統查看課堂數據分(fēn)析處理(lǐ)結果。

1 數據測量結果

（1）學習(xí)行爲投入度

課堂整體行爲投入度。根據系統的(de)測量數據，在采集到的(de)課程投入行爲和(hé)脫離行爲中，學生的(de)學習(xí)投入行爲頻(pín)率占比爲95.60%，說明(míng)學生非常專注于課堂學習(xí)；根據表6的(de)權重進行計算(suàn)，本堂課的(de)學習(xí)行爲投入度值爲3.08，這(zhè)表示學習(xí)投入度爲中等水(shuǐ)平。經分(fēn)析，造成這(zhè)一結果的(de)原因是交互類活動的(de)安排偏少（實際占比僅爲4.85%）。學生個(gè)人(rén)行爲投入度方面，在納入統計的(de)20名學生中，有6人(rén)的(de)課堂學習(xí)行爲投入度低于班級平均水(shuǐ)平。其中，個(gè)别學生的(de)課堂學習(xí)投入度較低，且學習(xí)脫離度較高(gāo)，教師需要對(duì)這(zhè)些學生予以有針對(duì)性的(de)關注和(hé)提醒。

（2）學習(xí)行爲投入度變化(huà)趨勢

課堂整體行爲投入度變化(huà)。系統以時(shí)間爲線索，開展學生課堂學習(xí)行爲投入度的(de)分(fēn)析。本堂課學習(xí)行爲投入情況的(de)變化(huà)趨勢如圖2所示，可(kě)以看出：在上課過程中，學生的(de)行爲投入情況整體保持平穩，在接近下(xià)課時(shí)有一定程度的(de)下(xià)降；學習(xí)脫離情況在上課初期有顯著下(xià)降，而在課程臨近結束時(shí)呈逐步上升的(de)趨勢。課堂中表征學習(xí)投入和(hé)學習(xí)脫離的(de)六個(gè)行爲動作随時(shí)間變化(huà)的(de)頻(pín)次動态如圖3所示，可(kě)以看出：“看黑(hēi)闆”與“看電腦(nǎo)”是貫穿于整堂課的(de)主要學習(xí)行爲，由此可(kě)以推斷本堂課中教師主要采取講授的(de)教學方式；同時(shí)，課堂過程中“交流”和(hé)“舉手答(dá)問”的(de)行爲明(míng)顯存在幾個(gè)波峰，可(kě)見教師在課堂中實施了(le)一定的(de)交流討(tǎo)論，并取得(de)了(le)一定的(de)效果。

注：橫軸爲時(shí)間刻度，單位刻度爲8分(fēn)鐘(zhōng)；縱軸分(fēn)别表示學習(xí)投入及學習(xí)脫離的(de)得(de)分(fēn)與行爲次數。圖中兩條曲線，學習(xí)投入居上，學習(xí)脫離居下(xià)。

   圖2  學習(xí)行爲投入情況的(de)變化(huà)趨勢

注：橫軸爲時(shí)間刻度，單位刻度爲8分(fēn)鐘(zhōng)；縱軸表示各類課堂學習(xí)行爲的(de)次數。在起始階段，自上而下(xià)分(fēn)别對(duì)應看電腦(nǎo)、看黑(hēi)闆、玩手機、看書(shū)與舉手答(dá)問。

圖3  單個(gè)行爲動作随時(shí)間變化(huà)的(de)頻(pín)次動态

個(gè)體學習(xí)行爲投入度追蹤。系統對(duì)學生個(gè)人(rén)的(de)行爲投入情況也(yě)進行了(le)分(fēn)析，圖4、圖5分(fēn)别表征本堂課中脫離度較高(gāo)的(de)某學生的(de)課堂行爲和(hé)看手機行爲分(fēn)布情況。圖4顯示，此學生的(de)課堂行爲投入度僅爲2.83，其中此學生看手機的(de)行爲頻(pín)次非常高(gāo)，約占課堂行爲總數的(de)33.3%。而圖5顯示此學生在課堂前段用(yòng)很少的(de)時(shí)間在看手機，但後續基本處于看手機的(de)脫離狀态。

注：橫軸表示行爲類别，縱軸表示行爲的(de)總次數。

圖4  某學生課堂行爲分(fēn)布情況

注：橫軸表示時(shí)間刻度，單位刻度爲4秒；縱軸表示學生是否看手機，刻度1表示看手機，刻度0表示未看手機。

圖5  某學生看手機行爲分(fēn)布情況

2 教學應用(yòng)分(fēn)析

在出勤數據應用(yòng)方面，有系統中學生出勤數據的(de)支撐，教師可(kě)以快(kuài)速、準确地掌握班級整體和(hé)學生個(gè)體的(de)出勤情況。在本課堂中，有兩位學生缺課，教師可(kě)對(duì)這(zhè)兩位學生予以重點關注。在教學設計和(hé)教學實施的(de)印證與優化(huà)方面，通(tōng)過查看聽(tīng)課與交互兩類課堂行爲計數随時(shí)間的(de)變化(huà)情況及總數的(de)對(duì)比情況，教師可(kě)以了(le)解學生在教學實施中的(de)反饋情況，進而完成教學設計或教學實施的(de)調整及優化(huà)。在本課堂中，教師采用(yòng)以講授爲主的(de)授導型教學模式，中間穿插少量的(de)交流和(hé)問答(dá)環節。學生在課堂學習(xí)過程中整體比較專注，但在35分(fēn)鐘(zhōng)之後，學生整體的(de)投入狀态明(míng)顯地下(xià)降了(le)。基于此，本研究建議(yì)教師結合學生對(duì)教學内容的(de)掌握情況，從調整課程節奏和(hé)難度、增加課程的(de)互動性和(hé)趣味性等方面著(zhe)手，幫助學生調整課堂投入狀态。

此外，學習(xí)脫離行爲數據的(de)采集爲面向學生的(de)學風督導提供了(le)決策支持。對(duì)學習(xí)脫離行爲持續時(shí)間較長(cháng)、總次數較多(duō)的(de)學生，教師可(kě)給予個(gè)别化(huà)的(de)關注和(hé)指導。在本堂課中，有6位學生的(de)脫離行爲比較明(míng)顯，且有一名學生有三分(fēn)之一的(de)時(shí)間處于學習(xí)脫離狀态，教師應與這(zhè)些學生溝通(tōng)，了(le)解其脫離學習(xí)的(de)原因，避免其後續出現學業預警。

高(gāo)效、準确地測量并分(fēn)析學生課堂學習(xí)行爲投入度，是推進混合學習(xí)投入度研究與高(gāo)校教學實踐相結合的(de)關鍵議(yì)題。不同個(gè)體的(de)課堂行爲差異，決定了(le)研究者難以憑借傳統的(de)方法對(duì)其進行科學測量。随著(zhe)技術的(de)創新與發展，依靠計算(suàn)機視覺等技術對(duì)個(gè)體行爲進行精準識别已成爲現實，這(zhè)爲研究者重新測量與評估課堂學習(xí)行爲投入度提供了(le)可(kě)能。爲此，本研究将計算(suàn)機視覺技術引入大(dà)學課堂場(chǎng)景，首先提煉出學生課堂學習(xí)行爲投入度的(de)觀察指标，在此基礎上對(duì)課堂行爲識别方式進行升級優化(huà)，結合身體姿态信息和(hé)物(wù)品信息，對(duì)學生6個(gè)常見的(de)課堂動作進行識别；随後，在算(suàn)法模型研究的(de)基礎上，開發了(le)學生課堂學習(xí)行爲投入度測量與分(fēn)析系統，将人(rén)臉識别、姿态估計、目标檢測等智能檢測方法應用(yòng)于課堂學生行爲識别。此系統能幫助教師掌握學生的(de)課堂表現、客觀評估課堂的(de)教學效果，是教師提升教學效果的(de)有效支撐手段。受制于設備類型、精度與技術複雜(zá)度，本研究設計的(de)學生課堂學習(xí)行爲投入度測量與分(fēn)析系統隻覆蓋了(le)與學生身體姿勢密切相關的(de)6個(gè)課堂動作的(de)識别與分(fēn)析，學生的(de)手部及頭部細微動作等更多(duō)的(de)個(gè)體行爲信息，乃至發言内容、面部表情等與交流互動相關的(de)信息，還(hái)有待更精密的(de)設備、更理(lǐ)想的(de)算(suàn)法模型的(de)支持，還(hái)有待進一步實證。