滕霞 段崇江 張建偉 王學優(yōu)
摘 要：本研究按照標準研制過程在開發(fā)階段和建立共識階段上的要求，建立了初步的網(wǎng)絡課程評價標準指標體系，隨后采用德爾菲法進行了兩輪專家評議，初步形成了具有共識性的網(wǎng)絡課程評價標準指標體系及其評價方案。
關(guān)鍵詞：CELTS-22；網(wǎng)絡課程；評價；標準；研究方法；專家評議
隨著網(wǎng)絡教育的快速發(fā)展，其質(zhì)量保證問題引起了越來越多的關(guān)注。網(wǎng)絡課程的質(zhì)量是制約整個網(wǎng)絡教育質(zhì)量的一個關(guān)鍵環(huán)節(jié)，網(wǎng)絡課程的評價標準問題是當前網(wǎng)絡教育發(fā)展中必須盡快解決的一個重要問題。我國教育部于2001年6月成立了“現(xiàn)代遠程教育技術(shù)標準化委員會”，后改名為“教育信息化技術(shù)標準委員會”（CELTS），啟動了系列研究項目。我們承擔了其中CELTS-22 “網(wǎng)絡課程質(zhì)量評價規(guī)范”的研制工作。在標準研制過程中，我們對國內(nèi)外有關(guān)網(wǎng)絡課程評價標準的研究做了綜合分析（見段崇江等，2002）。本文將在此基礎(chǔ)上介紹CELTS-22標準研制的方法過程和基本結(jié)果。
一、研究思路與方法
（一）研究目標
CELTS-22標準研制的目標，是針對高等教育、職業(yè)培訓以及基礎(chǔ)教育領(lǐng)域中的網(wǎng)絡課程，提出網(wǎng)絡課程質(zhì)量評價的指標體系和評價指南。本標準所針對的評價對象是作為最終產(chǎn)品或階段性產(chǎn)品的網(wǎng)絡課程，以網(wǎng)絡課程產(chǎn)品用于教學或培訓的潛在價值為著眼點，評價網(wǎng)絡課程資源的內(nèi)容和功能特性。但本標準不具體規(guī)定網(wǎng)絡課程產(chǎn)品進入到實際教學和培訓活動之后的應用方式或效果。一門合格的網(wǎng)絡課程的實際教學效果還取決于對它的具體應用方式以及相關(guān)制約環(huán)節(jié)（如教學安排、學習支持服務、輔助資源等）。
本標準所針對的網(wǎng)絡課程是基于Web的、以超媒體形式表現(xiàn)的、以異步學習為主的課程，它是基于Web傳輸?shù)臑橥瓿赡硨W科或領(lǐng)域的教學目標而設計、組織起來的相對完整的學習經(jīng)驗體系，它包括圍繞特定學習目標而設計組織的學習內(nèi)容、為實施課程而設計的交互性學習活動、以及為評價課程效果而進行的測評等，是學習內(nèi)容與學習活動的復合體。本標準針對的是網(wǎng)絡課程，它也可以部分地適用于網(wǎng)絡課件的評價。網(wǎng)絡課件通常是結(jié)合某課程中的具體知識點或?qū)W習單元而設計的用于訓練或教學的網(wǎng)絡軟件。本標準中的大部分內(nèi)容適用于網(wǎng)絡課件的評價，但單個網(wǎng)絡課件一般無法涵蓋本標準所規(guī)定的網(wǎng)絡課程的全部質(zhì)量特性。
本標準針對的是基于Web的課程（Web-Based Courses），是以Web作為主要傳輸途徑而實現(xiàn)的網(wǎng)絡課程，而不是以課堂教學或其它途徑為主、以Web作為輔助工具實現(xiàn)的網(wǎng)絡增強性課程(Web-Enhanced Courses)。對于后者也可以部分地參考本標準進行評價，但一般無法涵蓋本標準所規(guī)定的網(wǎng)絡課程的全部質(zhì)量特性。
本標準可以作為外部評價使用，即由課程開發(fā)者和使用者以外的第三方針對開發(fā)完成的具體的網(wǎng)絡課程作出評價，為選擇課程的決策者、網(wǎng)絡教育的管理者及課程的使用者提供被評價的網(wǎng)絡課程的有效性和質(zhì)量的依據(jù)。本研究制定的標準還可以作為內(nèi)部評價使用，即由網(wǎng)絡課程開發(fā)者進行自評，包括在開發(fā)過程中針對開發(fā)中的網(wǎng)絡課程進行形成性評價和針對開發(fā)完成的網(wǎng)絡課程進行總結(jié)性評價。
（二）研究方法
1．標準化及標準研制過程
標準化是一個過程，主要是制定標準、實施標準、并使客觀事物達到有序化的過程。標準是標準化的產(chǎn)物，是建立在科學技術(shù)和實踐經(jīng)驗的綜合成果的基礎(chǔ)上、由一個獲得權(quán)威機構(gòu)認證(Accreditation)的標準開發(fā)組織提出的文件，是規(guī)范人類實踐活動的有效工具。標準在其生存期（Life Cycle）中可以劃分為四個階段（Farance，2001）。（1）開發(fā)（Development）：通過文獻和采用其他組織的標準建立初步的標準。（2）建立共識（Consensus-Building）：標準開發(fā)組織與其他組織形成協(xié)作和一致，盡快征集有關(guān)人員的意見，根據(jù)這些意見對初步的標準進行修改，逐步形成工作組草案、委員會草案、標準草案，最終建立通過認證的標準。（3）維護（Maintenance）：標準開發(fā)組接受詢問，對標準加以解釋，在標準試用中搜集錯誤報告（Defect Reports），保留反應記錄（Record of Responses），進行校正和技術(shù)勘誤。（4）修訂（Review）：根據(jù)發(fā)展增加新的標準條目，維持沒有變化的標準，取消已經(jīng)不再適用的條目。本研究遵循標準研制的一般程序，目前已經(jīng)進行了標準的開發(fā)和建立共識兩個環(huán)節(jié)的工作。
2．評價方法的選擇
教育軟件的評價方法主要有四種：分析評價法、指標體系評價法、觀察評價法和實驗評價法，這些評價方法各有優(yōu)缺點（楊真、陸達，2001；師書恩，2001）。網(wǎng)絡課程作為特殊的教育軟件，這些評價方法也同樣適用。經(jīng)過對各種方法的比較，參照有關(guān)研究文獻，我們在本標準中采用了指標體系評價法，因為分析評價法受參評人員的主觀影響較大，對參評人員的素質(zhì)要求較高，觀察評價法和實驗評價法需要投入很多的物力和人力，比較耗費時間，不便于對大量網(wǎng)絡課程進行評價。指標體系法是目前國內(nèi)外各種網(wǎng)絡課程（課件）評價標準采用最多的一種評價方法，如美國培訓與發(fā)展協(xié)會（American Society of Training and Development, ASTD）的E-learnig課件認證標準（The ASTD Institute E-learning Courseware Certification (ECC) Standards）、高級分布式學習（Advanced Distributed Learning, ADL）實驗室的網(wǎng)絡教學的設計與評價指南（Guidelines for Design and Evaluation of Web-Based Instruction）、網(wǎng)絡教學資源的應用評價（劉成新，2000）和網(wǎng)絡課程績效評價指標體系（熊才平、吳瑞華，2001）等，這些標準及相關(guān)研究都使用了指標體系評價法。
3．標準評議方法的選擇
我們采用德爾菲法對所制定的網(wǎng)絡課程評價標準進行專家評議，建立共識，以保證標準的合理性、代表性、權(quán)威性。德爾菲法的一般流程為：（1）確定預測問題，選擇專家組；（2）制定與發(fā)送第一輪問卷；（3）回收第一輪問卷，整理結(jié)果；（4）把第一輪問卷的統(tǒng)計結(jié)果附在第二輪問卷上發(fā)送給第一輪問卷的專家組；（5）回收第二輪問卷并整理結(jié)果；（6）此時若專家意見差異較大，則進行第三輪、第四輪……問卷調(diào)查，在不斷的反饋與修改中使專家意見趨于一致而獲得最終的預測結(jié)果；（7）調(diào)查結(jié)果處理。
（一）初步的網(wǎng)絡課程評價標準
基于對國內(nèi)外大量網(wǎng)絡課程的分析，參照ASTD的E-learning課件認證標準、ADL的網(wǎng)絡教學設計與評價指南以及其他相關(guān)標準和研究文獻，我們提出了網(wǎng)絡課程評價標準的框架和初步指標體系，包括四個維度：（1）課程內(nèi)容（8條標準）：指課程內(nèi)容本身的學術(shù)質(zhì)量和組織結(jié)構(gòu)，這是決定網(wǎng)絡課程質(zhì)量的核心要素；（2）教學設計(17條標準)：指對課程的教學目標、教學過程及教學測評方法的合理設計，這是決定網(wǎng)絡課程質(zhì)量的關(guān)鍵，是網(wǎng)絡課程區(qū)別于一般網(wǎng)絡軟件的特殊維度；（3）界面設計(10條標準)：指對學習者與網(wǎng)絡課程系統(tǒng)之間的信息交流方式的設計，簡便易用的人性化的界面設計是決定網(wǎng)絡課程質(zhì)量的另一個重要因素；（4）技術(shù)（5條標準）：指技術(shù)的可靠性、適當性和兼容性，這是網(wǎng)絡課程質(zhì)量的前提和基本保障。各條標準的描述方式如表1所示。
表1 初步的網(wǎng)絡課程評價標準指標體系的描述方式示例
標準 描述 屬性
1.5內(nèi)容分塊
按主題把內(nèi)容逐級劃分為合適的學習單元或模塊，每個頁面集中表達一個主題，每個段落集中表達一個意思。
必需
（二）評議專家組的建立
我們邀請了17位專家組成了本標準的評議專家組，這些專家包括（1）國內(nèi)著名教育技術(shù)學專家或曾經(jīng)在網(wǎng)絡課程評價、CAI課件評價上有專門研究的教育技術(shù)專業(yè)研究人員；（2）網(wǎng)絡課程開發(fā)人員；（3）網(wǎng)絡學院技術(shù)負責人員。評議專家覆蓋了北京、上海、山東、重慶、湖南、香港等地區(qū)。在評議過程中，專家組成員具有很大的穩(wěn)定性，為我們獲得可靠的結(jié)果提供了基本保證。
（三） 第一輪專家評議
第一輪評議的內(nèi)容主要包括五個側(cè)面：（1）評議各個指標的描述的明確性。即評議各標準描述得是否清楚明確，采用李克特四點量表進行判斷（1非常含糊－4非常明確）。（2）評議各標準的必要性，即評議各標準是否能體現(xiàn)相應維度的質(zhì)量特性，是否作為獨立的指標納入網(wǎng)絡課程評價標準指標體系。如果這條標準對于可靠、有效的網(wǎng)絡課程具有必不可少、不可替代的作用，就選“1，作為必需的標準”；如果這條標準不是必不可少的，但是對可靠、有效的網(wǎng)絡課程具有重要的意義，就選“2，作為建議的標準”；如果本標準有一定意義，但不足以作為獨立標準，就選“3，不作為獨立標準，合并到其它條目中”；如果本標準意義很小或完全沒有必要，就選“4，沒有必要，刪掉”。（3）請專家針對各條標準提出修改意見，填寫在“修改建議”一欄中。（4）請專家補充我們在各個維度上沒有考慮到的指標。(5)采用開放式問題，請專家提出針對整個標準體系的意見。
（四） 第一輪評議結(jié)果及標準修訂
專家組對第一輪評議問卷中的五個側(cè)面進行了認真評議，提出了自己的意見和修改建議。從總體上說，專家組對整個指標體系的框架沒有任何異議，部分專家指出要區(qū)分網(wǎng)絡課程與網(wǎng)絡教學平臺之間的聯(lián)系和差異，考慮哪些功能和特性應由網(wǎng)絡教學平臺提供，不宜在網(wǎng)絡課程中進行評價。
專家組對初步的網(wǎng)絡課程評價標準的明確性和必要性的評議結(jié)果如圖1、圖所示。由圖1可見，所有標準的描述都比較明確——描述的明確性等級在比較明確（3）和非常明確（4）之間。
在處理專家組對各條標準的必要性評價時，我們使用了“主流意見”的概念。主流意見是指在每條標準的必要性評議意見中選擇比例最高的選項，如標準1.3的主流意見是“作為必需的標準”。由圖2可見，除了標準1.4、1.6、1.8、2.6、2.8、2.10、2.12、3.2和4.5，其他標準都具有60%以上的主流意見。
專家組同時提出了在四個維度中需要補充的一些指標。如建議在課程內(nèi)容維度增加 “教學內(nèi)容的開放性和可擴充性”等；建議在教學設計維度增加“媒體設計的有關(guān)內(nèi)容”、”等；建議在界面設計維度增加“信息呈現(xiàn)的可控性”等；建議在技術(shù)維度增加“可移植性”、 “兼容性”等。
根據(jù)第一輪評議結(jié)果，課題組對初步的網(wǎng)絡課程評價標準進行了修訂。修訂的主要內(nèi)容是：（1）提高標準的明確性。一是增加了對某些標準的舉例或具體界定范圍；二是修改了部分標準的描述。（2）增加評定網(wǎng)絡課程等級的“評分標準”欄目。我們按網(wǎng)絡課程滿足相應指標的程度把每條標準劃分為四個評分等級。（3）根據(jù)關(guān)于必要性的專家評議結(jié)果，修訂了第一輪評議中“暫定的必要性”，在網(wǎng)絡課程評價標準中建立“屬性”欄目。（4）增加、刪除、合并了一些標準。調(diào)整后標準條目總數(shù)為35條。經(jīng)過上述修訂的網(wǎng)絡課程評價標準的描述格式如表2所示。
表2 修訂后網(wǎng)絡課程評價標準的格式示例
標準
屬性
描述
具體說明
評分標準
備注
1.7資源擴展
建議
提供與課程內(nèi)容相關(guān)的、有學習價值的外部資源鏈接。
l 提供足夠的相關(guān)外部資源鏈接和參考資料；
l 所提供的資源出處準確無誤；
l 所提供的資源有較高的學習價值。
0． 沒有提供任何該課程以外的資源鏈接和參考資料。
1．只提供了很少的該課程以外的相關(guān)資源鏈接和參考資料。
2． 提供了一定的外部資源鏈接和參考資料，但數(shù)量不充分，或者所提供的有些資源對學習的價值不大。
3．提供了足夠的與該課程內(nèi)容密切相關(guān)的外部資源鏈接和參考資料，這些資源能夠較好地促進和拓展學生的學習。
資源擴展包括在線資源和離線資源，在線資源主要包括但不限于：
l 相關(guān)網(wǎng)絡課程；
l 專業(yè)學科網(wǎng)站；
l 相關(guān)網(wǎng)上圖書與雜志；
l 著名研究者或研究機構(gòu)的主頁；
l 相關(guān)的政府網(wǎng)站，等等。
（五） 第二輪專家評議結(jié)果及修訂
在第一輪評議結(jié)果及對初步的網(wǎng)絡課程評價標準修訂的基礎(chǔ)上，課題組進行了第二輪專家評議。第二輪評議的內(nèi)容主要包括三個側(cè)面：一是向各位專家反饋關(guān)于第一輪評議必要性的統(tǒng)計數(shù)據(jù)和專家本人在第一輪評議中的選擇，請專家在參考其他專家的意見的基礎(chǔ)上再次判斷每條標準的必要性等級；二是用開放式問題請專家對新增加的各標準的具體評分方法進行評議；三是用開放式問題征求專家組對標準的總體意見。
總體上專家組對指標體系的框架沒有提出修改意見。專家組的意見包括（1）把更多的標準的屬性確定為必需標準，使本標準發(fā)揮更好的導向作用。（2）建議在第二輪統(tǒng)計結(jié)果修訂的基礎(chǔ)上，組織力量進行一次“試評價實驗”，進一步考察本標準的適用性，并作相應改進和完善。
專家組第二輪評議的必要性結(jié)果如圖3所示。除了標準1.6、2.2、3.2和3.5，其他標準都具有60%以上的主流意見。
我們對兩輪評議中關(guān)于各標準的必要性的主流意見進行了對比，結(jié)果如表3所示。經(jīng)過兩輪評議，專家組對指標體系的意見更加集中，除了界面設計維度以外，其他維度在第二輪評議中的主流意見比例都顯著高于第一輪評議中的主流意見比例（p<0.05）。在總體上，經(jīng)過第一輪評議后修訂的標準在第二輪評議中的主流意見的比例（81.9%）顯著高于第一輪評議中的主流意見的比例（73.6%），說明標準基本形成了共識性意見，達到了研究的預期目標。
表3 標準屬性的兩輪專家評議中持主流意見的平均比例的對比
課程內(nèi)容
教學設計
界面設計
技術(shù)
總體
第一輪評議
74.3%
73.4%
77.1%
69.4%
73.6%
第二輪評議
81.8%
81.0%
79.3%
89.0%
81.9%
差異檢驗
χ2=4.34, df=1, p=0.037*
χ2=4.16, df=1, p=0.041*
χ2=0.24, df=1, p=0.623
χ2=40.86, df=1, p=0.000***
χ2=4.34, df=1, p=0.037*
注：* p<0.05, ** p<0.01, *** p<0.001
在第二輪專家評議的基礎(chǔ)上，課題組對部分標準的必要性屬性進行了修訂，形成了《網(wǎng)絡課程質(zhì)量評價規(guī)范》(標準草案征求意見稿)（可從
www.celtsc.edu.cn下載）。課程內(nèi)容維度有7條指標，教學設計維度有11條指標，界面設計維度有9條指標，技術(shù)維度有5條指標，整個規(guī)范共包括了32條評價指標。
三、結(jié)論與展望
按照標準研制過程的要求及各階段的任務，課題組在標準開發(fā)和建立共識階段初步建立了包含32條標準的《網(wǎng)絡課程質(zhì)量評價規(guī)范》(標準草案征求意見稿)，具有初步的共識性。在此基礎(chǔ)上，我們又對網(wǎng)絡課程質(zhì)量評價過程做了研究，并利用本規(guī)范對若干網(wǎng)絡課程進行了試評，獲得了更多的反饋信息。目前，我們正對本規(guī)范進行進一步的完善和后續(xù)研究，以便形成工作組標準和正式標準。標準研制是一項需要廣泛參與和不斷完善的工作，歡迎諸位研究者、課程開發(fā)者及課程使用者提出寶貴意見。
致謝：本研究得到了“現(xiàn)代遠程教育關(guān)鍵技術(shù)與支撐服務系統(tǒng)和天地網(wǎng)結(jié)合項目”和教育部人文社會科學“十五”規(guī)劃項目的資助。本研究得到了陳麗、丁興富、高利明、郭文革、黃寶財、劉成新、劉革平、倪友基、尚俊杰、師書恩、王吉慶、熊才平、余勝泉、袁建新、張小真、鄭賢義和祝智庭等眾多專家的鼎立支持，特此誠摯致謝。
參考文獻
[1] 段崇江，張建偉，王學優(yōu)，滕霞.網(wǎng)絡課程評價標準研究述評. 昆明：中國電教協(xié)會2002年會，2002，11
[2] Frank Farance. International Standards Strategies For Information Technology and Learning, Education, and Training. 北京：中國現(xiàn)代遠程教育技術(shù)標準化委員會國際研討會，2001
[3] 楊真，陸達. 積極開展教育軟件的評價工作. 電化教育研究，2001，1：51~53
[4] 師書恩. 計算機輔助教學軟件的評價. 現(xiàn)代教育技術(shù)，2001，11（1）：60~63
[5] Evaluation Standards for Learning Materials in MERLOT. http://www.merlot.org. 2002.1
[6] Advanced Distributed Learning Guidelines for Design and Evaluation of Web-Based Instruction. http://www.adlnet.org. 2001.6
[7] 劉成新. 網(wǎng)絡教學資源的設計、開發(fā)與評價. 電化教育研究，2000，3：27~30
[8] 熊才平，吳瑞華. 網(wǎng)絡課程績效評價指標體系的構(gòu)建研究. 現(xiàn)代教育技術(shù)，2001，11（4）：13~17
