如何寫好學科考試數(shù)據(jù)統(tǒng)計分析報告

1、學業(yè)質(zhì)量監(jiān)測與評價體系的應用,中國教研網(wǎng)教研管理評價研究部 北京京外維佳信息技術有限公司2014年6月,專題講座,實施學生學業(yè)質(zhì)量監(jiān)測與評價體系，實現(xiàn)對學生學業(yè)發(fā)展的全面監(jiān)測，既是貫徹落實國家在不斷深化的課程改革中加強對教育質(zhì)量進行監(jiān)測的政策要求，也是進一步提學校教育質(zhì)量，全面提高基礎教育整體水平的基礎性工程。 建立適應素質(zhì)教育與新課程實施所需求的，以促進學生發(fā)展為目的、對象和主體多元、評價方式多樣化的學生學業(yè)質(zhì)量監(jiān)測與評價體

2、系，促進學校內(nèi)涵的全面發(fā)展，是銳意改革的教育局和學校領導者普遍關注的課題。,前 言,目前，在多數(shù)學校的考試評價中，僅僅使用“標準參照評價”中人為劃定的“及格率”和“優(yōu)秀率”，以及“平均分”、“分數(shù)段”等少數(shù)簡單指標，主要采用“排名”式的評價……顯然是十分粗放、而且并不科學的評價和教學管理方法。 “普遍存在著對考試數(shù)據(jù)描述不全面，解釋不正確和使用不科學的現(xiàn)象。如以1分之差，甚至0.1分之差排出學校名次；直接將教學實驗前后的分數(shù)

3、進行對比；考試研究中，只統(tǒng)計平均分，而不及其他……”（上海教育考試院院長李瑞陽《考試數(shù)據(jù)的統(tǒng)計分析和解釋》序言）。,考試評價中普遍存在的問題與弊病,上述的問題與弊病正如北京市教委基礎教育處網(wǎng)站上，李觀政副主任講話所總結(jié)的： “在教育評價上，學校教育評價方式單一，缺乏具體、操作性強的評價手段與工具，評價結(jié)果多數(shù)用于學校、教師排名，評價結(jié)果缺乏真實性等等”?！霸u價內(nèi)容比較片面，往往缺乏系統(tǒng)性，因而所獲得的信息也比較有限。也正因為此，教

4、育行政部門很難依據(jù)現(xiàn)有的評價進行有效的決策和資源分配，學校領導也很難通過現(xiàn)有的評價促進學校內(nèi)涵的全面發(fā)展……”。,一、系統(tǒng)功能與操作方法概述二、成績統(tǒng)計分析的科學理論與方法三、試題組塊分析與精細化評價工具四、正態(tài)化標準分與發(fā)展增值評價五、決策支持工具為教學科研服務六、云平臺上三個維度的學科評估框架,講 座 目 錄,學生學業(yè)質(zhì)量監(jiān)測與評價體系 網(wǎng)絡服務平臺 Quality Monitoring and Assessin

5、g System （QMAS),“學生學業(yè)質(zhì)量監(jiān)測與評價體系”（QMAS），是一個適應素質(zhì)教育與新課程實施的需求而建立的，以促進學生發(fā)展為目的、對象和主體多元、評價方式多樣化的學業(yè)質(zhì)量評價體系。它為您帶來系統(tǒng)的教育評價、測量、統(tǒng)計學的理念，同時也是一個“具體、操作性強的評價手段與工具”，既能全面地完成終結(jié)性考試評價的全部分析項目，更適用于學校教學過程的發(fā)展性評價與精細化管理的要求。 僅僅在北京市，已有西城區(qū)、朝陽區(qū)、通州區(qū)教

6、委及260多所學校在成功地使用。其最新版的網(wǎng)絡服務平臺，是由我們與中國科學院自動化所聯(lián)合設計的，可在一個地區(qū)或?qū)W校的網(wǎng)絡上對學生學業(yè)成績的發(fā)展實施全面的監(jiān)測、管理與評價。教育局的版本除了供教育局教研室使用之外，還能向所轄區(qū)全體學校提供詳盡到班級或個人的考試分析信息。,一、系統(tǒng)功能與操作方法概述,“學生學業(yè)質(zhì)量監(jiān)測與評價體系”（QMAS），是教育評價、測量和統(tǒng)計學的理論和方法所支持的、一個完整的監(jiān)測、管理與評價體系。它把絕對評價方法與相對

7、評價方法相結(jié)合，定性方法與定量方法相結(jié)合、形成性評價與終結(jié)性評價相結(jié)合；它使用教育評價、測量的經(jīng)典理論來獲取科學的數(shù)據(jù)；它包含了描述統(tǒng)計方法和推斷統(tǒng)計方法；它囊括了教育評價、測量和統(tǒng)計學的主要算法與功能模塊200余個，可以對數(shù)據(jù)和信息進行全面、深入的發(fā)掘和分析，獲得教學質(zhì)量及學生發(fā)展狀況真實、全面的評價信息。充分發(fā)揮各種方法的優(yōu)勢和特長，又可以互相彌補其缺陷和不足，從而使評價的結(jié)果更加全面、客觀和公正，在領導決策和教學導向中充分發(fā)揮作用

8、。,除系統(tǒng)本身的管理功能之外，體系的評價部分主要由七大部分組成：,通過輸入成績、試題得分數(shù)據(jù)或抽樣數(shù)據(jù)，即可對考試的質(zhì)量分析（如團體和學生的宏觀指標、命題的質(zhì)量、學生對每個知識點掌握的程度……等）做出全面分析、定位和詳細的診斷。它為教學過程的精細化管理與評價提供了十分豐富的、操作性強的評價手段與工具，用精彩紛呈的各種測驗量表、統(tǒng)計表格和動畫圖形和來展現(xiàn)數(shù)據(jù)，對數(shù)據(jù)和信息進行全面、深入的發(fā)掘和分析。,《教育評價學》 標準參照評價

9、 常模參照評價 個體內(nèi)差異評價《教育測量學》 測驗量表、正態(tài)化分布常模 導出分數(shù)：百分等級分數(shù)、正態(tài)化標準分數(shù) 測驗質(zhì)量分析：難度、區(qū)分度、信度、效度《教育統(tǒng)計學》 描述統(tǒng)計學 分數(shù)分布狀態(tài)描述 分數(shù)分布趨勢描述 推斷統(tǒng)計

10、學 假設檢驗 區(qū)間估計 相關分析 線性回歸 多元分析,【理論體系結(jié)構(gòu)】教育評價學、測量學和統(tǒng)計學方法綜述,【查詢數(shù)據(jù)的途徑一】 通過系統(tǒng)菜單查詢數(shù)據(jù),最常用的指標名稱列表平均分、及格率等常用指標的表和圖學生各

11、科分數(shù)、地區(qū)與學校名次總分及學科分數(shù)上線指標總分名次分段百分等級分段總分分數(shù)段學科分數(shù)段總分及學科累計分數(shù)段平均值、標準差、差異系數(shù)等統(tǒng)計量（教研員常用的指標和分析圖）,,,,,,,,,,,,,,,,,,,,,,【查詢數(shù)據(jù)的途徑二】 圖形報表集成的操作方法,,,在系統(tǒng)主菜單中選擇：決策支持工具——圖形報表集成——成績統(tǒng)計分析（試題組塊分析）選擇查詢項目的操作方法：按住Ctrl鍵，用鼠標選擇多個查詢項目——確定—

12、—提交。,,【查詢數(shù)據(jù)的途徑二】 圖形報表集成的顯示窗口,,,在圖形報表集成窗口中，對選擇的查詢項目實施提交后，可以把常用的圖形報表全部集成在同一個窗口內(nèi)進行顯示，能夠十分方便地進行瀏覽和查詢。,例如，“常模參照評價——學生成績報道”，點擊“選項”框，可以查詢學生各科原始分數(shù)在總體中的位置：導出分數(shù)（百分等級分、標準分Z、標準分T）和順序名次等。 在順序名次表中，點擊表頭某字段，出現(xiàn)藍色箭頭；點擊箭頭，即可進行該字段的遞增或遞

13、減排序。,【查詢數(shù)據(jù)的方法】 表格的查詢和數(shù)據(jù)排序,,,,,,,,在統(tǒng)計表格中，點擊下方的“下載”按鍵，即可把表格的內(nèi)容下載為Excel表，甚至可以直接把多個班級的數(shù)據(jù)，保存為一個壓縮包。 下圖為“我的電腦”窗口中解壓縮產(chǎn)生全校各班級的Excel文件。,【系統(tǒng)輸出功能】 把表格的內(nèi)容下載為壓縮包,,例如，進入“標準參照評價——標準參照指標統(tǒng)計圖”。 點擊“選項”框，分別繪制平均分、及格率……等8種統(tǒng)計圖。 在科目及

14、圖形中，點擊“圖形”框，分別繪制柱狀圖或折線圖。 想要進行指標的遞增或遞減排序，點擊“按指標遞增（或遞減）”。,【查詢數(shù)據(jù)的方法】 圖形的繪制和數(shù)據(jù)排序,,,,,,,,例如，累計頻率分布圖描述了分數(shù)在各分數(shù)段所出現(xiàn)累計頻率的分布情況。縱坐標為頻率（%），橫坐標為分數(shù)段。 點擊選擇比較單位，彈出小窗口，再選任意個學校（或班級），提交，即繪制出累計頻率比較圖，對它們的分布進行詳細分析比較。,【查詢數(shù)據(jù)的方法】 圖形繪制時任

15、意選擇數(shù)據(jù),,在圖形中擊鼠標右鍵，彈出菜單，選擇 “Save as JPEG Image”，即可把圖形下載為JPEG 格式的圖形文件保存。,【系統(tǒng)輸出功能】 把顯示圖形下載為文件保存,,在“考試參數(shù)設置”中選擇“科目管理”，可以十分靈活地進行分析科目的設置。,【系統(tǒng)設置功能】 分析科目的設置,在“考試參數(shù)設置”中選擇“分段管理”，可以十分靈活地進行分數(shù)段的設置。,【系統(tǒng)設置功能】 分數(shù)段的設置,使用“區(qū)縣版”內(nèi)的系統(tǒng)管理功能，選擇“

16、角色管理—角色授權”，可靈活地限制教研員或?qū)W校用戶對每個模塊的操作查詢的權限。,【系統(tǒng)管理功能】 用戶操作查詢權限的設置,在“教育局版”內(nèi)，當設置某學校對某個模塊的操作查詢的權限為“匯總+本校數(shù)據(jù)”時，該學校除了能查詢到全區(qū)、各分組的指標，只能看到本校指標（限制不能看其他學校指標），還能查詢本校每個班級（或個人）的指標。,【系統(tǒng)管理功能】 用戶操作查詢權限的演示,,,系統(tǒng)支持用戶自定義統(tǒng)計表格和圖形，甚至允許用戶修改現(xiàn)有的統(tǒng)計表格和

17、圖形。下圖為某用戶自己設計的“自定義統(tǒng)計表” 。,【系統(tǒng)管理功能】 支持用戶自定義統(tǒng)計表格或圖形,對菜單和模塊的操作包括： 即：添加子菜單、修改、移動、停用、設置權限、刪除。,【系統(tǒng)管理功能】 支持用戶自定義菜單和模塊,除了常規(guī)的分析項目，如平均分、四率、分數(shù)段等傳統(tǒng)數(shù)據(jù)之外，需要全面地應用教育評價、測量和統(tǒng)計學的理論，包含了標準參照評價與常模參照評價的各種方法和技術；采用描述統(tǒng)計分析方法對獲得的數(shù)據(jù)進行整理、概括，顯現(xiàn)

18、其分布特征，用豐富的測驗量表、統(tǒng)計表格和圖形等手段展現(xiàn)各項數(shù)據(jù)。主要包括：1、標準參照評價的量化指標：優(yōu)秀率、及格率、……；2、常模參照評價的量化指標：導出分數(shù)（百分等級分、正態(tài)化標準分）、上線指標、……；3、測驗分數(shù)分布狀態(tài)的描述：頻數(shù)和頻率分布、……；4、測驗分數(shù)分布趨勢的描述：平均分、標準差、變異系數(shù)、……。,二、成績統(tǒng)計分析的科學理論與方法,評價標準在被評價集體之外，是預先制定的。通過與評價標準相比較，可以確定被評價對象

19、達到目標的程度。這種評價也稱為絕對評價。它主要用于合格性和達標性活動。其特點是評價標準是由目標所決定的絕對標準。 采用原始分數(shù)人為制定教學目標，如“優(yōu)分”、“及格”、和“低分”等分數(shù)線，量化指標為相應的“優(yōu)分率”、“及格率”和“低分率”等。,【成績統(tǒng)計分析】 標準參照評價（絕對評價）,標準參照指標統(tǒng)計圖包括了常規(guī)“四率”的柱狀圖、折線圖和堆棧圖。例如，下述堆棧圖描述了某年級匯總及班級的優(yōu)秀率（灰色）、良好率（黃色）、及格率（綠色）

20、和不及格率（橙色，零平面之下）的分布情況。,【成績統(tǒng)計分析】 標準參照指標統(tǒng)計圖,評價標準在特定的被評價集體之內(nèi)，通過與評價標準相比較，可以確定被評價對象在集體中所處的位置，以分優(yōu)劣。這種評價也稱為相對評價。 常模參照評價采用導出分數(shù)（百分等級分、標準分）和常模表作為評價工具。在團體內(nèi)進行“上線指標”和“名次排序”分析也可歸到本類評價的范圍。 常模表——由原始分數(shù)和導出分數(shù)共同組成的測驗量表。它是教育測量中用于比較和解釋測驗結(jié)

21、果時的參照分數(shù)標準。測驗分數(shù)必須與某種標準比較，才能顯示出它所代表的意義。,【成績統(tǒng)計分析】 常模參照評價（相對評價）,通過測驗所直接得到的分數(shù)，叫原始分數(shù)。由于各個測驗的難度不同，各原始分數(shù)的價值也不相同，不同測驗的原始分數(shù)不能進行直接比較。例如一個在難度小的測驗里得70分，并不比一個在高難度的測驗里得60分的高。為使不同的原始分數(shù)可以比較，就必須把它們轉(zhuǎn)換為可以比較的量表分數(shù)。這種原始分數(shù)轉(zhuǎn)換成測驗量表上的分數(shù)，叫做導出分數(shù)。

22、 常用導出分數(shù)有：百分等級分數(shù)，標準分數(shù)。,【常模參照評價】 測驗量表、導出分數(shù),百分等級分數(shù) —— 原始分數(shù)僅表示分數(shù)多少，不能表明它在全體分數(shù)中的地位。而百分等級分數(shù)是一種相對地位量數(shù)，它把參加測驗的全體人數(shù)作為一百分來計算，從而以某一原始分數(shù)換算出其在全體中所占的位置。說明分數(shù)比他少的人占人數(shù)的百分之幾。如一學生的測驗成績?yōu)?0分，經(jīng)換算某百分等級分數(shù)是73分，即表示參加測驗的73%的人低于80分，并說明超過他的成績的僅有27

23、%。百分等級分數(shù)不僅可以表示一個分數(shù)在團體中的地位，還可以比較一個人兩種學科測驗或兩次不同測驗的成績。 標準分數(shù)Z —— Z =（ Xi – X ）/ S，是將原始分數(shù)與其平均數(shù)之差除以標準差所得的商數(shù)。它是以標準差為單位度量原始分數(shù)離開平均數(shù)的量數(shù)，它可以表示一個原始分數(shù)在團體中所處的位置。即告訴我們它在平均數(shù)上多少個標準差，或是在平均數(shù)之下多少個標準差。Z的取值范圍：-3.3 < Z < +3.3。 標準分數(shù)T

24、—— T = 10Z + 50 T的取值范圍：17 < T < 83。,【常模參照評價】 百分等級分數(shù)、標準分數(shù) Z 和 T,,它形象地表示了在同一次考試中原始分數(shù)（總分、學科）與導出分數(shù)之間的對應的等值關系，以及原始分數(shù)在標準正態(tài)分布常模（即在常模團體中）的相對位置。,【常模參照評價】 正態(tài)分布常模與分數(shù)等值圖,根據(jù)標準正態(tài)分布常模中的正態(tài)化標準分，學生或團體標準分內(nèi)差異比較圖可以直接比較出其各學科之間的差異。

25、 如圖所示，語文、歷史……是本班的優(yōu)勢，水平在全校平均值（“零平面”玻璃板）之上，英語、化學……是本班的薄弱環(huán)節(jié)。,【常模參照評價】 學生或團體標準分個體內(nèi)差異比較圖,根據(jù)標準正態(tài)分布常模中的正態(tài)化標準分，多個團體標準分T個體內(nèi)差異比較圖可以同時顯示出各團體及各學科之間的差異。 如圖所示，不同的顏色代表了不同的班級；某一班級各學科標準分T自左向右為：總分、語文、數(shù)學……綜合。,【常模參照評價】 多個團體標準分T個體內(nèi)差異比較圖,

26、在“學生成績報道”中，可查詢學生各科原始分數(shù)在總體中的位置：導出分數(shù)（百分等級分、正態(tài)標準分Z、正態(tài)標準分T）和順序名次等。下圖為學生各科順序名次統(tǒng)計表：,【常模參照評價】 學生各科成績位置的查詢和排序,在教學實踐中，有效分通常指達到了期望的教學總目標的水平?？偡址纸鉃槟硞€學科有效分后，即成為反映某學科達到有效學習水平的指標，對各學科教學評價具有重要的意義。 測驗量表以等值表的形式將總分及各科原始分數(shù)與百分等級分，之間的對應值表

27、示出來。利用百分等級分（實際精確到千分之一），可以快速、準確劃定有效分的分數(shù)線。在設置模塊中，只要調(diào)整“千分等級”微調(diào)鍵，即可自動地劃定總分與各科的分數(shù)線。,【常模參照評價】 上線參數(shù)設置,上線指標不僅能夠適應“終結(jié)性評價”考試的需要，在“形成性評價”中也同樣可以使用。如可從入學開始，以全校為常模團體，劃定若干分數(shù)線，在教學過程中追蹤班級上線指標的發(fā)展變化。 科目雙上線數(shù)（率），即某學科上線而且總分也上線的人數(shù)（或比率），在學科評價

28、中有重要的意義。,【常模參照評價】 上線指標統(tǒng)計表,選擇“常模參照評價—總分百分等級頻數(shù)和頻率分布”進入模塊，可查詢總分百分等級分布和累計分布（包括10分段和20分段）。,【常模參照評價】 總分百分等級頻數(shù)和累計頻數(shù)分布,選擇“常模參照評價—總分名次頻數(shù)和頻率分布”進入模塊，還可以查詢總分名次分布和累計分布。,【常模參照評價】 總分名次頻數(shù)和累計頻數(shù)分布,頻數(shù)和頻率分布——定量描述每個區(qū)間樣本數(shù)據(jù)分布情況。偏度、峰度系數(shù)——定量描

29、述一組數(shù)據(jù)分布曲線的偏斜、陡緩程度。高狹峰、低闊峰、正偏態(tài)分布、負偏態(tài)分布和正態(tài)分布——定性描述一組數(shù)據(jù)分布分布趨勢（如下述示意圖）。頻率分布的正態(tài)檢驗——把實際樣本的頻率分布曲線與相同平均分、標準差的標準正態(tài)曲線相比較。,【成績統(tǒng)計分析】 分數(shù)分布狀態(tài)描述的方法,【成績統(tǒng)計分析】 分數(shù)頻數(shù)和累計頻數(shù)分布表,在統(tǒng)計學中，一個區(qū)間樣本數(shù)據(jù)頻數(shù)，就是在該區(qū)間內(nèi)取值的樣本個數(shù)。樣本的頻數(shù)分布是對在劃定的不同區(qū)間內(nèi)，樣本個數(shù)多少的一種描

30、述。 在教學中也通俗地稱為“分數(shù)段表（或圖）”。,樣本的頻率分布是對在劃定的各組頻數(shù)與樣本總數(shù)比率的描述。 頻率 = 組頻數(shù) / 樣本總數(shù)（%） 頻數(shù)表示的是絕對數(shù)值，而頻率表示的是相對數(shù)值。在許多情況下，相對數(shù)值更有意義，更便于不同人數(shù)學生團體之間的比較。根據(jù)頻率分布的數(shù)據(jù)，可以得到頻率分布表和頻率分布圖。,【成績統(tǒng)計分析】 分數(shù)頻率分布表和頻率分布圖,累計頻率分布圖描述了分數(shù)在各分數(shù)段所出現(xiàn)累計頻率的分布情況。

31、縱坐標為頻率（%），橫坐標為分數(shù)段。 我們可以選擇任意個學校（或班級），繪制出分數(shù)累計頻率分布比較圖，對它們的分布進行詳細比較、點評。,【成績統(tǒng)計分析】 累計頻率分布比較圖,在教育統(tǒng)計學中，為了發(fā)現(xiàn)和表示一組數(shù)據(jù)的規(guī)律性，需要計算出能夠描述這組數(shù)據(jù)的統(tǒng)計特征的統(tǒng)計量，即“樣本特征值”。 數(shù)據(jù)的集中趨勢的描述——平均值、中位數(shù)和眾數(shù)； 數(shù)據(jù)的離散（差異）趨勢的描述——標準差、變異系數(shù)、全距、四分位距、平均差、平均差系數(shù)

32、； 經(jīng)典的圖形：均值—離差描述折線圖、中位數(shù)—四分位數(shù)折線圖。,【成績統(tǒng)計分析】 分數(shù)分布趨勢描述的方法,標準差S是一種絕對差異量數(shù)，為估計數(shù)據(jù)的離散情況提供了量化指標。標準差越大，說明這組數(shù)據(jù)的離散程度越大，分布越不均勻；相反，標準差越小，說明這組數(shù)據(jù)越整齊，分布范圍越小。 進行學科之間的比較或者不同學校之間離散情況的比較時，因為所測量的樣本水平不同，若直接用標準差來比較它們的離散程度是不恰當?shù)模枰谩跋鄬Σ町惲俊薄?差

33、異系數(shù)CV來進行比較。 差異系數(shù)CV =（ 標準差 / 平均分 ）×100 如某區(qū)高三英語、化學學科的標準差和變異系數(shù)對比表: S：英語 > 化學 CV：英語 3組 CV：全區(qū) < 3組 結(jié)論：3組離散程度大,【成績統(tǒng)計分析】 標準差、變異系數(shù),,,,,,直觀地描述了樣本特征值的集中量（平均值）、離散量（標準差、變異系數(shù)）的分布情況。 從下圖中可以分析出某個學科分數(shù)分布趨勢

34、的某些規(guī)律： 1、平均分越低的學校，分數(shù)的離散程度越大。 2、變異系數(shù)的變化大于標準差的變化 — 說明變異系數(shù)對離散程度的變化更敏感。,【成績統(tǒng)計分析】 均值—離差描述折線圖,中位數(shù)—四分位差描述法即“五點描述法”, 以百分位數(shù)中的五個特殊值對樣本進行描述，即最小值、第1四分位數(shù)（25%分位數(shù)）、中位數(shù)、第3四分位數(shù)（75%分位數(shù)）、最大值。它可以形象地描述出樣本數(shù)據(jù)分布的規(guī)律。當分數(shù)分布明顯呈偏態(tài)分布時，是最為適宜的描述

35、樣本特征數(shù)的方法。 四分位差用來描述樣本中處于中間水平那一半數(shù)據(jù)的離散程度。,【成績統(tǒng)計分析】 中位數(shù)—四分位差描述折線圖,在成績統(tǒng)計分析中，主要的試卷評價的指標和方法包括： 學科得分率分布的比較——通過學科得分率分布比較圖描述出每個學科的難度指數(shù)曲線變化情況。 偏度系數(shù)——定量地描述一組數(shù)據(jù)分布曲線的偏斜程度，是反映試卷整體難度的定量指標之一。 峰度系數(shù)——定量地描述一組數(shù)據(jù)分布曲線的陡緩程度，是反映試卷整體

36、區(qū)分度的定量指標之一。 頻率分布的正態(tài)檢驗——把實際樣本的頻率分布曲線與相同平均分、標準差的標準正態(tài)曲線相比較，計算、查表和診斷出數(shù)據(jù)的分布形態(tài)。 樣本特征數(shù)統(tǒng)計圖——反映全區(qū)樣本特征數(shù)全貌的若干統(tǒng)計圖。例如，均值—離差描述折線圖、中位數(shù)—四分位數(shù)描述折線圖等。,【成績統(tǒng)計分析】 向教研員推薦的試卷評價方法,,,,,,描述了學科難度指數(shù)曲線分布情況。圖中橫坐標為總分，縱坐標為得分率，可觀察總分各分數(shù)段的學生在學科得分率上的

37、反映。 例如在本圖中，物理學科（橘紅色）所有的學生得分率普遍較高；英語學科（綠色）所有的學生得分率普遍較低，語文學科（紅色）高、低分數(shù)的學生得分率差異最?。换瘜W學科（藍色）高、低分數(shù)的學生得分率差異最大。,【成績統(tǒng)計分析】 學科得分率分布比較圖,偏度系數(shù)SK可以定量地描述一組數(shù)據(jù)分布曲線的偏斜程度，是反映試卷整體難度的定量指標之一。 SK> 0 正偏態(tài)分布，SK = 0 對稱分布，SK 0 高狹峰分布，KU =

38、 0 正態(tài)峰分布，KU < 0 低闊峰分布。樣本人數(shù)須大于1000，檢驗結(jié)果才比較可靠。,【成績統(tǒng)計分析】 偏度系數(shù)和峰度系數(shù),對一個測驗分數(shù)分布趨勢的定性描述包括：高狹峰、低闊峰、正偏態(tài)分布、負偏態(tài)分布和正態(tài)分布等。 頻率分布的正態(tài)檢驗模塊把實際樣本的頻率分布曲線與相同平均分、標準差的標準正態(tài)曲線相比較，同時計算出平均分、標準差、偏度、峰度等定量指標，對分數(shù)分布趨勢作出定性的描述。,【成績統(tǒng)計分析】 頻率分布的正態(tài)檢

39、驗,在試題組塊分析部分，輸入試題得分，即可準確地分析出學校、班級和學生對每個知識點（小題）掌握的程度，提供試題的難度、區(qū)分度、信度等指標；對試卷整體、組塊和每個試題的應答情況都有十分詳盡的圖形與報表分析。試題組塊分析為教師提高命題質(zhì)量、教學過程的精細化管理與評價提供了十分豐富的手段，還能對每個學生應答水平進行定位，對應答傾向作出明確的分析與診斷。,三、試題組塊分析與精細化評價工具,在“試題組塊分析——學生成績報告”中，包含了學生對每個知

40、識點（小題）掌握的程度，分地區(qū)、學校、學生三個層次進行比較的結(jié)果。下圖為某學生各學科成績報告查詢界面：,【試題組塊分析】 精細化測評工具 — 學生成績報告,,,,,,系統(tǒng)可以把學生成績報告下載為全年級的壓縮包。包內(nèi)分別設有各班級的目錄，分發(fā)給學生的成績報告以Excel表的格式呈現(xiàn)：,【試題組塊分析】 輸出學生成績報告Excel表,,,,,,“試題科目相關系數(shù)表”為各班級或?qū)W校對每道試題區(qū)分度的詳細分析結(jié)果。 如果試卷總體的內(nèi)容效度

41、或試題的區(qū)分度都是合理的，區(qū)分度指數(shù)，即測驗總分和每個試題得分的相關系數(shù)會呈中等或較強的相關，例如表中“匯總”顯示的指標。如果“匯總” 指標或某個團體的指標出現(xiàn)了個別較低的相關甚至負相關的數(shù)值，往往反映出命題、教學、考生復習或閱卷環(huán)節(jié)中可能存在問題。,【試題組塊分析】 精細化測評工具 — 相關系數(shù)表,雙向細目表診斷是一種教學過程精細化管理與評價的工具。如果我們在系統(tǒng)參數(shù)設置中詳細填寫了雙向細目表的內(nèi)容，該診斷模塊就可以對每個團體和學生個

42、人的“考查目標（識記、理解、應用、分析、綜合和評價）以及考試內(nèi)容（組塊、小題）”的得分水平作出全面的分析和定位比較。,【試題組塊分析】 精細化測評工具 — 雙向細目表診斷,S－P表將試題得分數(shù)據(jù)排成一覽表，并對學生（S）和問題（P）的特性以視覺化的圖表進行結(jié)構(gòu)分析，其目的在于獲得學生的學習診斷信息，并用圖形化的分析結(jié)果將對學生和問題的特性（即學習反應信息）反映出來。S-P表分析與診斷模塊除了對團體試題應答傾向的分析之外，還能對每個學生的

43、試題應答傾向作出分析與診斷。,【試題組塊分析】精細化測評工具 — S-P表分析與診斷,在試題組塊分析中，推薦教研員掌握的試卷評價統(tǒng)計指標和方法通常包括： 1.難度指數(shù)分布圖——以考生學科考試得分為橫坐標，相應人群的得分率為縱座標，得到的難度分布曲線。它是學科統(tǒng)計分析報告最重要的內(nèi)容之一，是報告中必須列入和需要逐一點評的內(nèi)容。 2.試題科目相關系數(shù)表——各學校對每個試題應答水平（區(qū)分度指數(shù)）的詳細分析。可以診斷出反映出命題、教

44、學、考生復習或閱卷環(huán)節(jié)中可能存在問題。 3.測驗的信度分析——估計考試的分半信度，或估計若干試題的內(nèi)在一致性信度。例如，選取若干試題，估計它們的內(nèi)在一致性信度，并可以從量表中刪除某道試題后，研究信度變化，來測試該題與其他試題的相關的程度，甚至可能診斷出某試題存在的問題。,【試題組塊分析】 向教研員推薦的試卷評價方法,,,,,,以考生學科考試得分為橫坐標，相應人群的得分率為縱座標，可得到難度分布曲線圖（紅色）。圖中綠色直線表示所有

45、試題得分率的平均值，可以作為難度分布分析的參考基準線。,【試題組塊分析】 用難度指數(shù)分布圖診斷試題質(zhì)量,圖A： 對學生區(qū)分能力良好的某題分布曲線圖B： 對學生區(qū)分能力非常差的某題分布曲線（應淘汰的試題）,測驗的信度則是指測驗結(jié)果的可靠程度，是考試分析最重要的指標。教育考試中信度是指不同次實施的相同或等值考試產(chǎn)生的一致性。但實際操作中，很難取得“復本信度”和“再測信度”的數(shù)值，多數(shù)以單一考試測試結(jié)果估計其信度，即直接分析出考試的分半

46、信度，或估計若干試題的內(nèi)在一致性信度（同質(zhì)性信度）。 從本例可見：某試卷整體分半信度接近0.9,具有很高的信度。,【試題組塊分析】 用測驗的分半信度診斷試卷質(zhì)量,選取若干試題，估計它們的內(nèi)在一致性信度（α值），再從量表中刪除某道試題后，研究信度變化，來測試該題與其他試題的相關的程度，將可能診斷出某試題存在的問題。 舉例，某試卷選擇第11——18題估計α值為：0.6047和0.5051；剔除第15題，換成第19題（保持試題數(shù)

47、不變）之后，α值迅速升為：0.7210和0.6348——診斷出第15題存在問題。,【試題組塊分析】 估計若干試題的內(nèi)在一致性信度,在個體內(nèi)差異評價中，由于分布形態(tài)不同的學科或兩次不同考試的難度不同，原始分數(shù)不具備可比性，難于得出定量的、科學的評價結(jié)果，必須使用導出分數(shù)，即百分等級分或標準分。 但是，根據(jù)教育測量原理，對于不同的學科或兩次考試，線性標準分只有在分布形態(tài)相同或相近的情況下才能進行比較。系統(tǒng)為每次考試建立起“標準正態(tài)分布

48、常?！?，使用通過非線性轉(zhuǎn)換得出的“正態(tài)化標準分”，排除分布形態(tài)或難度的影響，為不同的學科或兩次考試進行精確比較奠定基礎。 追蹤每個學生在總體常模中位置，即“入口、過程、出口”的“正態(tài)化標準分”的發(fā)展變化，即可以取得學業(yè)成績發(fā)展變化的定量、科學的數(shù)據(jù)，可以對每個學生進步的幅度、對班級或教師的“加工能力”做出定量、科學的評價，并以圖形、表格等形式形象地描述其變化的過程。并且，通過“增值性評價”，診斷出教學中出現(xiàn)的問題。,四、正態(tài)化標準

49、分與發(fā)展增值評價,它形象地表示了同一次考試中原始分數(shù)（總分、學科）與導出分數(shù)之間的對應的等值關系，以及原始分數(shù)在標準正態(tài)分布常模（即在常模團體中）的相對位置。,【常模參照評價】 正態(tài)分布常模與分數(shù)等值圖,它表示了兩次考試的總分或各學科的原始分數(shù)與導出分數(shù)之間的對應的等值關系，以及原始分數(shù)在標準正態(tài)分布常模（即在常模團體中）的相對位置。,【發(fā)展增值評價】 兩次考試分數(shù)的常模等值關系表,定量地分析學生個體與團體的發(fā)展變化，是素質(zhì)教育中“發(fā)展

50、性評價“的重要內(nèi)容。我們往往期望能夠把學生或團體學業(yè)成績的“入口、過程、出口”給出定量化的分析。 追蹤每個或團體學生學業(yè)成績在總體正態(tài)化常模中的位置（正態(tài)化標準分T）的發(fā)展變化，可以實現(xiàn)科學的分析和評價。,【發(fā)展增值評價】 學生或團體標準分T變化趨勢圖,在“學生成績變化表”中，下載各班級的Excel格式報表，可以打印、撕條，便于分發(fā)給每個學生。,【發(fā)展增值評價】 班級成績變化Excel報表,,,,,,正態(tài)化標準分的應用，為不同的

51、測驗分數(shù)進行精確地比較奠定了基礎。為了在教學過程中對被試（學生或團體）進行自身的縱向比較，利用標準分的“可加性”和“可比性”,可以定量地計算測驗成績提高或降低的水平，通常使用“標準分T變化率”指標： 標準分T變化率 =(本次T分數(shù)—初始T分數(shù))/ 初始T分數(shù) × 100% 進行評價時，“標準分T變化率”進行的是自身的縱向比較，完全排除了“生源”對評價的影響。,【發(fā)展增值評價】 定量計算測驗成績提高或降低的

52、水平,在學生兩次考試分析表中，使用正態(tài)化標準分T變化值——“成績變化ΔT”，對學生兩次考試進步幅度進行分析，找出某學校（或班級）進步（或退步）最大的若干名學生。 例如，某學校 “高三文科第一學期 —— 一摸考試”的學生兩次考試分析表。,【發(fā)展增值評價】 對學生個體兩次考試進步幅度的分析,學生個體發(fā)展變化的正態(tài)化標準分T的平均值，就是團體學業(yè)成績發(fā)展變化的指標——“成績變化ΔT”。在團體兩次考試分析表中，即可對學校（或班級）的“

53、加工能力”進行定量的評價。 進行評價時，“成績變化ΔT”進行的是自身的縱向比較，完全排除了“生源”對評價的影響。 例如，某學科各班級兩次考試分析表。,【發(fā)展增值評價】 對團體的“加工能力”進行定量評價,“N評價”方法是日本齋藤升先生1982年提出的用來評定學生某學科多次考試總成績的方法，它對某個團體N次考試的標準分數(shù)進行“距陣運算”，通過計算出“N分數(shù)”、“進步分數(shù)”和“進步名次”等指標，定量地分析出N次考試中學生或團體學業(yè)

54、成績進步的程度。,【發(fā)展增值評價】 對學生個體多次考試進步程度的分析,在“N評價”模塊中，利用標準分的矩陣計算，可以進行多次考試成績發(fā)展變化的分析，評定出學生在班級中的“進步名次”。,【發(fā)展增值評價】 分析多次考試發(fā)展變化的N評價,,,,,,在“發(fā)展增值評價”中，根據(jù)兩次考試的常模等值關系，可以在某個百分等級分對應等值分數(shù)線上，追蹤兩次考試的學生成績。即： 入口考試 分數(shù)線——成績提高的學生 入口考試 > 分數(shù)線

55、 出口考試 < 分數(shù)線——成績降低的學生 例如，一模重點線（百分等級86%）線上列出的學生變化統(tǒng)計表：,【發(fā)展增值評價】 某等值分數(shù)線上學生變化統(tǒng)計表,,,,,,人工調(diào)節(jié)“常模百分等級”微調(diào)鍵，調(diào)出兩次考試常模等值臨界線，即可列出在該臨界線上成績提高或降低學生的姓名，兩次考試的原始分、正態(tài)化標準分T，變化幅度（標準分T變化值）等指標。 可以對百分等級分1—99%的99條常模等值線上學生的變化情況做出全面的描述。例如，

56、一模79%線上列出的學生變化分析表：,【發(fā)展增值評價】 某等值分數(shù)線上學生變化分析表,,,,,,在“發(fā)展增值評價”模塊中，在某個百分等級分對應的等值分數(shù)線上，追蹤兩次考試的學生成績。 可以在指定的百分等級分分，如5%、10%、15% …… 95%等多條常模等值線上，對學校或班級的變化人數(shù)做出全面的統(tǒng)計。成績提高的用↑表示，降低的用↓表示。,【發(fā)展增值評價】 多條百分等級線變化統(tǒng)計分析表,,,,,,利用多條百分等級線變化趨勢圖，

57、可以診斷出兩次考試變化中存在的問題。例如，北京某學校學科診斷：兩次考試總分進步源于政、史、地進步，英語出現(xiàn)問題。,【發(fā)展增值評價】 多條百分等級線變化趨勢圖,,,,,,增值性評價方法的主要特征，表現(xiàn)為以學生的學業(yè)成就的發(fā)展水平為評價依據(jù)，通過相關的統(tǒng)計分析技術，試圖將學校對學生發(fā)展的影響從生源、規(guī)模、辦學條件、師資水平等諸多相關因素中分解出來，進而將可能比較精確地測量一定時間內(nèi)學生的進步幅度，計算出學校（或教師）的教學效能，即對學生的

58、“凈影響”，以此試圖發(fā)現(xiàn)一些學校（或班級）的學生是否比其他學校（或班級）的學生能獲得相對較大的發(fā)展。通過一系列科學的計算方法，對學校（或教師）的教學效能做出定量評價。 增值性評價每年對學生成績的追蹤思想，為我國教育評價提供了新的思路，形成全新的評價理念和方式。借助這一理念，我們可以建立一個長期追蹤學生學業(yè)成就的系統(tǒng)，與傳統(tǒng)的評價體系和方法相結(jié)合，從而實現(xiàn)對學?；蚪處熜艿目茖W評價。,【發(fā)展增值評價】 增值性評價方法的應用價值,,,

59、,,,完善的增值性評價方法采用多水平模型的基本形式和意義：,【發(fā)展增值評價】 增值性評價方法的統(tǒng)計學基礎,,,,,,以前測成績標準分Z為自變量X，計算因變量Y值即預期成績標準分Z： 凈增值ΔZ = 后測成績標準分Z – 預期成績標準分Z。 尤其適用于基層學校的教學過程質(zhì)量監(jiān)測，可用本表找出總分、學科進步或退步最大的若干名學生。,【發(fā)展增值評價】 學生總分（或?qū)W科）增值評價表,,,,,,團體增值的計算方法之一舉例： 1、前

60、測成績水平排名，按學校分7個組 2、增值△=后測成績–前測成績 3、預期成績=前測成績+本組增值△的平均值 4、凈增值△=后測成績–預期成績,【發(fā)展增值評價】 團體增值評價表,,,,,,【發(fā)展增值評價】 學科增值名次統(tǒng)計表,,,,,,利用團體增值評價圖，可以直觀形象地診斷出兩次考試變化中存在的問題。例如，長春市學?？偡郑簩嶒炛袑W和十一高中保持穩(wěn)定增長，朝鮮族中進步最大，榆樹實驗和九臺一中退步最大。,【發(fā)展增值評價】團體增

61、值評價圖,,,,,,利用團體增值評價圖，可以直觀形象地診斷出兩次考試變化中存在的問題。例如，長春市學校總分：實驗中學和十一高中保持穩(wěn)定增長，朝鮮族中進步最大，榆樹實驗和九臺一中退步最大。,【發(fā)展增值評價】團體增值評價圖,,,,,,在QMAS系統(tǒng)教育局版本中，除了供教育局、教研室使用之外，還能向基層學校提供詳盡到班級或個人的增值評價分析信息。 用學校用戶登錄，可以對校內(nèi)的班級和學生進行評價。例如，某中學各班級的增值評價表。,【發(fā)展增

62、值評價】增值評價在學校內(nèi)的應用,,,,,,【發(fā)展增值評價】增值評價在學校內(nèi)的應用,,,,,,在QMAS系統(tǒng)教育局版本中，除了供教育局、教研室使用之外，還能向基層學校提供詳盡到班級或個人的增值評價分析信息。 用學校用戶登錄，可以對校內(nèi)的班級和學生進行評價。例如，某中學各班級的增值評價圖。,決策支持工具是為決策服務的自動化、甚至智能化的推斷與報表模塊，使我們能夠從多種維度、多個側(cè)面來綜合分析數(shù)據(jù)，例如考試分數(shù)比較、綜合評價方法等。

63、 推斷統(tǒng)計主要研究如何通過局部數(shù)據(jù)所提供的信息，推論總體的情形，以揭示事物的內(nèi)在規(guī)律，如相關分析、假設檢驗、區(qū)間估計、線性回歸等。通過數(shù)據(jù)樣本所提供的信息，對總體或樣本的某些特征進行推斷、估計和預測，尋找出其內(nèi)在的變化規(guī)律。 系統(tǒng)力圖把繁雜的數(shù)理統(tǒng)計公式和數(shù)表集成到軟件中，只要輸入相關數(shù)據(jù)，即可得到描述統(tǒng)計的表格、圖形和推斷統(tǒng)計的結(jié)論，甚至可直接輸出多種“推斷分析檢驗報告”，為領導決策、教學研究提供全面的支持。,五、決策支持工具

64、為教學科研服務,1、圖形報表集成2、考試分數(shù)比較 ——個體內(nèi)差異方法 ——推斷統(tǒng)計分析方法3、綜合評價方法4、分析與診斷方法5、結(jié)構(gòu)與維度分析 其中，“考試分數(shù)比較”是本系統(tǒng)的精華?！巴茢嘟y(tǒng)計分析方法”部分覆蓋了上海教育考試院院長助理雷新勇博士《考試數(shù)據(jù)的統(tǒng)計分析和解釋》的全部章節(jié)，每一個模塊即對應了該書的每一章。,【決策支持工具】 決策支持工具包含的主要內(nèi)容,兩個團體樣本的相關性分析，需要用概率統(tǒng)計的方法

65、進行“積差相關分析”?？娠@示“相關分析散點圖”，計算出“相關分析矩陣”。,【決策支持工具】 兩個團體樣本的相關性分析,如果把存在相關的兩個變量，一個作為自變量，另一個作為因變量，并把兩者之間不十分準確、穩(wěn)定的關系，用數(shù)學方程式來表達，則可利用該方程由自變量的值來估計、預測因變量的值，這一過程稱為回歸分析。線性回歸分析方法能夠進行考試分數(shù)分析預測。,【決策支持工具】 考試分數(shù)的分析預測,“直接將教學實驗前后的分數(shù)進行對比”不是科學的方

66、法，需要用概率統(tǒng)計的方法進行 “平均數(shù)差異顯著性檢驗（相關樣本）”。在教育統(tǒng)計學中，通常用該檢驗來進行教學效果的推斷分析。,【決策支持工具】 同一團體不同次考試結(jié)果比較,團體考試結(jié)果與總體比較，需要用概率統(tǒng)計的方法進行“平均數(shù)差異顯著性檢驗（獨立樣本）”。在教育統(tǒng)計學中，通常用該檢驗來進行教學效果的推斷分析。,【決策支持工具】 團體考試結(jié)果與總體比較,團體考試結(jié)果與總體頻數(shù)分布差異的比較，需要用概率統(tǒng)計的方法進行“頻數(shù)分布差異χ2檢

67、驗”?？梢园薛? 值與臨界值比較，得出檢驗結(jié)果，還能進行顯著性相關源的分析。,【決策支持工具】 團體與總體頻數(shù)分布差異的比較,聚類分析是根據(jù)不同物體的某些特征進行“物以類聚”的多元統(tǒng)計方法。它將觀測量置于一個多維空間中，按它們空間關系的密切程度進行分類。根據(jù)事物彼此不同的屬性進行區(qū)分和辨認，將具有類似屬性的事物聚為一類，使得同一類的事物具有一定的相似性。 聚類分析的樹形圖譜描述了觀測量（團體或?qū)W生）分類的情況。從以下聚類分析的

68、樹形圖譜可見：某地區(qū)10個學校6個學科知識結(jié)構(gòu)（總分、語文、數(shù)學、物理、化學、生物）分類的不同點。,【決策支持工具】 結(jié)構(gòu)與維度分析舉例——聚類分析,“決策支持工具” 集成了多個教育評價學的工具。例如， 在團體教學質(zhì)量“多科綜合評價”模塊中，3個班級，7個學科的標準參照評價指標分別采用“普通綜合評價”和“模糊綜合評價”的結(jié)果。,【決策支持工具】 多學科綜合評價,新的云平臺將實現(xiàn)“基于國家課程標準的評價”，可對學科每個知識點在三個維度