Xem mẫu
TAÏP CHÍ ÑAÏI HOÏC SAØI GOØN Soá 6 - Thaùng 6/2011
SO BẰNG KẾT QUẢ TRẮC NGHIỆM MÔN TOÁN
BẰNG LÍ THUYẾT ĐÁP ỨNG IRT
ĐỖ ĐÌNH THÁI, LÊ CHI LAN (*)
TÓM TẮT
Việc so sánh các điểm trắc nghiệm của các đề thi trắc nghiệm khác nhau là một vấn đề
rất quan trọng trong việc đo lường và đánh giá năng lực của thí sinh. Nếu hai thí sinh làm
hai đề trắc nghiệm khác nhau thì làm sao so sánh điểm của hai thí sinh đó với nhau. Trong
bài viết này, chúng tôi trình bày ngắn gọn khái niệm so bằng trong lí thuyết trắc nghiệm cổ
điển và hiện đại. Chúng tôi tiến hành thực nghiệm thông qua hai đề trắc nghiệm khác nhau
nhưng có một số câu hỏi bắc cầu, thực hiện quy trình so bằng kết quả tính toán từ hai đề
trắc nghiệm nhờ phần mềm phân tích trắc nghiệm VITESTA.
ABSTRACT
Comparing the scores of different multiple-choice tests is very important in measuring
and assessing students ‘ability. Since it’s not easy to compare the scores of two students on
two different multiple-choice tests, we present in this article with a few words the concept
of equal comparison in classical test theory (CTT) and item response theory (IRT).
Through two different multiple-choice tests with some bridging questions and with the help
of the software VITESTA which analyzes multiple-choice tests, we worked on the process
of balancing the results of the two tests.
GIỚI THIỆU (*) điểm của hai đề trắc nghiệm. Qua quá trình
So sánh các điểm số trắc nghiệm từ đó, sự tương ứng giữa hai bộ điểm của đề
các đề trắc nghiệm khác nhau đo cùng một trắc nghiệm X và Y được xác lập. Điểm số
năng lực là một trong những vấn đề đang của đề trắc nghiệm X được chuyển đổi sang
được quan tâm của các chuyên gia trong thang đo và đơn vị đo của đề trắc nghiệm Y
lĩnh vực đo lường và đánh giá. Nếu 2 thí thông qua một số phép tính. Điều này có
sinh làm hai đề khác nhau thì khó so sánh nghĩa là thí sinh làm đề trắc nghiệm X có số
năng lực của 2 thí sinh này, nhưng nếu 2 điểm là a, có thể quy đổi từ a sang điểm là b
thí sinh này cùng làm trên một đề thì việc đối với đề trắc nghiệm Y. Từ đó, chúng ta sẽ
so sánh năng lực của 2 thí sinh này rất dễ dễ dàng so sánh năng lực của các thí sinh
dàng. Chính vì vậy, chúng tôi tiến hành sau khi thực hiện phép so bằng nói chung và
nghiên cứu lí thuyết so bằng 2 đề trắc quy đổi điểm nói riêng.
nghiệm dựa trên lí thuyết trắc nghiệm cổ 1. PHƯƠNG PHÁP SO BẰNG
điển và hiện đại. 1.1. Lí thuyết trắc nghiệm cổ điển
Để so sánh các điểm thu được bởi đề (Classical test theory – CTT)
trắc nghệm X và đề trắc nghiệm Y, chúng ta a. Khái niệm
phải thực hiện một quá trình so bằng các Có 2 loại so bằng theo phần trăm và so
bằng tuyến tính.
(*)
ThS, Trường Đại học Sài Gòn Giả sử có 2 đề trắc nghiệm X và Y
121
+ So bằng theo phần trăm: xem điểm Các điều kiện so bằng trong lí thuyết
của đề trắc nghiệm X và đề trắc nghiệm Y trắc nghiệm cổ điển rất khó gặp trong thực
là tương đương nếu thứ hạng của chúng tế. Vì vậy, để khắc phục các nhược điểm từ
trong 1 nhóm bất kì nào cũng bằng nhau. lí thuyết trắc nghiệm hiện đại, lí thuyết IRT
+ So bằng tuyến tính: Gọi x là điểm đã đưa ra các so bằng như sau:
đề trắc nghiệm X, y là điểm đề trắc Theo IRT ta không cần so bằng 2 đề
nghiệm Y. Ta có quan hệ tuyến tính y = trắc nghiệm nếu:
ax + b, trong đó y = a x + b, y = a x + Mô hình ứng đáp câu hỏi trùng khớp
(x, y : giá trị trung bình, x, y : độ lệch với số liệu (có thể so sánh trực tiếp các
chuẩn các điểm đối với đề trắc nghiệm X tham số năng lực của 2 thí sinh làm 2 đề
và đề trắc nghiệm Y). trắc nghiệm khác nhau).
y + Nếu 2 thí sinh làm 2 đề trắc nghiệm
y ( x x ) y khác nhau mà trong các đề đã biết các tham
x số của câu hỏi thì sẽ thu được các giá trị
công thức so bằng tuyến tính ước lượng năng lực của họ trên cùng 1
x x y y thang đo.
x y Câu hỏi đặt ra là vậy khi nào cần so
b. Điều kiện có thể so bằng (Lord FM) bằng? khi chưa biết các giá trị ước lượng
(1) Các đề trắc nghiệm đo các năng lực của câu hỏi và năng lực của thí sinh.
tiềm ẩn khác nhau không thể so bằng. Để thực hiện phương pháp so bằng
(2) Các điểm thô đối với các đề trắc trong IRT ta cần xác lập thang đo (scaling)
nghiệm có độ tin cậy khác nhau không thể và định cỡ.
so bằng. b. Cách xác lập thang đo trong quá
(3) Các điểm thô đối với các đề trắc trình định cỡ
nghiệm có độ khó khác nhau không thể so Khi chưa biết các giá trị ước lượng của
bằng. câu hỏi. Theo tính bất định ta có: P(*) =
(4) Các đề trắc nghiệm có độ tin cậy P() khi ta thay bởi * = + b, b bởi b*
cao có thể so bằng. = b + , a bởi a* =
a
.
c. Tính bất biến và tính đối xứng
Ngoài các điều kiện có thể so bằng ở Lưu ý: Đối với mô hình 1 tham số thì
trên thì 2 đề trắc nghiệm để có thể so bằng a = 1.
được cần bổ sung 2 tính chất. * Phương pháp xác định thang đo và
+ Tính đối xứng (không phụ thuộc vào định cỡ:
việc đề trắc nghiệm nào được dùng làm Trường hợp 1: Trường hợp 2 nhóm thí
chuẩn so sánh). sinh làm 1 đề trắc nghiệm
+ Tính bất biến (quy trình so bằng Tiến hành ước lượng tham số câu hỏi
không phụ thuộc vào mẫu). và năng lực thí sinh được thực hiện trên 1
1.2. Lí thuyết trắc nghiệm hiện đại đề trắc nghiệm với 2 nhóm thí sinh A và B
(Item response theory – IRT) khác nhau. Để tiến hành ước lượng cần cố
a. Khái niệm định thang đo. Có 2 cách:
122
Cách 1: Chuẩn hoá độ khó (cố định Vì , đã được xác định nên ước lượng
giá trị trung bình và độ lệch chuẩn của tham số câu hỏi của nhóm B có thể
độ khó) đặt trên cùng 1 thang đo như ước lượng
Do 2 nhóm thí sinh làm cùng 1 đề trắc tham số câu hỏi của nhóm A.
nghiệm nên giá trị ước lượng tham số sẽ Trường hợp 2: Trường hợp 1 nhóm thí
như nhau nếu mô hình trùng khớp với số sinh làm 2 đề trắc nghiệm
liệu (do tính bất biến). Việc xác lập thang Khi 1 nhóm thí sinh làm 2 đề trắc
đo đối với các giá trị độ khó sẽ đặt các giá nghiệm X và đề trắc nghiệm Y thì tham
trị ước lượng tham số câu hỏi và năng lực số năng lực là như nhau (nếu đặt giá trị
thí sinh trên cùng 1 thang đo. trung bình và độ lệch chuẩn của bằng 0
Cách 2: Chuẩn hoá các giá trị năng lực. và 1). Tuy nhiên, trong thực tế chúng có
Gọi bA, aA là ước lượng tham số độ thể khác nhau. Vì thế cần phải đặt chúng
khó và độ phân biệt của nhóm thí sinh A. trên cùng 1 thang đo dựa vào mối quan
Gọi bB, aB là ước lượng tham số độ khó hệ tuyến tính.
và độ phân biệt của nhóm thí sinh B. Trường hợp 3: Trường hợp nhiều
Suy ra quan hệ tuyến tính: nhóm thí sinh làm nhiều đề trắc nghiệm
a Đối với thí sinh làm nhiều đề trắc
bA = bB + ; aA = B
nghiệm không thể so bằng mà cần phải
và * = B + thực hiện thiết kế các kết nối.
Có 4 loại thiết kế kết nối.
Loại thiết kế
STT Cách sử dụng Ưu điểm Nhược điểm
kết nối
Thời gian trắc nghiệm
Thiết kế đơn 2 đề trắc nghiệm kết nối được Thiết kế đơn
1 dài, ảnh hưởng đến
nhóm. cho cùng 1 nhóm thí sinh. giản.
tham số ước lượng.
Thiết kế các Dễ áp dụng Rất khó chọn được các
2 đề trắc nghiệm kết nối được
2 nhóm tương hơn thiết kế nhóm tương đương
cho các nhóm tương đương.
đương. đơn nhóm. trong thực tế.
Các đề trắc nghiệm được cho 2
Thiết kế các đề Có tính khả thi Phải cẩn thận khi thiết
nhóm thí sinh khác nhau, thiết
3 trắc nghiệm có cao và thường kế thang đo và phải xác
kế 2 đề trắc nghiệm có 1 nhóm
các câu hỏi neo. được áp dụng. định được câu hỏi neo.
câu hỏi chung.
2 đề trắc nghiệm được cho 2 Ít dùng, thời gian làm
Thiết kế 2 nhóm
nhóm thí sinh làm. Trong đó, Có thể thực trắc nghiệm dài, ảnh
4 có các thí sinh
có 1 nhóm con thí sinh có mặt hiện được hưởng đến tham số ước
chung.
ở cả 2 nhóm. lượng.
123
2. CÁC QUY TẮC VÀ THAO TÁC trị trung bình.
SO BẰNG 2 ĐỀ TRẮC NGHIỆM Bước 4: Tính toán lại các tham số để
1. Nếu không thực hiện so bằng giữa trùng khớp sau khi đã tiến hành so bằng.
các đề trắc nghiệm thì không thể xây dựng Sau khi so bằng có thể đưa 2 đề
được 1 ngân hàng đề trắc nghiệm tốt. trắc nghiệm vào ngân hàng đề trắc
2. Khi thực hiện so bằng 1 nhóm thí nghiệm.
sinh làm 2 đề trắc nghiệm hoặc 2 nhóm 3. PHẦN THỰC NGHIỆM
thí sinh làm 1 đề trắc nghiệm, chúng ta Tính toán qua dữ liệu cụ thể một quy
cần xác lập thang đo và định cỡ đối với trình so bằng kết quả tính toán từ 2 đề trắc
nhiều nhóm thí sinh làm nhiều đề trắc nghiệm nhị phân nhờ một phần mềm trắc
nghiệm, ta thường chọn so bằng bằng nghiệm VITESTA.
cách thiết kế các đề trắc nghiệm có 1 số 3.1. Mô tả dữ liệu
câu hỏi neo. Dữ liệu gồm 5 tập tin: toan1-2.dat,
3. Kiểu dùng các câu hỏi neo rất quan toan1.dat, toan2.dat, toan-2.key và file
trọng vì nó dùng để kết nối các đề trắc word thông tin về các câu hỏi bắc cầu.
nghiệm lại với nhau. Dữ liệu toan1.dat gồm 296 thí sinh
Ví dụ: Ta có 2 đề trắc nghiệm 1 và 2, làm đề thi trắc nghiệm môn toán 1, đề trắc
xây dựng 2 đề trắc nghiệm này có 1 số câu nghiệm môn toán 1 gồm 30 câu hỏi mỗi
hỏi neo. Để tiến hành so bằng ta thực hiện câu hỏi có 4 phương án trả lời.
như sau: Dữ liệu toan2.dat gồm 275 thí
Bước 1: Định cỡ đề trắc nghiệm 1 và sinh làm đề thi trắc nghiệm môn toán 2, đề
2 riêng rẽ. trắc nghiệm môn toán 1 gồm 30 câu hỏi
Bước 2: Xác định tham số của các câu mỗi câu hỏi có 4 phương án trả lời.
hỏi neo từ đó xác định các hệ số biến đổi Đề thi toán 1 và đề toán 2 có 6 câu
tuyến tính liên kết giữa chúng (theo lí hỏi neo chung là câu 3, 8, 11, 15, 18 và
thuyết IRT, các giá trị tham số này là 21.
giống nhau nhưng trên thực tế ta sẽ thấy 3.2. Thực hiện quy trình so bằng
chúng khác nhau do nhiều lí do: mô hình và các kết quả
không trùng khớp với thực tế hoặc các số Để thực hiện quy trình so bằng chúng
liệu được đo chưa cùng 1 thang đo). ta tiến hành các bước sau:
Bước 3: Kết nối các đề trắc nghiệm và Bước 1: Định cỡ và phân tích hai đề
định cỡ chung, dùng tính toán để chuyển thi toán 1 và toán 2 thông qua dữ liệu
sự khác nhau giữa các tham số về giống toan1.dat và toan2.dat thu được kết quả
nhau bằng cách tính các giá trị sau:
chung giữa chúng, thông thường dùng giá
124
Bảng 1: KẾT QUẢ ƯỚC LƯỢNG ĐỘC LẬP THAM SỐ CÂU HỎI
Mô hình 1 tham số. Tạo ra vào lúc 18/11/2009 - 04:31
Đề thi: Toán 1 Đề thi: Toán 2
|--------------------------------------| |---------------------------------------|
¦ Câu| b | MSE (*)| ¦ Câu| b | MSE (*)|
|---------+----------+----------------| |----------+------------+------ ----- -|
¦ 1¦ -0.80386¦ 0.14598¦ ¦ 1¦ -0.80314¦ 0.15322¦
¦ 2¦ -0.61153¦ 0.14029¦ ¦ 2¦ -0.35972¦ 0.13855¦
¦ 3¦ -0.96071¦ 0.15244¦ ¦ 3¦ -0.76222¦ 0.15135¦
¦ 4¦ -0.64649¦ 0.14116¦ ¦ 4¦ -1.10958¦ 0.17131¦
¦ 5¦ -0.79136¦ 0.14554¦ ¦ 5¦ -0.68317¦ 0.14805¦
¦ 6¦ -0.26756¦ 0.13537¦ ¦ 6¦ -0.80314¦ 0.15322¦
¦ 7¦ -0.47535¦ 0.13759¦ ¦ 7¦ -0.81701¦ 0.15389¦
¦ 8¦ -0.72991¦ 0.14352¦ ¦ 8¦ -0.57039¦ 0.14403¦
¦ 9¦ -0.55414¦ 0.13903¦ ¦ 9¦ 1.19561¦ 0.17668¦
¦ 10¦ -0.39799¦ 0.13651¦ ¦ 10¦ -0.17209¦ 0.13572¦
¦ 11¦ -0.82910¦ 0.14690¦ ¦ 11¦ -0.61975¦ 0.14569¦
¦ 12¦ -0.50892¦ 0.13816¦ ¦ 12¦ 0.19259¦ 0.13550¦
¦ 13¦ -0.18146¦ 0.13508¦ ¦ 13¦ -0.41667¦ 0.13978¦
¦ 14¦ -0.65824¦ 0.14146¦ ¦ 14¦ 1.00955¦ 0.16327¦
¦ 15¦ -0.81644¦ 0.14644¦ ¦ 15¦ -0.65756¦ 0.14706¦
¦ 16¦ 0.40706¦ 0.14212¦ ¦ 16¦ 0.26863¦ 0.13633¦
¦ 17¦ -0.96071¦ 0.15244¦ ¦ 17¦ -0.02165¦ 0.13479¦
¦ 18¦ -0.59997¦ 0.14002¦ ¦ 18¦ -0.84512¦ 0.15527¦
¦ 19¦ 0.56689¦ 0.14672¦ ¦ 19¦ 0.29054¦ 0.13664¦
¦ 20¦ 0.57965¦ 0.14714¦ ¦ 20¦ 0.03176¦ 0.13474¦
¦ 21¦ 0.23327¦ 0.13843¦ ¦ 21¦ 0.32361¦ 0.13714¦
¦ 22¦ -0.52017¦ 0.13837¦ ¦ 22¦ -1.14462¦ 0.17388¦
¦ 23¦ 0.17716¦ 0.13753¦ ¦ 23¦ -0.02165¦ 0.13479¦
¦ 24¦ -0.79136¦ 0.14554¦ ¦ 24¦ 0.30154¦ 0.13680¦
¦ 25¦ -0.00921¦ 0.13553¦ ¦ 25¦ 1.07389¦ 0.16754¦
¦ 26¦ -0.75429¦ 0.14429¦ ¦ 26¦ -0.91776¦ 0.15912¦
¦ 27¦ 0.41900¦ 0.14242¦ ¦ 27¦ 0.49355¦ 0.14072¦
¦ 28¦ 0.30169¦ 0.13972¦ ¦ 28¦ 0.06381¦ 0.13478¦
¦ 29¦ -0.74207¦ 0.14390¦ ¦ 29¦ -0.64488¦ 0.14659¦
¦ 30¦ -0.64649¦ 0.14116¦ ¦ 30¦ -0.43975¦ 0.14033¦
|---------------------------------------| | --------------------------------------|
Dựa vào bảng phân tích nhận thấy các hỏi neo xác định các hệ số tuyến tính liên
câu hỏi neo câu 3, 8, 11, 15, 18 và 21 của 2 kết giữa chúng với nhau, dựa vào đó tìm
đề thi trắc nghiệm có sự chênh lệch về độ một bộ tham số chung cho các câu hỏi neo.
khó. Từ đó có thể thấy tham số độ khó b Thông qua phần mềm VITESTA ta sẽ liên
của cùng một câu hỏi từ 2 đề thi trắc kết 2 đề thi và xác định các câu hỏi neo của
nghiệm là khác nhau. 2 đề. Khi đó thu được kết quả như sau:
Bước 2: Từ các tham số của các câu
125
Trước khi so bằng đề thi:
Bảng 2: CÂN BẰNG ĐỀ THI THEO PHƯƠNG PHÁP HỒI QUY
Các câu hỏi chung:
Giữa đề thi Toán 1 và đề thi Toán 2
Độ tương quan tham số khi ước lượng độc lập:
Tham số b: r=0.9201056
Trước khi cân bằng đề thi:
----------------------------------------------------------------
| Đề 1 | Đề 2 |
----------------------------------------------------------------
| Câu 3 | -0.9607065 | Câu 3 | -0.7622227 |
| Câu 8 | -0.7299129 | Câu 8 | -0.570385 |
| Câu 11 | -0.8291038 | Câu 11 | -0.6197521 |
| Câu 15 | -0.8164439 | Câu 15 | -0.6575601 |
| Câu 18 | -0.5999659 | Câu 18 | -0.8451234 |
| Câu 21 | 0.2332707 | Câu 21 | 0.3236081 |
----------------------------------------------------------------
TRUNG B NH: -0.6171437 TRUNG B NH: -0.5219058
Đ LỆCH CHU N: 0.4333358 Đ LỆCH CHU N: 0.4260145
Dựa vào bảng 2 nhận thấy có sự trên cùng 1 thang đo.
chênh lệch về độ khó giữa các câu hỏi Mặt khác, có thể thấy sự khác nhau
neo, do tính bất định trong lí thuyết IRT việc ứng đáp câu hỏi của các câu hỏi neo
sự chênh lệch này có thể là do nhiều (câu hỏi giống nhau) trong đề toán 1 và đề
nguyên nhân như mô hình không trùng toán 2 ta có thể biểu diễn các đường cong
khớp với với số liệu hoặc các giá trị ước đặc trưng của 6 câu hỏi 3, 8, 11, 15, 18 và
lượng năng lực của họ không được đo 21 như sau:
Hình 4.1: Sự đáp ứng khác biệt đối với các câu hỏi neo của đề toán 1 và toán 2
126
Dựa vào hình 4.1, chúng tôi nhận thấy để độ khó của chúng được 2 đề tương
2 đề thi mặc dù có câu hỏi neo 3, 8, 11, 15, đương nhau.
18 và 21 giống nhau, tuy nhiên hai đề thi Khảo sát riêng đồ thị hàm thông tin và
này vẫn có sự chênh lệch nhau về độ khó biểu đồ tương quan năng lực thí sinh của 2
do nhiều nguyên nhân như đã trình bày ở đề thi:
trên. Vấn đề đặt ra là phải so bằng 2 đề thi
Hình 4.2: Đường cong hàm thông tin của đề toán 1 và đề toán 2
Hàm thông tin là một công cụ quan chút của mẫu thí sinh.
trọng để đánh giá và thiết kế đề trắc Ngoài ra hình dáng của 2 hàm thông
nghiệm. Dựa vào hình 4.2, chúng tôi nhận tin của 2 đề thi gần như tương đương nhau
thấy rằng 2 đề thi được thiết kế tương đối chính tỏ độ phân biệt của đề thi này không
tốt vì 2 đề thi này có khả năng đo chính xác quá lớn.
khoảng năng lực dưới mức trung bình một
Hình 4.3: Biểu đồ tương quan năng lực của thí sinh và độ khó của đề toán 1 và đề toán 2
127
* Sau khi so bằng đề thi:
Dựa vào biểu đồ 4.3, chúng ta thấy các thí sinh khi thực hiện làm 2 đề thi. Tuy
rằng tương quan giữa năng lực thí sinh và nhiên nếu xét tương quan giữa năng lực và
độ khó câu hỏi của 2 đề thi trắc nghiệm độ khó của đề thì chúng ta có thể nhận xét
cũng có hình dáng và phân bố khá giống rằng đề thi trên tương đối dễ so với năng
nhau, vì vậy có thể so sánh năng lực của lực của thí sinh.
Bảng 3: SAU KHI HI U CH NH ĐỀ TOÁN 2 THEO ĐỀ TOÁN 1
H SỐ CHUY N Đ I:
ANFA = 1
BETA = 0.09523785
-------------------------------------------------------------------------------------------
| Đề 1 | Đề 2 | DIF | Cân bằng|
------------------------------------------------------------------------------------------
| Câu 3 | -0.9607065 | Câu 3 | -0.8574606 | -0.103246 | -0.90908|
| Câu 8 | -0.7299129 | Câu 8 | -0.6656229 | -0.06429005 | -0.69777|
| Câu 11 | -0.8291038 | Câu 11 | -0.71499 | -0.1141138 | -0.77205|
| Câu 15 | -0.8164439 | Câu 15 | -0.7527979 | -0.06364602 | -0.78462|
| Câu 18 | -0.5999659 | Câu 18 | -0.9403612 | 0.3403953 | -0.77016|
| Câu 21 | 0.2332707 | Câu 21 | 0.2283702 | 0.004900411 | 0.23082 |
----------------------------------------------------------
---
Ta nhận thấy rằng giá trị cân bằng của bảng 3 được tính là trung bình cộng của độ khó
câu hỏi neo của 2 đề trắc nghiệm.
* Độ khó các câu hỏi sau khi so bằng :
Bảng 4: KẾT QUẢ ƯỚC LƯỢNG ĐỘC LẬP THAM SỐ CÂU HỎI
Mô hình 1 tham số. Tạo ra vào lúc 18/11/2009 - 04:31
Đề thi: Toán 1 Đề thi: Toán 2
¦-----------------------------------| -----------------------------------|
Câu| b| SE (*) | ¦ Câu | b | MSE (*)|
|---------+-------------+-------------| |---------+-------------+-------------|
¦ 1¦ -0.80386¦ 0.14598¦ ¦ 1¦ -0.89838¦ 0.15322¦
¦ 2¦ -0.61153¦ 0.14029¦ ¦ 2¦ -0.45495¦ 0.13855¦
¦ 3¦ -0.90908¦ 0.15244¦ ¦ 3¦ -0.90908¦ 0.15135¦
¦ 4¦ -0.64649¦ 0.14116¦ ¦ 4¦ -1.20482¦ 0.17131¦
¦ 5¦ -0.79136¦ 0.14554¦ ¦ 5¦ -0.77841¦ 0.14805¦
¦ 6¦ -0.26756¦ 0.13537¦ ¦ 6¦ -0.89838¦ 0.15322¦
¦ 7¦ -0.47535¦ 0.13759¦ ¦ 7¦ -0.91225¦ 0.15389¦
¦ 8¦ -0.69777¦ 0.14352¦ ¦ 8¦ -0.69777¦ 0.14403¦
¦ 9¦ -0.55414¦ 0.13903¦ ¦ 9¦ 1.10037¦ 0.17668¦
¦ 10¦ -0.39799¦ 0.13651¦ ¦ 10¦ -0.26733¦ 0.13572¦
¦ 11¦ -0.77205¦ 0.14690¦ ¦ 11¦ -0.77205¦ 0.14569¦
¦ 12¦ -0.50892¦ 0.13816¦ ¦ 12¦ 0.09735¦ 0.13550¦
¦ 13¦ -0.18146¦ 0.13508¦ ¦ 13¦ -0.51191¦ 0.13978¦
¦ 14¦ -0.65824¦ 0.14146¦ ¦ 14¦ 0.91431¦ 0.16327¦
¦ 15¦ -0.78462¦ 0.14644¦ ¦ 15¦ -0.78462¦ 0.14706¦
¦ 16¦ 0.40706¦ 0.14212¦ ¦ 16¦ 0.17339¦ 0.13633¦
128
¦ 17¦ -0.96071¦ 0.15244¦ ¦ 17¦ -0.11689¦ 0.13479¦
¦ 18¦ -0.77016¦ 0.14002¦ ¦ 18¦ -0.77016¦ 0.15527¦
¦ 19¦ 0.56689¦ 0.14672¦ ¦ 19¦ 0.19530¦ 0.13664¦
¦ 20¦ 0.57965¦ 0.14714¦ ¦ 20¦ -0.06348¦ 0.13474¦
¦ 21¦ 0.23082¦ 0.13843¦ ¦ 21¦ 0.23082¦ 0.13714¦
¦ 22¦ -0.52017¦ 0.13837¦ ¦ 22¦ -1.23986¦ 0.17388¦
¦ 23¦ 0.17716¦ 0.13753¦ ¦ 23¦ -0.11689¦ 0.13479¦
¦ 24¦ -0.79136¦ 0.14554¦ ¦ 24¦ 0.20630¦ 0.13680¦
¦ 25¦ -0.00921¦ 0.13553¦ ¦ 25¦ 0.97865¦ 0.16754¦
¦ 26¦ -0.75429¦ 0.14429¦ ¦ 26¦ -1.01300¦ 0.15912¦
¦ 27¦ 0.41900¦ 0.14242¦ ¦ 27¦ 0.39831¦ 0.14072¦
¦ 28¦ 0.30169¦ 0.13972¦ ¦ 28¦ -0.03143¦ 0.13478¦
¦ 29¦ -0.74207¦ 0.14390¦ ¦ 29¦ -0.74012¦ 0.14659¦
¦ 30¦ -0.64649¦ 0.14116¦ ¦ 30¦ -0.53498¦ 0.14033¦
|---------------------------------------| ----------------------|
Bước 3: Định cỡ chung đề thi trắc thi trắc nghiệm lại thành 1 đề thi và tiến
nghiệm trên toàn bộ tổng số thí sinh hành định cỡ đề thi chung gồm 50 câu hỏi,
Sau khi so bằng, tiếp tục kết nối 2 đề sẽ thu được kết quả như sau:
Bảng 5: CÂN BẰNG THEO PHƯƠNG PHÁP ĐỊNH CỠ ĐỒNG THỜI
¦ Câu| b | MSE (*)| ¦ Câu| b | MSE (*)|
|---------+------------+--------------| |---------+------------+--------------|
¦ 1¦ -0.76624¦ 0.14594¦ 28¦ 0.33921¦ 0.13993¦
¦ 2¦ -0.57393¦ 0.14028¦ ¦ 29¦ -0.70445¦ 0.14387¦
¦ 3¦ -0.87988¦ 0.10741¦ ¦ 30¦ -0.60889¦ 0.14114¦
¦ 4¦ -0.60889¦ 0.14114¦ ¦ 31¦ -0.87711¦ 0.15328¦
¦ 5¦ -0.75374¦ 0.14550¦ ¦ 32¦ -0.43389¦ 0.13856¦
¦ 6¦ -0.23001¦ 0.13542¦ ¦ 33¦ -1.18343¦ 0.17140¦
¦ 7¦ -0.43778¦ 0.13760¦ ¦ 34¦ -0.75720¦ 0.14809¦
¦ 8¦ -0.66858¦ 0.10169¦ ¦ 35¦ -0.87711¦ 0.15328¦
¦ 9¦ -0.51655¦ 0.13903¦ ¦ 36¦ -0.89098¦ 0.15394¦
¦ 10¦ -0.36042¦ 0.13653¦ ¦ 37¦ 1.12084¦ 0.17652¦
¦ 11¦ -0.74281¦ 0.10346¦ ¦ 38¦ -0.24635¦ 0.13571¦
¦ 12¦ -0.47134¦ 0.13817¦ ¦ 39¦ 0.11816¦ 0.13546¦
¦ 13¦ -0.14391¦ 0.13514¦ ¦ 40¦ -0.49081¦ 0.13980¦
¦ 14¦ -0.62064¦ 0.14145¦ ¦ 41¦ 0.93483¦ 0.16313¦
¦ 15¦ -0.75544¦ 0.10379¦ ¦ 42¦ 0.19417¦ 0.13629¦
¦ 16¦ 0.44458¦ 0.14238¦ ¦ 43¦ -0.09598¦ 0.13477¦
¦ 17¦ -0.92306¦ 0.15238¦ ¦ 44¦ 0.21607¦ 0.13659¦
¦ 18¦ -0.73025¦ 0.10314¦ ¦ 45¦ -0.04259¦ 0.13472¦
¦ 19¦ 0.60443¦ 0.14710¦ ¦ 46¦ -1.21845¦ 0.17398¦
¦ 20¦ 0.61719¦ 0.14752¦ ¦ 47¦ -0.09598¦ 0.13477¦
¦ 21¦ 0.25986¦ 0.09747¦ ¦ 48¦ 0.22707¦ 0.13675¦
¦ 22¦ -0.48259¦ 0.13837¦ ¦ 49¦ 0.99915¦ 0.16740¦
¦ 23¦ 0.21469¦ 0.13769¦ ¦ 50¦ -0.99168¦ 0.15919¦
¦ 24¦ -0.75374¦ 0.14550¦ ¦ 51¦ 0.41900¦ 0.14065¦
¦ 25¦ 0.02832¦ 0.13564¦ ¦ 52¦ -0.01056¦ 0.13476¦
¦ 26¦ -0.71667¦ 0.14426¦ ¦ 53¦ -0.71892¦ 0.14663¦
¦ 27¦ 0.45653¦ 0.14270¦ ¦ 54¦ -0.51388¦ 0.14035¦
4.3. Nhận xét
129
Khi thực hiện so bằng 2 đề thi trắc - Thông qua ví dụ thực nghiệm ta
nghiệm chúng tôi thấy rằng các câu hỏi neo thấy rằng đối với các đề thi bất kì có thể
của hai đề thi có độ khó gần tương đương dùng nhiều phương pháp để so bằng, cụ thể
nhau, các thông số của các câu hỏi trong đề ví dụ ở trên dùng câu hỏi neo để nối kết 2
thi được điều chỉnh lại sau khi thực hiện so đề thi. Sau đó dùng công cụ so bằng để so
bằng. Từ đó có thể ghép nối 2 đề thi lại với bằng 2 đề thi có cùng một số câu hỏi. Khi
nhau và đưa vào ngân hàng câu hỏi thi. thực hiện xong phương pháp so bằng, có
KẾT LUẬN thể ghép nối 2 đề lại với nhau.
- Theo phương pháp trắc nghiệm cổ - Ngoài ra khi thực hiện xong so
điển, việc so bằng kết quả trắc nghiệm rất bằng 2 đề thi thì việc so sánh tương quan
khó thực hiện. Theo phương pháp IRT sự điểm số của thí sinh đã được hoàn toàn giải
so bằng là hết sức cần thiết. quyết.
TÀI LI U THAM KHẢO
1. GS.TS Dương Thiệu Tống (1995), Trắc nghiệm và đo lường thành quả học tập, Nxb
Khoa học Xã hội TPHCM.
2. GS.TS Dương Thiệu Tống (2007), Thống kê ứng dụng trong nghiên cứu khoa học giáo
dục, Nxb Khoa học Xã hội.
3. GS.TS Lâm Quang Thiệp, (2009) Trắc nghiệm, đo lường và đánh giá trong Giáo dục.
4. GS.TS Lâm Quang Thiệp, Đo lường trong giáo dục, lí thuyết và ứng dụng, 2011.
5. TS. Vũ Thị Phương Anh, ( Bài giảng môn Đại cương thống kê, 2008.
7. Patrick Griffin (1997). An Introduction to the Rasch Model. Assessment Research
Centre, University of Melbourne.
8. Bảng dùng thử phần mềm VITESTA (trong 30 ngày).
130
nguon tai.lieu . vn
SO BẰNG KẾT QUẢ TRẮC NGHIỆM MÔN TOÁN
BẰNG LÍ THUYẾT ĐÁP ỨNG IRT
ĐỖ ĐÌNH THÁI, LÊ CHI LAN (*)
TÓM TẮT
Việc so sánh các điểm trắc nghiệm của các đề thi trắc nghiệm khác nhau là một vấn đề
rất quan trọng trong việc đo lường và đánh giá năng lực của thí sinh. Nếu hai thí sinh làm
hai đề trắc nghiệm khác nhau thì làm sao so sánh điểm của hai thí sinh đó với nhau. Trong
bài viết này, chúng tôi trình bày ngắn gọn khái niệm so bằng trong lí thuyết trắc nghiệm cổ
điển và hiện đại. Chúng tôi tiến hành thực nghiệm thông qua hai đề trắc nghiệm khác nhau
nhưng có một số câu hỏi bắc cầu, thực hiện quy trình so bằng kết quả tính toán từ hai đề
trắc nghiệm nhờ phần mềm phân tích trắc nghiệm VITESTA.
ABSTRACT
Comparing the scores of different multiple-choice tests is very important in measuring
and assessing students ‘ability. Since it’s not easy to compare the scores of two students on
two different multiple-choice tests, we present in this article with a few words the concept
of equal comparison in classical test theory (CTT) and item response theory (IRT).
Through two different multiple-choice tests with some bridging questions and with the help
of the software VITESTA which analyzes multiple-choice tests, we worked on the process
of balancing the results of the two tests.
GIỚI THIỆU (*) điểm của hai đề trắc nghiệm. Qua quá trình
So sánh các điểm số trắc nghiệm từ đó, sự tương ứng giữa hai bộ điểm của đề
các đề trắc nghiệm khác nhau đo cùng một trắc nghiệm X và Y được xác lập. Điểm số
năng lực là một trong những vấn đề đang của đề trắc nghiệm X được chuyển đổi sang
được quan tâm của các chuyên gia trong thang đo và đơn vị đo của đề trắc nghiệm Y
lĩnh vực đo lường và đánh giá. Nếu 2 thí thông qua một số phép tính. Điều này có
sinh làm hai đề khác nhau thì khó so sánh nghĩa là thí sinh làm đề trắc nghiệm X có số
năng lực của 2 thí sinh này, nhưng nếu 2 điểm là a, có thể quy đổi từ a sang điểm là b
thí sinh này cùng làm trên một đề thì việc đối với đề trắc nghiệm Y. Từ đó, chúng ta sẽ
so sánh năng lực của 2 thí sinh này rất dễ dễ dàng so sánh năng lực của các thí sinh
dàng. Chính vì vậy, chúng tôi tiến hành sau khi thực hiện phép so bằng nói chung và
nghiên cứu lí thuyết so bằng 2 đề trắc quy đổi điểm nói riêng.
nghiệm dựa trên lí thuyết trắc nghiệm cổ 1. PHƯƠNG PHÁP SO BẰNG
điển và hiện đại. 1.1. Lí thuyết trắc nghiệm cổ điển
Để so sánh các điểm thu được bởi đề (Classical test theory – CTT)
trắc nghệm X và đề trắc nghiệm Y, chúng ta a. Khái niệm
phải thực hiện một quá trình so bằng các Có 2 loại so bằng theo phần trăm và so
bằng tuyến tính.
(*)
ThS, Trường Đại học Sài Gòn Giả sử có 2 đề trắc nghiệm X và Y
121
+ So bằng theo phần trăm: xem điểm Các điều kiện so bằng trong lí thuyết
của đề trắc nghiệm X và đề trắc nghiệm Y trắc nghiệm cổ điển rất khó gặp trong thực
là tương đương nếu thứ hạng của chúng tế. Vì vậy, để khắc phục các nhược điểm từ
trong 1 nhóm bất kì nào cũng bằng nhau. lí thuyết trắc nghiệm hiện đại, lí thuyết IRT
+ So bằng tuyến tính: Gọi x là điểm đã đưa ra các so bằng như sau:
đề trắc nghiệm X, y là điểm đề trắc Theo IRT ta không cần so bằng 2 đề
nghiệm Y. Ta có quan hệ tuyến tính y = trắc nghiệm nếu:
ax + b, trong đó y = a x + b, y = a x + Mô hình ứng đáp câu hỏi trùng khớp
(x, y : giá trị trung bình, x, y : độ lệch với số liệu (có thể so sánh trực tiếp các
chuẩn các điểm đối với đề trắc nghiệm X tham số năng lực của 2 thí sinh làm 2 đề
và đề trắc nghiệm Y). trắc nghiệm khác nhau).
y + Nếu 2 thí sinh làm 2 đề trắc nghiệm
y ( x x ) y khác nhau mà trong các đề đã biết các tham
x số của câu hỏi thì sẽ thu được các giá trị
công thức so bằng tuyến tính ước lượng năng lực của họ trên cùng 1
x x y y thang đo.
x y Câu hỏi đặt ra là vậy khi nào cần so
b. Điều kiện có thể so bằng (Lord FM) bằng? khi chưa biết các giá trị ước lượng
(1) Các đề trắc nghiệm đo các năng lực của câu hỏi và năng lực của thí sinh.
tiềm ẩn khác nhau không thể so bằng. Để thực hiện phương pháp so bằng
(2) Các điểm thô đối với các đề trắc trong IRT ta cần xác lập thang đo (scaling)
nghiệm có độ tin cậy khác nhau không thể và định cỡ.
so bằng. b. Cách xác lập thang đo trong quá
(3) Các điểm thô đối với các đề trắc trình định cỡ
nghiệm có độ khó khác nhau không thể so Khi chưa biết các giá trị ước lượng của
bằng. câu hỏi. Theo tính bất định ta có: P(*) =
(4) Các đề trắc nghiệm có độ tin cậy P() khi ta thay bởi * = + b, b bởi b*
cao có thể so bằng. = b + , a bởi a* =
a
.
c. Tính bất biến và tính đối xứng
Ngoài các điều kiện có thể so bằng ở Lưu ý: Đối với mô hình 1 tham số thì
trên thì 2 đề trắc nghiệm để có thể so bằng a = 1.
được cần bổ sung 2 tính chất. * Phương pháp xác định thang đo và
+ Tính đối xứng (không phụ thuộc vào định cỡ:
việc đề trắc nghiệm nào được dùng làm Trường hợp 1: Trường hợp 2 nhóm thí
chuẩn so sánh). sinh làm 1 đề trắc nghiệm
+ Tính bất biến (quy trình so bằng Tiến hành ước lượng tham số câu hỏi
không phụ thuộc vào mẫu). và năng lực thí sinh được thực hiện trên 1
1.2. Lí thuyết trắc nghiệm hiện đại đề trắc nghiệm với 2 nhóm thí sinh A và B
(Item response theory – IRT) khác nhau. Để tiến hành ước lượng cần cố
a. Khái niệm định thang đo. Có 2 cách:
122
Cách 1: Chuẩn hoá độ khó (cố định Vì , đã được xác định nên ước lượng
giá trị trung bình và độ lệch chuẩn của tham số câu hỏi của nhóm B có thể
độ khó) đặt trên cùng 1 thang đo như ước lượng
Do 2 nhóm thí sinh làm cùng 1 đề trắc tham số câu hỏi của nhóm A.
nghiệm nên giá trị ước lượng tham số sẽ Trường hợp 2: Trường hợp 1 nhóm thí
như nhau nếu mô hình trùng khớp với số sinh làm 2 đề trắc nghiệm
liệu (do tính bất biến). Việc xác lập thang Khi 1 nhóm thí sinh làm 2 đề trắc
đo đối với các giá trị độ khó sẽ đặt các giá nghiệm X và đề trắc nghiệm Y thì tham
trị ước lượng tham số câu hỏi và năng lực số năng lực là như nhau (nếu đặt giá trị
thí sinh trên cùng 1 thang đo. trung bình và độ lệch chuẩn của bằng 0
Cách 2: Chuẩn hoá các giá trị năng lực. và 1). Tuy nhiên, trong thực tế chúng có
Gọi bA, aA là ước lượng tham số độ thể khác nhau. Vì thế cần phải đặt chúng
khó và độ phân biệt của nhóm thí sinh A. trên cùng 1 thang đo dựa vào mối quan
Gọi bB, aB là ước lượng tham số độ khó hệ tuyến tính.
và độ phân biệt của nhóm thí sinh B. Trường hợp 3: Trường hợp nhiều
Suy ra quan hệ tuyến tính: nhóm thí sinh làm nhiều đề trắc nghiệm
a Đối với thí sinh làm nhiều đề trắc
bA = bB + ; aA = B
nghiệm không thể so bằng mà cần phải
và * = B + thực hiện thiết kế các kết nối.
Có 4 loại thiết kế kết nối.
Loại thiết kế
STT Cách sử dụng Ưu điểm Nhược điểm
kết nối
Thời gian trắc nghiệm
Thiết kế đơn 2 đề trắc nghiệm kết nối được Thiết kế đơn
1 dài, ảnh hưởng đến
nhóm. cho cùng 1 nhóm thí sinh. giản.
tham số ước lượng.
Thiết kế các Dễ áp dụng Rất khó chọn được các
2 đề trắc nghiệm kết nối được
2 nhóm tương hơn thiết kế nhóm tương đương
cho các nhóm tương đương.
đương. đơn nhóm. trong thực tế.
Các đề trắc nghiệm được cho 2
Thiết kế các đề Có tính khả thi Phải cẩn thận khi thiết
nhóm thí sinh khác nhau, thiết
3 trắc nghiệm có cao và thường kế thang đo và phải xác
kế 2 đề trắc nghiệm có 1 nhóm
các câu hỏi neo. được áp dụng. định được câu hỏi neo.
câu hỏi chung.
2 đề trắc nghiệm được cho 2 Ít dùng, thời gian làm
Thiết kế 2 nhóm
nhóm thí sinh làm. Trong đó, Có thể thực trắc nghiệm dài, ảnh
4 có các thí sinh
có 1 nhóm con thí sinh có mặt hiện được hưởng đến tham số ước
chung.
ở cả 2 nhóm. lượng.
123
2. CÁC QUY TẮC VÀ THAO TÁC trị trung bình.
SO BẰNG 2 ĐỀ TRẮC NGHIỆM Bước 4: Tính toán lại các tham số để
1. Nếu không thực hiện so bằng giữa trùng khớp sau khi đã tiến hành so bằng.
các đề trắc nghiệm thì không thể xây dựng Sau khi so bằng có thể đưa 2 đề
được 1 ngân hàng đề trắc nghiệm tốt. trắc nghiệm vào ngân hàng đề trắc
2. Khi thực hiện so bằng 1 nhóm thí nghiệm.
sinh làm 2 đề trắc nghiệm hoặc 2 nhóm 3. PHẦN THỰC NGHIỆM
thí sinh làm 1 đề trắc nghiệm, chúng ta Tính toán qua dữ liệu cụ thể một quy
cần xác lập thang đo và định cỡ đối với trình so bằng kết quả tính toán từ 2 đề trắc
nhiều nhóm thí sinh làm nhiều đề trắc nghiệm nhị phân nhờ một phần mềm trắc
nghiệm, ta thường chọn so bằng bằng nghiệm VITESTA.
cách thiết kế các đề trắc nghiệm có 1 số 3.1. Mô tả dữ liệu
câu hỏi neo. Dữ liệu gồm 5 tập tin: toan1-2.dat,
3. Kiểu dùng các câu hỏi neo rất quan toan1.dat, toan2.dat, toan-2.key và file
trọng vì nó dùng để kết nối các đề trắc word thông tin về các câu hỏi bắc cầu.
nghiệm lại với nhau. Dữ liệu toan1.dat gồm 296 thí sinh
Ví dụ: Ta có 2 đề trắc nghiệm 1 và 2, làm đề thi trắc nghiệm môn toán 1, đề trắc
xây dựng 2 đề trắc nghiệm này có 1 số câu nghiệm môn toán 1 gồm 30 câu hỏi mỗi
hỏi neo. Để tiến hành so bằng ta thực hiện câu hỏi có 4 phương án trả lời.
như sau: Dữ liệu toan2.dat gồm 275 thí
Bước 1: Định cỡ đề trắc nghiệm 1 và sinh làm đề thi trắc nghiệm môn toán 2, đề
2 riêng rẽ. trắc nghiệm môn toán 1 gồm 30 câu hỏi
Bước 2: Xác định tham số của các câu mỗi câu hỏi có 4 phương án trả lời.
hỏi neo từ đó xác định các hệ số biến đổi Đề thi toán 1 và đề toán 2 có 6 câu
tuyến tính liên kết giữa chúng (theo lí hỏi neo chung là câu 3, 8, 11, 15, 18 và
thuyết IRT, các giá trị tham số này là 21.
giống nhau nhưng trên thực tế ta sẽ thấy 3.2. Thực hiện quy trình so bằng
chúng khác nhau do nhiều lí do: mô hình và các kết quả
không trùng khớp với thực tế hoặc các số Để thực hiện quy trình so bằng chúng
liệu được đo chưa cùng 1 thang đo). ta tiến hành các bước sau:
Bước 3: Kết nối các đề trắc nghiệm và Bước 1: Định cỡ và phân tích hai đề
định cỡ chung, dùng tính toán để chuyển thi toán 1 và toán 2 thông qua dữ liệu
sự khác nhau giữa các tham số về giống toan1.dat và toan2.dat thu được kết quả
nhau bằng cách tính các giá trị sau:
chung giữa chúng, thông thường dùng giá
124
Bảng 1: KẾT QUẢ ƯỚC LƯỢNG ĐỘC LẬP THAM SỐ CÂU HỎI
Mô hình 1 tham số. Tạo ra vào lúc 18/11/2009 - 04:31
Đề thi: Toán 1 Đề thi: Toán 2
|--------------------------------------| |---------------------------------------|
¦ Câu| b | MSE (*)| ¦ Câu| b | MSE (*)|
|---------+----------+----------------| |----------+------------+------ ----- -|
¦ 1¦ -0.80386¦ 0.14598¦ ¦ 1¦ -0.80314¦ 0.15322¦
¦ 2¦ -0.61153¦ 0.14029¦ ¦ 2¦ -0.35972¦ 0.13855¦
¦ 3¦ -0.96071¦ 0.15244¦ ¦ 3¦ -0.76222¦ 0.15135¦
¦ 4¦ -0.64649¦ 0.14116¦ ¦ 4¦ -1.10958¦ 0.17131¦
¦ 5¦ -0.79136¦ 0.14554¦ ¦ 5¦ -0.68317¦ 0.14805¦
¦ 6¦ -0.26756¦ 0.13537¦ ¦ 6¦ -0.80314¦ 0.15322¦
¦ 7¦ -0.47535¦ 0.13759¦ ¦ 7¦ -0.81701¦ 0.15389¦
¦ 8¦ -0.72991¦ 0.14352¦ ¦ 8¦ -0.57039¦ 0.14403¦
¦ 9¦ -0.55414¦ 0.13903¦ ¦ 9¦ 1.19561¦ 0.17668¦
¦ 10¦ -0.39799¦ 0.13651¦ ¦ 10¦ -0.17209¦ 0.13572¦
¦ 11¦ -0.82910¦ 0.14690¦ ¦ 11¦ -0.61975¦ 0.14569¦
¦ 12¦ -0.50892¦ 0.13816¦ ¦ 12¦ 0.19259¦ 0.13550¦
¦ 13¦ -0.18146¦ 0.13508¦ ¦ 13¦ -0.41667¦ 0.13978¦
¦ 14¦ -0.65824¦ 0.14146¦ ¦ 14¦ 1.00955¦ 0.16327¦
¦ 15¦ -0.81644¦ 0.14644¦ ¦ 15¦ -0.65756¦ 0.14706¦
¦ 16¦ 0.40706¦ 0.14212¦ ¦ 16¦ 0.26863¦ 0.13633¦
¦ 17¦ -0.96071¦ 0.15244¦ ¦ 17¦ -0.02165¦ 0.13479¦
¦ 18¦ -0.59997¦ 0.14002¦ ¦ 18¦ -0.84512¦ 0.15527¦
¦ 19¦ 0.56689¦ 0.14672¦ ¦ 19¦ 0.29054¦ 0.13664¦
¦ 20¦ 0.57965¦ 0.14714¦ ¦ 20¦ 0.03176¦ 0.13474¦
¦ 21¦ 0.23327¦ 0.13843¦ ¦ 21¦ 0.32361¦ 0.13714¦
¦ 22¦ -0.52017¦ 0.13837¦ ¦ 22¦ -1.14462¦ 0.17388¦
¦ 23¦ 0.17716¦ 0.13753¦ ¦ 23¦ -0.02165¦ 0.13479¦
¦ 24¦ -0.79136¦ 0.14554¦ ¦ 24¦ 0.30154¦ 0.13680¦
¦ 25¦ -0.00921¦ 0.13553¦ ¦ 25¦ 1.07389¦ 0.16754¦
¦ 26¦ -0.75429¦ 0.14429¦ ¦ 26¦ -0.91776¦ 0.15912¦
¦ 27¦ 0.41900¦ 0.14242¦ ¦ 27¦ 0.49355¦ 0.14072¦
¦ 28¦ 0.30169¦ 0.13972¦ ¦ 28¦ 0.06381¦ 0.13478¦
¦ 29¦ -0.74207¦ 0.14390¦ ¦ 29¦ -0.64488¦ 0.14659¦
¦ 30¦ -0.64649¦ 0.14116¦ ¦ 30¦ -0.43975¦ 0.14033¦
|---------------------------------------| | --------------------------------------|
Dựa vào bảng phân tích nhận thấy các hỏi neo xác định các hệ số tuyến tính liên
câu hỏi neo câu 3, 8, 11, 15, 18 và 21 của 2 kết giữa chúng với nhau, dựa vào đó tìm
đề thi trắc nghiệm có sự chênh lệch về độ một bộ tham số chung cho các câu hỏi neo.
khó. Từ đó có thể thấy tham số độ khó b Thông qua phần mềm VITESTA ta sẽ liên
của cùng một câu hỏi từ 2 đề thi trắc kết 2 đề thi và xác định các câu hỏi neo của
nghiệm là khác nhau. 2 đề. Khi đó thu được kết quả như sau:
Bước 2: Từ các tham số của các câu
125
Trước khi so bằng đề thi:
Bảng 2: CÂN BẰNG ĐỀ THI THEO PHƯƠNG PHÁP HỒI QUY
Các câu hỏi chung:
Giữa đề thi Toán 1 và đề thi Toán 2
Độ tương quan tham số khi ước lượng độc lập:
Tham số b: r=0.9201056
Trước khi cân bằng đề thi:
----------------------------------------------------------------
| Đề 1 | Đề 2 |
----------------------------------------------------------------
| Câu 3 | -0.9607065 | Câu 3 | -0.7622227 |
| Câu 8 | -0.7299129 | Câu 8 | -0.570385 |
| Câu 11 | -0.8291038 | Câu 11 | -0.6197521 |
| Câu 15 | -0.8164439 | Câu 15 | -0.6575601 |
| Câu 18 | -0.5999659 | Câu 18 | -0.8451234 |
| Câu 21 | 0.2332707 | Câu 21 | 0.3236081 |
----------------------------------------------------------------
TRUNG B NH: -0.6171437 TRUNG B NH: -0.5219058
Đ LỆCH CHU N: 0.4333358 Đ LỆCH CHU N: 0.4260145
Dựa vào bảng 2 nhận thấy có sự trên cùng 1 thang đo.
chênh lệch về độ khó giữa các câu hỏi Mặt khác, có thể thấy sự khác nhau
neo, do tính bất định trong lí thuyết IRT việc ứng đáp câu hỏi của các câu hỏi neo
sự chênh lệch này có thể là do nhiều (câu hỏi giống nhau) trong đề toán 1 và đề
nguyên nhân như mô hình không trùng toán 2 ta có thể biểu diễn các đường cong
khớp với với số liệu hoặc các giá trị ước đặc trưng của 6 câu hỏi 3, 8, 11, 15, 18 và
lượng năng lực của họ không được đo 21 như sau:
Hình 4.1: Sự đáp ứng khác biệt đối với các câu hỏi neo của đề toán 1 và toán 2
126
Dựa vào hình 4.1, chúng tôi nhận thấy để độ khó của chúng được 2 đề tương
2 đề thi mặc dù có câu hỏi neo 3, 8, 11, 15, đương nhau.
18 và 21 giống nhau, tuy nhiên hai đề thi Khảo sát riêng đồ thị hàm thông tin và
này vẫn có sự chênh lệch nhau về độ khó biểu đồ tương quan năng lực thí sinh của 2
do nhiều nguyên nhân như đã trình bày ở đề thi:
trên. Vấn đề đặt ra là phải so bằng 2 đề thi
Hình 4.2: Đường cong hàm thông tin của đề toán 1 và đề toán 2
Hàm thông tin là một công cụ quan chút của mẫu thí sinh.
trọng để đánh giá và thiết kế đề trắc Ngoài ra hình dáng của 2 hàm thông
nghiệm. Dựa vào hình 4.2, chúng tôi nhận tin của 2 đề thi gần như tương đương nhau
thấy rằng 2 đề thi được thiết kế tương đối chính tỏ độ phân biệt của đề thi này không
tốt vì 2 đề thi này có khả năng đo chính xác quá lớn.
khoảng năng lực dưới mức trung bình một
Hình 4.3: Biểu đồ tương quan năng lực của thí sinh và độ khó của đề toán 1 và đề toán 2
127
* Sau khi so bằng đề thi:
Dựa vào biểu đồ 4.3, chúng ta thấy các thí sinh khi thực hiện làm 2 đề thi. Tuy
rằng tương quan giữa năng lực thí sinh và nhiên nếu xét tương quan giữa năng lực và
độ khó câu hỏi của 2 đề thi trắc nghiệm độ khó của đề thì chúng ta có thể nhận xét
cũng có hình dáng và phân bố khá giống rằng đề thi trên tương đối dễ so với năng
nhau, vì vậy có thể so sánh năng lực của lực của thí sinh.
Bảng 3: SAU KHI HI U CH NH ĐỀ TOÁN 2 THEO ĐỀ TOÁN 1
H SỐ CHUY N Đ I:
ANFA = 1
BETA = 0.09523785
-------------------------------------------------------------------------------------------
| Đề 1 | Đề 2 | DIF | Cân bằng|
------------------------------------------------------------------------------------------
| Câu 3 | -0.9607065 | Câu 3 | -0.8574606 | -0.103246 | -0.90908|
| Câu 8 | -0.7299129 | Câu 8 | -0.6656229 | -0.06429005 | -0.69777|
| Câu 11 | -0.8291038 | Câu 11 | -0.71499 | -0.1141138 | -0.77205|
| Câu 15 | -0.8164439 | Câu 15 | -0.7527979 | -0.06364602 | -0.78462|
| Câu 18 | -0.5999659 | Câu 18 | -0.9403612 | 0.3403953 | -0.77016|
| Câu 21 | 0.2332707 | Câu 21 | 0.2283702 | 0.004900411 | 0.23082 |
----------------------------------------------------------
---
Ta nhận thấy rằng giá trị cân bằng của bảng 3 được tính là trung bình cộng của độ khó
câu hỏi neo của 2 đề trắc nghiệm.
* Độ khó các câu hỏi sau khi so bằng :
Bảng 4: KẾT QUẢ ƯỚC LƯỢNG ĐỘC LẬP THAM SỐ CÂU HỎI
Mô hình 1 tham số. Tạo ra vào lúc 18/11/2009 - 04:31
Đề thi: Toán 1 Đề thi: Toán 2
¦-----------------------------------| -----------------------------------|
Câu| b| SE (*) | ¦ Câu | b | MSE (*)|
|---------+-------------+-------------| |---------+-------------+-------------|
¦ 1¦ -0.80386¦ 0.14598¦ ¦ 1¦ -0.89838¦ 0.15322¦
¦ 2¦ -0.61153¦ 0.14029¦ ¦ 2¦ -0.45495¦ 0.13855¦
¦ 3¦ -0.90908¦ 0.15244¦ ¦ 3¦ -0.90908¦ 0.15135¦
¦ 4¦ -0.64649¦ 0.14116¦ ¦ 4¦ -1.20482¦ 0.17131¦
¦ 5¦ -0.79136¦ 0.14554¦ ¦ 5¦ -0.77841¦ 0.14805¦
¦ 6¦ -0.26756¦ 0.13537¦ ¦ 6¦ -0.89838¦ 0.15322¦
¦ 7¦ -0.47535¦ 0.13759¦ ¦ 7¦ -0.91225¦ 0.15389¦
¦ 8¦ -0.69777¦ 0.14352¦ ¦ 8¦ -0.69777¦ 0.14403¦
¦ 9¦ -0.55414¦ 0.13903¦ ¦ 9¦ 1.10037¦ 0.17668¦
¦ 10¦ -0.39799¦ 0.13651¦ ¦ 10¦ -0.26733¦ 0.13572¦
¦ 11¦ -0.77205¦ 0.14690¦ ¦ 11¦ -0.77205¦ 0.14569¦
¦ 12¦ -0.50892¦ 0.13816¦ ¦ 12¦ 0.09735¦ 0.13550¦
¦ 13¦ -0.18146¦ 0.13508¦ ¦ 13¦ -0.51191¦ 0.13978¦
¦ 14¦ -0.65824¦ 0.14146¦ ¦ 14¦ 0.91431¦ 0.16327¦
¦ 15¦ -0.78462¦ 0.14644¦ ¦ 15¦ -0.78462¦ 0.14706¦
¦ 16¦ 0.40706¦ 0.14212¦ ¦ 16¦ 0.17339¦ 0.13633¦
128
¦ 17¦ -0.96071¦ 0.15244¦ ¦ 17¦ -0.11689¦ 0.13479¦
¦ 18¦ -0.77016¦ 0.14002¦ ¦ 18¦ -0.77016¦ 0.15527¦
¦ 19¦ 0.56689¦ 0.14672¦ ¦ 19¦ 0.19530¦ 0.13664¦
¦ 20¦ 0.57965¦ 0.14714¦ ¦ 20¦ -0.06348¦ 0.13474¦
¦ 21¦ 0.23082¦ 0.13843¦ ¦ 21¦ 0.23082¦ 0.13714¦
¦ 22¦ -0.52017¦ 0.13837¦ ¦ 22¦ -1.23986¦ 0.17388¦
¦ 23¦ 0.17716¦ 0.13753¦ ¦ 23¦ -0.11689¦ 0.13479¦
¦ 24¦ -0.79136¦ 0.14554¦ ¦ 24¦ 0.20630¦ 0.13680¦
¦ 25¦ -0.00921¦ 0.13553¦ ¦ 25¦ 0.97865¦ 0.16754¦
¦ 26¦ -0.75429¦ 0.14429¦ ¦ 26¦ -1.01300¦ 0.15912¦
¦ 27¦ 0.41900¦ 0.14242¦ ¦ 27¦ 0.39831¦ 0.14072¦
¦ 28¦ 0.30169¦ 0.13972¦ ¦ 28¦ -0.03143¦ 0.13478¦
¦ 29¦ -0.74207¦ 0.14390¦ ¦ 29¦ -0.74012¦ 0.14659¦
¦ 30¦ -0.64649¦ 0.14116¦ ¦ 30¦ -0.53498¦ 0.14033¦
|---------------------------------------| ----------------------|
Bước 3: Định cỡ chung đề thi trắc thi trắc nghiệm lại thành 1 đề thi và tiến
nghiệm trên toàn bộ tổng số thí sinh hành định cỡ đề thi chung gồm 50 câu hỏi,
Sau khi so bằng, tiếp tục kết nối 2 đề sẽ thu được kết quả như sau:
Bảng 5: CÂN BẰNG THEO PHƯƠNG PHÁP ĐỊNH CỠ ĐỒNG THỜI
¦ Câu| b | MSE (*)| ¦ Câu| b | MSE (*)|
|---------+------------+--------------| |---------+------------+--------------|
¦ 1¦ -0.76624¦ 0.14594¦ 28¦ 0.33921¦ 0.13993¦
¦ 2¦ -0.57393¦ 0.14028¦ ¦ 29¦ -0.70445¦ 0.14387¦
¦ 3¦ -0.87988¦ 0.10741¦ ¦ 30¦ -0.60889¦ 0.14114¦
¦ 4¦ -0.60889¦ 0.14114¦ ¦ 31¦ -0.87711¦ 0.15328¦
¦ 5¦ -0.75374¦ 0.14550¦ ¦ 32¦ -0.43389¦ 0.13856¦
¦ 6¦ -0.23001¦ 0.13542¦ ¦ 33¦ -1.18343¦ 0.17140¦
¦ 7¦ -0.43778¦ 0.13760¦ ¦ 34¦ -0.75720¦ 0.14809¦
¦ 8¦ -0.66858¦ 0.10169¦ ¦ 35¦ -0.87711¦ 0.15328¦
¦ 9¦ -0.51655¦ 0.13903¦ ¦ 36¦ -0.89098¦ 0.15394¦
¦ 10¦ -0.36042¦ 0.13653¦ ¦ 37¦ 1.12084¦ 0.17652¦
¦ 11¦ -0.74281¦ 0.10346¦ ¦ 38¦ -0.24635¦ 0.13571¦
¦ 12¦ -0.47134¦ 0.13817¦ ¦ 39¦ 0.11816¦ 0.13546¦
¦ 13¦ -0.14391¦ 0.13514¦ ¦ 40¦ -0.49081¦ 0.13980¦
¦ 14¦ -0.62064¦ 0.14145¦ ¦ 41¦ 0.93483¦ 0.16313¦
¦ 15¦ -0.75544¦ 0.10379¦ ¦ 42¦ 0.19417¦ 0.13629¦
¦ 16¦ 0.44458¦ 0.14238¦ ¦ 43¦ -0.09598¦ 0.13477¦
¦ 17¦ -0.92306¦ 0.15238¦ ¦ 44¦ 0.21607¦ 0.13659¦
¦ 18¦ -0.73025¦ 0.10314¦ ¦ 45¦ -0.04259¦ 0.13472¦
¦ 19¦ 0.60443¦ 0.14710¦ ¦ 46¦ -1.21845¦ 0.17398¦
¦ 20¦ 0.61719¦ 0.14752¦ ¦ 47¦ -0.09598¦ 0.13477¦
¦ 21¦ 0.25986¦ 0.09747¦ ¦ 48¦ 0.22707¦ 0.13675¦
¦ 22¦ -0.48259¦ 0.13837¦ ¦ 49¦ 0.99915¦ 0.16740¦
¦ 23¦ 0.21469¦ 0.13769¦ ¦ 50¦ -0.99168¦ 0.15919¦
¦ 24¦ -0.75374¦ 0.14550¦ ¦ 51¦ 0.41900¦ 0.14065¦
¦ 25¦ 0.02832¦ 0.13564¦ ¦ 52¦ -0.01056¦ 0.13476¦
¦ 26¦ -0.71667¦ 0.14426¦ ¦ 53¦ -0.71892¦ 0.14663¦
¦ 27¦ 0.45653¦ 0.14270¦ ¦ 54¦ -0.51388¦ 0.14035¦
4.3. Nhận xét
129
Khi thực hiện so bằng 2 đề thi trắc - Thông qua ví dụ thực nghiệm ta
nghiệm chúng tôi thấy rằng các câu hỏi neo thấy rằng đối với các đề thi bất kì có thể
của hai đề thi có độ khó gần tương đương dùng nhiều phương pháp để so bằng, cụ thể
nhau, các thông số của các câu hỏi trong đề ví dụ ở trên dùng câu hỏi neo để nối kết 2
thi được điều chỉnh lại sau khi thực hiện so đề thi. Sau đó dùng công cụ so bằng để so
bằng. Từ đó có thể ghép nối 2 đề thi lại với bằng 2 đề thi có cùng một số câu hỏi. Khi
nhau và đưa vào ngân hàng câu hỏi thi. thực hiện xong phương pháp so bằng, có
KẾT LUẬN thể ghép nối 2 đề lại với nhau.
- Theo phương pháp trắc nghiệm cổ - Ngoài ra khi thực hiện xong so
điển, việc so bằng kết quả trắc nghiệm rất bằng 2 đề thi thì việc so sánh tương quan
khó thực hiện. Theo phương pháp IRT sự điểm số của thí sinh đã được hoàn toàn giải
so bằng là hết sức cần thiết. quyết.
TÀI LI U THAM KHẢO
1. GS.TS Dương Thiệu Tống (1995), Trắc nghiệm và đo lường thành quả học tập, Nxb
Khoa học Xã hội TPHCM.
2. GS.TS Dương Thiệu Tống (2007), Thống kê ứng dụng trong nghiên cứu khoa học giáo
dục, Nxb Khoa học Xã hội.
3. GS.TS Lâm Quang Thiệp, (2009) Trắc nghiệm, đo lường và đánh giá trong Giáo dục.
4. GS.TS Lâm Quang Thiệp, Đo lường trong giáo dục, lí thuyết và ứng dụng, 2011.
5. TS. Vũ Thị Phương Anh, ( Bài giảng môn Đại cương thống kê, 2008.
7. Patrick Griffin (1997). An Introduction to the Rasch Model. Assessment Research
Centre, University of Melbourne.
8. Bảng dùng thử phần mềm VITESTA (trong 30 ngày).
130