Nghiên cứu một số đặc điểm câu hỏi trắc nghiệm nhiều lựa chọn bằng lý thuyết đáp ứng câu hỏi

Đặt vấn đề: Lý thuyết trắc nghiệm hiện đại (lý thuyết đáp ứng câu hỏi của Rasch) hiện nay được áp dụng rộng rãi để đánh giá mối tương quan giữa năng lực của thí sinh với độ khó của từng câu hỏi. Đây là một công cụ mới trong đo lường, đánh giá kết quả học tập bằng hình thức trắc nghiệm khách quan.
Mục tiêu nghiên cứu: 1. Xác định hình thức, điểm số bài thi trắc nghiệm. 2. Phân tích tương tác giữa câu hỏi với mô hình lý thuyết đáp ứng câu hỏi. 3. Phân tích sự hoà hợp giữa thí sinh với mô hình.
Đối tượng – Phương pháp nghiên cứu: 402 bài thi trắc nghiệm của sinh viên Y Hà Nội năm thứ 2. Sử dụng phần mềm QUEST dựa trên mô hình Rasch để phân tích những tham số đặc trưng câu hỏi – thí sinh và sự hòa hợp của thí sinh với mô hình trong từng đề thi.
Kết quả-bàn luận: Đa số các câu hỏi MCQ đều phù hợp với mô hình Rasch, một số câu hỏi ở đề số 1 (câu 22, 25, 30, 31 và 44) không phù hợp với mô hình. Độ phân biệt của các câu hỏi dao động từ thấp đến cao, đa số câu hỏi có độ phân biệt cao (28 câu đề 1, 31 câu đề 2), cả 2 đề có những câu có độ phân biệt thấp (12 câu đề 1, 12 câu đề 2), đặc biệt 4 câu (câu 31, 44 đề 1, câu 42, 47 đề 2) có độ phân biệt âm. Các phương án gây nhiễu tốt tuy nhiên có một số phương án gây nhiễu không có khả năng gây nhiễu (từ câu 1 đến câu 15 của cả 2 đề). Đa số năng lực thí sinh đều phù hợp với độ khó câu hỏi (làm đúng những câu dễ hơn, làm sai những câu khó hơn). Một số thí sinh có đặc điểm bất thường (làm sai câu dễ hơn và/hoặc làm đúng câu khó hơn). Các kết quả này sẽ là cơ sở giúp cho việc xem xét, chỉnh sửa, chuẩn hóa ngân hàng câu hỏi ngày một tốt hơn. Tìm hiểu mối tương quan cụ thể của từng thí sinh – từng câu hỏi sẽ giúp cho việc đánh giá công bằng và chính xác.
Kết luận: Mô hình Rasch hoàn toàn thích hợp để phân tích tương tác giữa câu hỏi với mô hình và sự hoà hợp của thí sinh với mô hình.
I. ĐẶT VẤN ĐỀ
Trắc nghiệm khách quan (TNKQ) là một công cụ quan trọng giúp đánh giá chính xác, toàn diện, khách quan kết quả học tập và trình độ của sinh viên, học sinh. Ở Việt Nam, việc áp dụng TNKQ vào    thực    tiễn    hoạt    động    đánh giá còn diễn ra    rất    chậm    và chưa    đi vào    thường
quy. Trong đào tạo chuyên ngành Y, mỗi sinh viên Y cũng phải trải qua nhiều hình thức lượng giá như: Quan sát, vấn đáp, tự luận, thi trắc nghiệm (TN)… Loại hình thi bằng các câu hỏi trắc nghiệm cũng được khuyến khích sử dụng nhưng chưa phổ cập. Làm thế nào có được những ngân hàng câu hỏi (NHCH) đảm bảo tính tin cậy và tính giá trị cho đánh giá kết quả học tập của sinh viên một cách công bằng, khách quan? Lý thuyết trắc nghiệm hiện đại (lý thuyết đáp ứng câu hỏi của Rasch), cùng với sự hỗ trợ của công nghệ thông tin đã giúp cho việc phân tích, xử lý số liệu trở lên dễ dàng [3]. Ưu điểm của lý thuyết đáp ứng câu hỏi là không phụ thuộc vào mẫu, chỉ phụ thuộc vào khả năng đo lường đã thực sự hứa hẹn là một công cụ mới cho việc xây dựng NHCH, phân tích các kết quả TNKQ để chỉnh NHCH, chủ động thiết kế các đề TN theo mục tiêu mong muốn. Các nhà khoa học cũng đã có nhìn nhận, đánh giá ban đầu về những lợi ích của mô hình này [4]. Cho đến nay, Việt Nam đã có một số nghiên cứu về mô hình này [2],[5]. Với mong muốn ứng dụng mô hình Rasch để đánh giá bộ câu hỏi trắc nghiệm đối với sinh viên Y2 tại Đại học Y Hà Nội, chúng tôi tiến hành đề tài nhằm mục tiêu:
1.    Xác định hình thức, điểm số bài thi trắc nghiệm.
2.    Phân tích tương tác giữa câu hỏi với mô hình lý thuyết đáp ứng câu hỏi.
3.    Phân tích sự hoà hợp giữa thí sinh với mô hình.
2.    ĐỐI TƯợNG VÀ PHƯƠNG PHÁP NGHIÊN CứU
2.1.    Đối tượng
402 bài thi trắc nghiệm kết thúc học phần lý thuyết của sinh viên Y năm thứ 2 được làm theo 2 đề, 48 câu đề chẵn và 48 câu đề lẻ.
2.2.    Phương pháp nghiên cứu
2.2.1.     Thu thập số liệu: Kết quả bài làm của 402 sinh viên Y2 được nhập bằng chương trình SPSS13.0. Kết quả trả lời đúng được 1 điểm, trả lời sai được 0 điểm.
2.2.2.    Xử lý số liệu: Tất cả các kết quả bài làm thí sinh sau khi được nhập liệu bằng chương trình SPSS 13.0 sẽ được chuyển sang phần mềm QUEST của ACER (Úc) để phân tích theo mô hình Rasch. Nhập các đáp án, phần mềm Quest sẽ cho ra các số liệu về: Điểm bài TN theo đáp án đã cho; Độ tin cậy của bài TN; Khả năng của thí sinh; Phân tích các câu TN: độ khó (Percent (%)), độ phân biệt (Pt-biserial), độ tin cậy thống kê của độ phân biệt (P-value).v.v. của các câu trả lời đúng và câu mồi; phân tích sự hoà hợp của các câu TN và khả năng thí sinh. 2.3.Các thông số nghiên cứu
2.3.1.    Hình thức chung – Điểm thô của bài trắc nghiệm
2.3.2.    Phân tích tương tác giữa câu hỏi với mô hình Rasch
–    Sự hòa hợp của câu hỏi với mô hình
–    Sự phân bố độ khó câu hỏi và khả năng của thí sinh
–    Độ khó, độ phân biệt, tính tin cậy thống kê của từng câu hỏi
2.3.3.    Phân tích sự hòa hợp thí sinh – mô hình
–    Sự hòa hợp thí sinh – mô hình ở các đề thi
–    Những đặc điểm bất thường về tương tác thí sinh – câu hỏi