Xếp hạng Trường Đảng là một Tiên tri Thiên vị, Tự thực hiện?
Đánh giá của Princeton công bố danh sách các trường đại học “Tốt nhất trong số…” hàng năm dựa trên một cuộc khảo sát trực tuyến về sinh viên tại mỗi trường đại học. Họ mô tả quá trình khảo sát là:
Cuộc khảo sát của Princeton Review hỏi sinh viên 80 câu hỏi về học thuật / quản trị, cuộc sống trong khuôn viên trường, đội ngũ sinh viên và bản thân họ. Các bài thuyết trình cho bảng xếp hạng của ấn bản này dựa trên các cuộc khảo sát 120.000 sinh viên (khoảng 325 mỗi trường) tại 366 trường trong cuốn sách (không phải ở tất cả các trường trên toàn quốc) trong năm học 2006-07 và / hoặc hai năm học trước đó.
Tất cả đều nghe tốt và hay, cho đến khi bạn đọc bản in đẹp:
Cuộc khảo sát của chúng tôi mang tính định tính và mang tính giai thoại hơn là định lượng. Để đề phòng việc tạo ra một bản viết sai quy định cho bất kỳ trường đại học cụ thể nào, chúng tôi gửi cho người liên hệ hành chính của chúng tôi tại mỗi trường một bản sao của hồ sơ mà chúng tôi dự định xuất bản với nhiều cơ hội phản hồi bằng các chỉnh sửa, nhận xét và / hoặc hoàn toàn phản đối. Trong mọi trường hợp chúng tôi nhận được yêu cầu thay đổi, chúng tôi thực hiện các biện pháp cẩn thận để xem xét các đề xuất của trường dựa trên dữ liệu khảo sát học sinh mà chúng tôi đã thu thập và thực hiện các thay đổi thích hợp khi được bảo đảm.
Điều hấp dẫn nhất đối với chúng tôi về mức độ đại diện của kết quả khảo sát của chúng tôi là: Chúng tôi yêu cầu những sinh viên tham gia khảo sát — sau khi họ hoàn thành — xem lại thông tin chúng tôi đã xuất bản về trường của họ trong năm trước và cho điểm chúng tôi về độ chính xác của nó và hiệu lực. Năm này qua năm khác, chúng tôi đã đạt điểm cao: Năm nay, 81% học sinh cho biết chúng tôi đã đi đúng.
Vì vậy, về cơ bản, họ thừa nhận dữ liệu khảo sát của họ nhằm cung cấp một bức tranh chủ quan, tường thuật về các trường đại học - không phải là thứ mà bạn có thể rút ra những khái quát chung. Tuy nhiên, đó chính xác là những gì Đánh giá Princeton tiến hành xử lý dữ liệu của họ - rút ra những khái quát rộng rãi từ các cuộc khảo sát của họ và xếp hạng các trường đại học theo cách định lượng. Bản thân các trường cao đẳng có thể tạo ra một số ảnh hưởng bổ sung chưa biết đến việc trường của họ có xuất hiện trong bất kỳ danh sách nhất định nào hay không.Nếu quá trình xếp hạng có vẻ kém minh bạch và được che giấu một cách bí ẩn thì đó là mục đích.
Làm thế nào các nhà nghiên cứu có thể biến dữ liệu giai thoại thành dữ liệu định lượng? Về mặt khoa học, bạn không thể (ví dụ: không có quy trình dựa trên nghiên cứu nào để làm như vậy vì nó thực sự là so sánh táo hoặc cam). Khi một tổ chức như thế này làm điều gì đó thuộc bản chất này, bạn có thể lập luận rằng bất kỳ thứ hạng nào như vậy chỉ là ý kiến của những người đưa danh sách lại với nhau, dựa trên ý kiến của những người khác về những người thực sự đã theo học tại trường.
Tất cả đều ổn, ngoại trừ việc Ôn tập đặt tất cả những thứ này vào danh sách cho thấy chúng có ý nghĩa khái quát khi chúng không có. Danh sách “20 trường Đảng hàng đầu” chỉ là ý kiến của một số người dựa trên “sự kết hợp của các câu hỏi khảo sát liên quan đến việc sử dụng rượu và ma túy, số giờ học mỗi ngày và sự phổ biến của hệ thống tiếng Hy Lạp.” Họ có thể dễ dàng chọn một tập hợp các câu trả lời khác nhau để xem xét điều đó sẽ làm lệch thứ hạng của các trường một cách khác nhau.
Các trường lớn hơn với số lượng sinh viên lớn hơn khó có thể khác biệt đáng kể về quy mô của hệ thống tiếng Hy Lạp của họ (lớn), và sự đa dạng của các cơ hội xã hội và phi học tập khác mà họ cung cấp cho sinh viên (dẫn đến số giờ học mỗi ngày ít hơn) . Điều đó có làm cho một trường học như vậy có nhiều khả năng trở thành một “trường tiệc tùng” khi kết hợp với việc xem xét xem học sinh nói họ uống bao nhiêu không? Dĩ nhiên là không. Nó có thể chỉ có nghĩa là trường học là một nơi tuyệt vời để học tập và giao lưu.
Một áp phích được giới thiệu tại APS vào cuối tuần vừa qua, có tựa đề “Lời tiên tri về bản thân và Đánh giá của Princeton: mô tả hoặc đơn thuốc cho việc uống rượu ở trường đại học?” đưa đề xuất vào đầu tôi rằng các biện pháp như Đánh giá Princeton có một số giá trị đáng nghi vấn. Các nhà nghiên cứu đã xem xét dữ liệu sử dụng rượu thực tế trong hơn một thập kỷ cho một trường đại học quy mô trung bình duy nhất ở phía tây New York và so sánh nó với các bảng xếp hạng liên quan khác nhau trong Đánh giá Princeton. Họ tìm thấy thứ hạng trong Đánh giá Princeton không có mối tương quan hệ thống với bất kỳ dữ liệu sử dụng rượu nào mà họ đã kiểm tra. Những gì họ đã tìm thấy là dữ liệu tiêu thụ rượu tương quan với bảng xếp hạng được công bố sau khi chúng được xuất bản - cho thấy một lời tiên tri tự ứng nghiệm.
Các nhà nghiên cứu lưu ý rằng vì nghiên cứu của họ chỉ được thực hiện tại một trường đại học, nghiên cứu sẽ cần được nhân rộng ở các trường cao đẳng và đại học khác trước khi người ta có thể khái quát hóa từ những phát hiện. Nhưng dù sao thì những phát hiện cũng rất thú vị.
Tài liệu tham khảo:
Clark, C.D. et. al. (2008). Lời tiên tri tự hoàn thành và Princeton Review: mô tả hoặc đơn thuốc cho việc uống rượu ở trường đại học? Áp phích được trình bày tại hội nghị thường niên lần thứ 20 của Hiệp hội Khoa học Tâm lý, Chicago IL, ngày 24 tháng 5.
