Hãy để Dữ liệu Nói? Không, không phải luôn luôn

Frank L. Schmidt, một giáo sư và nhà nghiên cứu đáng kính tại Đại học Iowa, đã có buổi nói chuyện tại hội nghị lần thứ 20 của Hiệp hội Khoa học Tâm lý vào thứ Bảy về cách dữ liệu khoa học có thể nói dối. Đúng vậy, đúng vậy, dữ liệu thực nghiệm - thậm chí được xuất bản trên các tạp chí có uy tín, được bình duyệt - thường không nói lên sự thật.

Buổi nói chuyện của Schmidt đã được đông đảo khán giả tham dự tại một trong những phòng khiêu vũ lớn nhất tại Sheraton Hotel and Towers ở Chicago, nơi đại hội đang được tổ chức. Mặc dù trình bày không đồng đều, nhưng những điểm chính của Schmidt đã thể hiện được.

Một trong số đó là cách giải thích ngây thơ của nhiều bộ dữ liệu thường có khả năng đúng nhất - Occam’s razor (“giải pháp đơn giản nhất thường là câu trả lời tốt nhất”). Schmidt tuyên bố rằng nghiên cứu tốt tìm thấy cấu trúc đơn giản nằm bên dưới dữ liệu phức tạp.

$config[ads_text1] not found

Ông tóm tắt rằng có hai lý do chính khiến dữ liệu có thể “nằm” trong nghiên cứu - lỗi lấy mẫu và lỗi đo lường.

Lời chỉ trích lớn nhất của Schmidt nhắm vào sự tôn sùng khoa học tâm lý với thử nghiệm ý nghĩa - ví dụ: ý nghĩa thống kê. Ông mong muốn rằng tâm lý học sẽ rời xa khỏi sự phụ thuộc và say mê với ý nghĩa thống kê, bởi vì nó là một biện pháp yếu, thiên lệch về cơ bản nói rất ít về dữ liệu hoặc giả thuyết cơ bản.

Schmidt đã mô tả sáu huyền thoại về thử nghiệm ý nghĩa xung quanh. Có một lầm tưởng rằng giá trị p tốt là một chỉ báo về mức độ quan trọng, khi nó thực sự chỉ là một dấu hiệu cho thấy mức năng lượng của một nghiên cứu. Một vấn đề khác là nếu không tìm thấy ý nghĩa thì có nghĩa là không tìm thấy mối quan hệ nào giữa các biến (sự thật, nó có thể có nghĩa đơn giản là nghiên cứu thiếu đủ sức mạnh).

Các giải pháp của Schmidt rất đơn giản - thay vào đó, kích thước hiệu ứng báo cáo (ước tính điểm) và khoảng tin cậy, đồng thời không nhấn mạnh hoàn toàn vào kiểm tra ý nghĩa.

Anh ấy đã kết thúc việc ca ngợi sự nhấn mạnh mới được tìm thấy vào các phân tích tổng hợp trong nghiên cứu tâm lý, đặc biệt gọi tên tạp chí Bản tin tâm lý. Trong một nghiên cứu chưa được xuất bản, ông và các nhà nghiên cứu khác đã kiểm tra tất cả các phân tích tổng hợp được xuất bản trong Bản tin tâm lý từ 1978-2006 - tổng cộng 199 nghiên cứu.

$config[ads_text2] not found

Các nhà nghiên cứu phát hiện ra rằng 65% các nghiên cứu được kiểm tra đã sử dụng mô hình “hiệu ứng cố định” để phân tích tổng hợp của họ. Schmidt tuyên bố rằng trong các mô hình hiệu ứng cố định, các mối quan hệ dữ liệu bị đánh giá thấp hơn (tới 50%) và các nhà nghiên cứu đang ước tính quá mức độ chính xác của chúng (có bao nhiêu sai sót trong ước tính đó). Thay vào đó, Schmidt thích các mô hình "hiệu ứng ngẫu nhiên" giải thích tốt hơn cho các biến thể này.

Ông cũng lưu ý rằng trong 90% các nghiên cứu được kiểm tra, không có điều chỉnh nào được thực hiện đối với sai số đo lường - một trong những lý do chính mà ông viện dẫn rằng dữ liệu có thể "nói dối" trong nghiên cứu tâm lý.

Đưa ra phân tích này, Schmidt gợi ý rằng rất nhiều phân tích tổng hợp được xuất bản trên các tạp chí được bình duyệt đưa ra kết luận không chính xác hoặc sai sót.

Đáng buồn thay, tình trạng này khó có thể sớm thay đổi. Trong khi nhiều tạp chí tâm lý đã áp dụng các tiêu chuẩn khắt khe hơn để xuất bản nghiên cứu tuân thủ tốt hơn các đề xuất của Schmidt, nhiều tạp chí vẫn không và dường như không có ý định thay đổi.

Điều này có nghĩa là với một người bình thường là bạn không thể tin tưởng mọi nghiên cứu được xuất bản chỉ vì nó xuất hiện trên một tạp chí được bình duyệt, sau đó được công bố rộng rãi trên các phương tiện truyền thông dưới dạng “sự thật” thông qua một thông cáo báo chí. Những sự thật như vậy là dễ uốn nắn, thay đổi và bị lỗi. Chỉ thông qua việc đọc và phân tích cẩn thận các nghiên cứu đó, chúng ta mới có thể hiểu được giá trị của dữ liệu mà chúng trình bày.

$config[ads_text3] not found