Thiếu Khả năng Tái tạo trong Nghiên cứu Tâm lý có nghĩa là gì?
Trong một thế giới lý tưởng, người ta có thể nghĩ rằng một cái gì đó theo thứ tự 75 hoặc thậm chí 80 phần trăm các nghiên cứu nên tạo ra kết quả tương tự, phải không? Bởi vì các nghiên cứu mới chỉ đơn giản là tiến hành lại trên một nhóm dân số khác bởi các nhà nghiên cứu đã cẩn thận tuân theo phương pháp của các nhà nghiên cứu ban đầu. Trong hầu hết các trường hợp, các nhà nghiên cứu cũng có liên hệ và hợp tác trực tiếp từ các nhà nghiên cứu ban đầu.
Nhưng trong một phát hiện đã xoay chuyển hàng chục cách khác nhau kể từ khi được xuất bản trong tuần trước Khoa học tạp chí, Dự án không đi đến đâu gần 75%. Chỉ có 36 phần trăm các lần lặp lại tạo ra kết quả đáng kể - so với 97 phần trăm của 100 nghiên cứu ban đầu.
Điều này có ý nghĩa gì đối với tâm lý học?
Mặc dù một số người cố gắng cho rằng phát hiện này không bất ngờ hoặc “không tệ như nó có thể xảy ra”, nhưng điều này không mang lại điềm báo tốt cho khoa học tâm lý. Mỗi tháng, hàng trăm nghiên cứu tâm lý học mới được xuất bản. Tóm lại, phát hiện này có nghĩa là hầu hết các phát hiện của nghiên cứu đó không đáng tin cậy. Trên thực tế, chúng là sai.
Từ Đại Tây Dương phủ sóng:
John Ioannidis từ Đại học Stanford, người có bài báo lý thuyết kinh điển cho biết: “Tỷ lệ thành công thấp hơn tôi nghĩ. Tại sao Hầu hết các Kết quả Nghiên cứu được Công bố là Sai đã là một cột thu lôi cho chuyển động tái tạo.
“Tôi cảm thấy tồi tệ khi thấy một số dự đoán của mình đã được xác thực. Tôi ước họ đã được chứng minh là sai. "
Một phát hiện tồi tệ khác từ nghiên cứu mới là kích thước hiệu ứng đo được thường nhỏ hơn 50% so với những gì các nhà nghiên cứu ban đầu tìm thấy. Điều đó có nghĩa là ngay cả khi các kết quả được tái tạo bởi các nhà nghiên cứu mới, tác động của các biến đang được nghiên cứu gần như không quan trọng như suy nghĩ ban đầu.
Lý do tái tạo kém trong nghiên cứu tâm lý học
Có hàng tá lý do khác nhau dẫn đến sự kém cỏi này theo nghiên cứu tâm lý. Nhưng trước khi chúng tôi xem xét một số trong số chúng, đây là một gáo nước lạnh về thực tế khi lấy kết quả từ một nghiên cứu duy nhất và khái quát hóa từ chúng. Hoặc thậm chí tệ hơn, tin một điều gì đó là đúng khi nó vẫn chưa được chứng minh là đúng bởi hơn một nghiên cứu.
Nếu một nghiên cứu không bị mù đôi - như hầu hết các nghiên cứu này không - thì thành kiến của chính các nhà nghiên cứu có thể ảnh hưởng một cách tinh vi đến cách dữ liệu được thu thập hoặc phân tích. Nếu một nhà nghiên cứu chỉ dành 8 hoặc 18 tháng để thu thập dữ liệu mà không tìm thấy kết quả đáng kể nào, họ có thể thực hiện chuyến thám hiểm đánh bắt dữ liệu để tìm một số mối quan hệ dữ liệu khác mà họ có thể xuất bản.1 Các nhà nghiên cứu sau đó thay đổi giả thuyết ban đầu của họ để phù hợp với dữ liệu thực tế tìm thấy (vì hầu hết các nhà nghiên cứu vẫn không đăng ký trước nghiên cứu của họ với dịch vụ theo dõi - mặc dù điều đó đang dần thay đổi).
Những người khác cho rằng có lẽ “sự ngạc nhiên” là một cách giải thích khác - rằng các tạp chí ngày nay tập trung vào việc công bố những phát hiện đáng ngạc nhiên, vì chúng phổ biến và thú vị hơn đối với độc giả. Khi bạn thêm khả năng hồi quy về giá trị trung bình - các biến đó có thể cực đoan nhất khi được đo lần đầu, nhưng ít cực đoan hơn khi được đo lần thứ hai hoặc thứ ba - gợi ý là hai yếu tố này kết hợp với nhau để khuyến khích việc xuất bản các nghiên cứu về bản chất là khó để tái sản xuất.
Nó có ý nghĩa gì đối với khoa học tâm lý?
Bản chất con người là phức tạp vô hạn. Khoa học tâm lý cố gắng giải cấu trúc hành vi và cảm xúc của con người thành những phần nhỏ để hiểu rõ hơn về tổng thể. Tuy nhiên, nếu nghiên cứu không thể tái tạo khoa học đằng sau các nghiên cứu, thì điều đó cho thấy rằng phần lớn những gì lĩnh vực này xuất bản hàng năm cũng không thể đáng tin cậy.
Tuy nhiên, chúng tôi cũng không biết số liệu thống kê về khả năng tái tạo của hầu hết các ngành khoa học, vì không có gì giống như Dự án tái lập đã từng được thử nghiệm trước đây trong các lĩnh vực khác. Đó có thể là một lỗ hổng mà hầu hết các ngành khoa học đều mắc phải, hoặc nó có thể là một lỗ hổng ảnh hưởng đến khoa học xã hội nhiều hơn các ngành khoa học khác.
Nhưng trong ngắn hạn, điều này nhấn mạnh điều tôi luôn nói - một phát hiện khoa học tâm lý không phải là thứ bạn có thể ngả mũ cho đến khi nó được một nhà nghiên cứu khác sao chép lại. Các phát hiện có thể được tái tạo được cho là “mạnh mẽ” và do đó đáng tin cậy.
Tìm kiếm loại thông tin này khi đánh giá hoặc đọc các bài báo dựa trên một nghiên cứu mới. Mặc dù không hấp dẫn như những phát hiện mới, "đáng ngạc nhiên", nhưng nghiên cứu xác minh hoặc đặt câu hỏi về những gì chúng ta đã nghĩ rằng chúng ta biết cũng quan trọng không kém.
Để biết thêm thông tin…
The Atlantic: Các nghiên cứu tâm lý học đáng tin cậy đến mức nào?
The Guardian: Nghiên cứu đưa ra kết luận ảm đạm về tính hợp lệ của kết quả thí nghiệm tâm lý học
Mindhacks: Đừng gọi đó là sự trở lại
Tài liệu tham khảo
Hợp tác Khoa học Mở. (2015). Ước tính khả năng tái sản xuất của khoa học tâm lý. Khoa học, 28.
Dự án tái tạo: Tâm lý học - dữ liệu thô
Chú thích:
- Nếu không, tất cả thời gian, tiền bạc và công sức đó đã bị lãng phí, bởi vì rất ít nhà nghiên cứu có thể hoặc muốn công bố kết quả vô hiệu. [↩]
- Và nó thực sự đưa ra những khái quát rộng rãi của các tác giả câu hỏi về khả năng áp dụng những phát hiện của họ, được tìm thấy trong hầu hết các phần Thảo luận của các nghiên cứu tâm lý học gần đây. [↩]
