Giáo sư! Rốt cuộc, không có ‘cuộc khủng hoảng về khả năng tái tạo’ trong khoa học tâm lý
Nhưng bài báo đột phá được xuất bản vào tháng 8 năm 2015 bởi 44 nhà nghiên cứu, “Ước tính khả năng tái tạo của khoa học tâm lý” (Nosek và cộng sự, 2015) dường như có một số sai sót đáng kể. Một bài báo mới cho thấy thực sự không có "khủng hoảng khả năng tái tạo" trong tâm lý học.
Bốn nhà nghiên cứu từ Đại học Harvard và Đại học Virginia (Gilbert và cộng sự, 2016) đã công bố phát hiện của họ trong Khoa học (trang web sao chép tâm lý của họ lưu trữ tất cả dữ liệu và tài liệu). Họ tin rằng họ đã tìm thấy ba sai sót thống kê chính trong nghiên cứu ban đầu khiến họ đặt câu hỏi nghiêm trọng về kết quả nghiên cứu. Các nhà nghiên cứu mới tuyên bố, "Thật vậy, bằng chứng phù hợp với kết luận ngược lại - rằng khả năng tái tạo của khoa học tâm lý là khá cao và trên thực tế, không thể phân biệt được về mặt thống kê với 100%."
Giáo sư.
Nghiên cứu ban đầu (Nosek và cộng sự, 2015) đã cố gắng tái tạo những phát hiện từ 100 thí nghiệm được báo cáo trong các bài báo xuất bản năm 2008 trên ba tạp chí tâm lý học xếp hạng cao. Lời chỉ trích đầu tiên của nghiên cứu là đây không phải là một lựa chọn ngẫu nhiên của các nghiên cứu tâm lý học. Thay vào đó, nhóm Nosek chỉ giới hạn lựa chọn các nghiên cứu của mình trong ba tạp chí đại diện cho hai lĩnh vực tâm lý học, bỏ qua các lĩnh vực chính như tâm lý học phát triển và lâm sàng. Sau đó Nosek et al. đã sử dụng một tập hợp các quy tắc và tiêu chí tùy ý phức tạp đã thực sự loại bỏ hơn 77% các nghiên cứu từ ba tạp chí mà họ đã kiểm tra.
Nghiên cứu bắt đầu với một mẫu thiên vị nhất định sẽ có vấn đề. Bằng cách không bắt đầu với một mẫu ngẫu nhiên, các nhà nghiên cứu đã giúp tạo tiền đề cho những phát hiện đáng thất vọng của họ.
Hãy (Đáng kể) Thay đổi các nghiên cứu mà chúng tôi tái tạo
Thậm chí tệ hơn việc bắt đầu với một mẫu thiên vị, không ngẫu nhiên là cách các nhà nghiên cứu thực sự tiến hành các bản sao. Đầu tiên, các nhà nghiên cứu mời “các nhóm cụ thể tái tạo các nghiên cứu cụ thể hoặc họ cho phép các nhóm chọn các nghiên cứu mà họ muốn nhân rộng”. Thay vì chỉ định ngẫu nhiên các nhà nghiên cứu vào các nghiên cứu cần được nhân rộng, họ để các nhà nghiên cứu lựa chọn - đưa vào các thành kiến của mỗi nhà nghiên cứu, để chọn ra các nghiên cứu mà họ cho rằng ít có khả năng được nhân rộng nhất.
Các nghiên cứu mới đôi khi khác biệt đáng kể so với các nghiên cứu cũ mà họ đang cố gắng tái tạo. Dưới đây chỉ là một (trong số ít nhất một tá) ví dụ về cách nghiên cứu lặp lại đã đưa ra các biến chứng đáng kể:
Trong một nghiên cứu khác, các sinh viên White tại Đại học Stanford đã xem một đoạn video của bốn sinh viên Stanford khác thảo luận về các chính sách tuyển sinh tại trường đại học của họ (Crosby, Monin, & Richardson, 2008). Ba trong số những người thảo luận là Da trắng và một là Da đen. Trong cuộc thảo luận, một trong những sinh viên Da trắng đã đưa ra những nhận xét xúc phạm về hành động khẳng định và các nhà nghiên cứu phát hiện ra rằng những người quan sát nhìn sinh viên Da đen lâu hơn đáng kể khi họ tin rằng anh ta có thể nghe nhận xét của những người khác so với khi anh ta không thể. Mặc dù những người tham gia nghiên cứu nhân rộng là sinh viên tại Đại học Amsterdam, họ đã xem cùng một video về các sinh viên Stanford nói chuyện (bằng tiếng Anh!) Về các chính sách tuyển sinh của Stanford.
Liệu các sinh viên tại một trường đại học ở Amsterdam có thực sự hiểu được hành động khẳng định ở Mỹ là gì, trước sự khác biệt đáng kể về văn hóa giữa xã hội Mỹ và Amsterdam? Thật đáng kinh ngạc, các nhà nghiên cứu đã tiến hành sao chép cho biết các nghiên cứu "gần như giống hệt nhau" (và tự nhiên, họ có thành kiến khi nói như vậy, vì nó là của chúng học). Tuy nhiên, các nhà nghiên cứu ban đầu, nhận ra sự khác biệt đáng kể về văn hóa trong hai quần thể, đã không tán thành nghiên cứu nhân rộng mới.
Gilbert và các đồng nghiệp của ông đã tìm ra loại vấn đề này trong không chỉ một, mà nhiều nghiên cứu nhân rộng. Có vẻ kỳ lạ rằng Nosek et al. có cảm giác như những loại mâu thuẫn này sẽ không ảnh hưởng đến chất lượng của nghiên cứu (hoặc “độ trung thực”, như các nhà nghiên cứu gọi nó). Tuy nhiên, rõ ràng đây là những khác biệt đáng kể về chất chắc chắn sẽ ảnh hưởng đến khả năng nhân rộng của nghiên cứu.
Chúng ta cần thêm sức mạnh!
Nosek và các đồng nghiệp đã đưa ra một số tranh luận về sự lựa chọn trong thiết kế, mà Gilbert et al. bắn hạ từng người một trong thư trả lời của họ. Kết luận của Gilbert và cộng sự?
Tóm lại, không có lập luận nào được đưa ra [bởi các nhà nghiên cứu sao chép] phản đối thực tế là các tác giả của [nghiên cứu mới] đã sử dụng một thiết kế công suất thấp và điều đó (như các phân tích của chúng tôi về dữ liệu ML2014 chứng minh) điều này có thể dẫn đến tổng đánh giá thấp tỷ lệ sao chép thực sự trong dữ liệu của họ.
Các nhà nghiên cứu tâm lý học khác đã thực hiện một thí nghiệm sao chép tương tự vào năm 2014 (Klein và cộng sự, 2014). Sử dụng một thiết kế có công suất cao, họ nhận thấy rằng hầu hết các nghiên cứu tâm lý học mà họ đã kiểm tra đã lặp lại - 11 trong số 13 thí nghiệm được chạy lại. Để kiểm tra tác động của thiết kế công suất thấp hơn của Nosek và cộng sự, Gilbert và cộng sự. ước tính tỷ lệ sao chép của nghiên cứu năm 2014 sẽ giảm từ 85% xuống 34%. Một sự khác biệt đáng kể và đáng chú ý.
Vậy chúng ta thực sự biết gì về khả năng tái tạo của Khoa học tâm lý?
Nhiều hơn chúng tôi nghĩ. Với lời phê bình của Gilbert và cộng sự và phản ứng của các nhà nghiên cứu ban đầu, có vẻ như Nosek và cộng sự. nghiên cứu đã được phê bình thiếu sót.
Có vẻ như khoa học tâm lý dễ tái tạo hơn chúng ta tưởng - một tin tốt cho cả khoa học và tâm lý học.
Người giới thiệu
Gilbert, D., King, G., Pettigrew, S. & Wilson, T. (2016). Bình luận về ‘Ước tính khả năng tái sản xuất của khoa học tâm lý’. Khoa học, 351, 1037a-1037b.
Gilbert và cộng sự. (2016). Phản hồi cho câu trả lời cho nhận xét kỹ thuật của chúng tôi về "Ước tính khả năng tái tạo của khoa học tâm lý".
Klein, RA, Ratliff, M Vianello, RB Adams Jr, Š Bahník, MJ Bernstein, et al. (2014). Điều tra sự thay đổi về khả năng tái tạo: Dự án nhân rộng “Nhiều phòng thí nghiệm”. Tâm lý xã hội, 45, 142-152
Nosek và cộng sự. & Hợp tác Khoa học Mở. (2015). Ước tính khả năng tái sản xuất của khoa học tâm lý. Khoa học, 349. DOI: 10.1126 / science.aac4716
Nosek và cộng sự. (2016). Phản hồi nhận xét về ‘Ước tính khả năng tái tạo của khoa học tâm lý’. Khoa học, 351, 1037. DOI: 10.1126 / science.aad9163
