Khoa học đã chết? Trong một từ: Không
Nhưng điều mà Lehrer không lưu ý là hầu hết các nhà nghiên cứu đã biết về những sai sót mà ông mô tả, và chăm chỉ làm việc để giảm thiểu tác động của những vấn đề đó.
Phương pháp khoa học không bị phá vỡ. Những gì Lehrer đang mô tả chỉ đơn giản là khoa học trong công việc - và làm việc.
Phản hồi tốt nhất cho bài luận này đến từ nhà văn PZ Myers của ScienceBlogs, Science is not dead. Trong lời bác bỏ này, Myers chỉ ra những vấn đề cơ bản của khoa học khi nó không thể tái tạo những phát hiện trước đó:
- Hồi quy về giá trị trung bình: Khi số lượng điểm dữ liệu tăng lên, chúng tôi hy vọng các giá trị trung bình sẽ hồi quy về giá trị trung bình thực sự… và vì thường công việc ban đầu được thực hiện trên cơ sở hứa hẹn kết quả ban đầu, chúng tôi hy vọng sẽ có nhiều dữ liệu hơn để ngẫu nhiên kết quả sớm đáng kể.
- Hiệu ứng ngăn kéo tệp: Các kết quả không đáng kể sẽ khó xuất bản và cuối cùng sẽ được cất giữ trong tủ. Tuy nhiên, kết quả là được thiết lập, các kết quả trái ngược trở nên thú vị hơn và có thể xuất bản.
- Thành kiến của điều tra viên: Rất khó để duy trì sự phân tán khoa học. Tất cả chúng ta đều muốn thấy các giả thuyết của mình được xác thực, vì vậy, chúng ta có xu hướng lựa chọn một cách có ý thức hoặc vô thức các kết quả có lợi cho quan điểm của mình.
- Thiên vị thương mại: Các công ty dược phẩm muốn kiếm tiền. Họ có thể kiếm tiền từ giả dược nếu có một số hỗ trợ thống kê cho nó; chắc chắn có xu hướng khai thác các ngoại lệ thống kê để thu lợi nhuận.
- Phương sai dân số: Thành công trong một nhóm nhỏ dân số được xác định rõ có thể dẫn đến một chút kinh ngạc: nếu thuốc giúp nhóm này có các triệu chứng được xác định rõ, có thể chúng ta nên thử trên nhóm khác có các triệu chứng ngoài lề. Và nó không ... nhưng những con số đó vẫn sẽ được sử dụng để ước tính hiệu quả tổng thể của nó.
- Cơ hội đơn giản: Đây là một cơ hội khó để tiếp cận với mọi người, tôi đã tìm thấy. Nhưng nếu điều gì đó có ý nghĩa ở mức p = 0,05, điều đó vẫn có nghĩa là 1 trong 20 thí nghiệm với một loại thuốc hoàn toàn vô dụng sẽ vẫn có tác dụng đáng kể.
- Câu cá thống kê: Tôi ghét cái này, và lúc nào tôi cũng thấy nó. Thí nghiệm đã lên kế hoạch không tiết lộ kết quả đáng kể nào, vì vậy dữ liệu được nghiên cứu và mọi mối tương quan quan trọng đều được thu thập và công bố như thể nó đã được dự kiến. Xem phần giải thích trước. Nếu tập dữ liệu đủ phức tạp, bạn sẽ luôn tìm thấy mối tương quan ở đâu đó, hoàn toàn là do tình cờ.
Số 1 giải thích rất nhiều vấn đề mà chúng ta tìm thấy trong khoa học ngày nay, đặc biệt là khoa học tâm lý. Bạn biết hầu hết những thử nghiệm mà bạn đã đọc trong Khoa học Tâm lý, ấn phẩm hàng đầu của Hiệp hội Khoa học Tâm lý? Họ thật tào lao. Chúng là N = 20 thí nghiệm được thực hiện trên các mẫu nhỏ, đồng nhất của hầu hết là sinh viên đại học người da trắng tại các trường đại học miền trung tây. Hầu hết chúng không bao giờ được sao chép, và một số ít vẫn được sao chép trên các cỡ mẫu có khả năng chứng minh rằng các kết quả ban đầu không hơn gì một kết quả thống kê.
Các nhà nghiên cứu đã biết điều này, nhưng sống theo một quy tắc rất khác với bạn hoặc tôi. Sinh kế của họ phụ thuộc vào việc họ tiếp tục thực hiện các nghiên cứu tốt, có thể xuất bản. Nếu họ ngừng thực hiện nghiên cứu này (hoặc không thể đăng nó trên một tạp chí được bình duyệt), họ có nguy cơ mất việc làm cao hơn. Nó được gọi là “xuất bản hoặc hủy diệt” trong học thuật và đó là động lực rất thực tế để xuất bản bất kỳ nghiên cứu nào, ngay cả khi bạn biết kết quả có khả năng không thể lặp lại. Xem Số 3 ở trên.
Cuối cùng, tôi nhìn thấy quá nhiều Số 7 trong các nghiên cứu mà tôi xem xét, điều đó gần như đáng xấu hổ. Phương pháp khoa học chỉ hoạt động hiệu quả và đáng tin cậy khi bạn hình thành giả thuyết trước, điều hành các đối tượng để thu thập dữ liệu của bạn và sau đó phân tích dữ liệu đó theo giả thuyết mà bạn đã bắt đầu. Nếu bạn quyết định bắt đầu thay đổi giả thuyết để phù hợp với dữ liệu hoặc chạy các thử nghiệm thống kê mà bạn chưa tính đến, bạn đang làm hỏng kết quả của mình. Bạn bắt đầu chuyến thám hiểm câu cá mà mọi nhà nghiên cứu đã thực hiện. Nhưng chỉ vì mọi người đều đã làm, điều đó có nghĩa đó là một hành vi tốt hoặc có đạo đức để tham gia.
Vấn đề là nghiên cứu tốn thời gian và thường tốn kém. Nếu bạn chỉ chạy 100 đối tượng thông qua một thử nghiệm và không tìm thấy gì có ý nghĩa (theo giả thuyết của bạn), bạn không những không có khả năng công bố nghiên cứu đó mà còn lãng phí vài tháng (hoặc thậm chí nhiều năm) trong cuộc đời nghề nghiệp của mình và $ X từ ngân sách nghiên cứu luôn giới hạn của bạn.
Nếu bạn không thể thấy điều này có thể dẫn đến kết quả nghiên cứu kém tối ưu được xuất bản như thế nào, thì bạn có thể hơi mù quáng về tâm lý và động cơ cơ bản của con người. Bởi vì các nhà nghiên cứu không phải là những người siêu phàm - họ có những lỗi lầm, thành kiến và động cơ như bất kỳ ai khác. Phương pháp khoa học - khi được tuân thủ nghiêm ngặt - được cho là giải thích cho điều đó. Vấn đề là, không ai thực sự giám sát các nhà nghiên cứu để đảm bảo họ làm theo nó và không có động cơ cố hữu nào để làm như vậy.
Tôi sẽ kết thúc bằng quan sát này, một lần nữa từ PZ Myers,
Đó là tất cả những gì ồn ào này thực sự nói rằng [- s] đôi khi các giả thuyết được chứng minh là sai, và đôi khi nếu sự ủng hộ cho giả thuyết được xây dựng dựa trên bằng chứng yếu hoặc cách giải thích có nguồn gốc cao về một tập dữ liệu phức tạp, thì có thể mất nhiều thời gian để câu trả lời chính xác xuất hiện. Vì thế? Đây không phải là sự thất bại của khoa học, trừ khi bằng cách nào đó bạn đang mong đợi sự hài lòng tức thì về mọi thứ hoặc xác nhận mọi ý tưởng ấp ủ.
Amen.
Ý kiến của người khác về bài luận của Lehrer
Khoa học không chết - PZ Myers
Ca ngợi lỗi khoa học - George Musser
Con người có phải là vấn đề với phương pháp khoa học? - Charlie Petit
Sự thật mà chúng tôi sẽ nghi ngờ: Liệu "hiệu ứng suy giảm" có nghĩa là tất cả khoa học đều là "sự thật"? - John Horgan
Hiệu ứng suy giảm bí ẩn - Jonah Lehrer
