Bạn có thể tin vào nghiên cứu nào?
Bất cứ ai đọc Thế giới tâm lý học thường xuyên đã biết về các vấn đề trong nhiều nghiên cứu do ngành tài trợ. Nhưng bài báo này gợi ý rằng các vấn đề với nghiên cứu được đánh giá ngang hàng đi sâu hơn nhiều so với thành kiến đơn giản vì lợi nhuận. Các nhà khoa học thiên vị về nhiều mặt (không chỉ vì lợi ích tiền tệ). Và sự thiên vị này chắc chắn thể hiện trong công việc họ thực hiện - nghiên cứu khoa học.
Đây không phải là một tiếng trống mới để đánh bại đối với tôi - tôi đã nói về thành kiến của nhà nghiên cứu vào năm 2007 và cách các nhà nghiên cứu thiết kế các nghiên cứu để tìm ra kết quả cụ thể (ví dụ này liên quan đến các nhà nghiên cứu đã tìm thấy các trang web về phương pháp tự tử khi tìm kiếm - hãy chờ nó - “phương pháp tự sát ”Trong Google). Chúng tôi đã ghi nhận hầu như mọi nghiên cứu trên các tạp chí như Khoa học Tâm lý hầu như chỉ dựa vào các sinh viên đại học được thu thập từ một khuôn viên trường làm đối tượng - một hạn chế đáng kể hiếm khi được đề cập trong bản thân các nghiên cứu.
Tuy nhiên, đây là khía cạnh thực sự đáng lo ngại - những loại nghiên cứu thiên lệch này xuất hiện trên tất cả các loại tạp chí. JAMA, NEJM và BMJ không tránh khỏi việc xuất bản các nghiên cứu sai lầm, thiếu sót trong y học và tâm lý học. Chúng tôi nghĩ về “sự tôn trọng” của một tạp chí như một dấu hiệu nào đó của vai trò canh gác - rằng các nghiên cứu xuất hiện trên các tạp chí uy tín nhất về cơ bản phải có cơ sở.
Nhưng điều đó đơn giản là không đúng. Hoàng đế không chỉ khỏa thân - thần dân của ông đã giấu quần áo của mình để tiếp tục sự nghiệp của họ.
Vấn đề về các nghiên cứu thiên vị được công bố lần đầu tiên trở thành tâm điểm chú ý vào năm 2004, khi GlaxoSmithKline bị các bộ trưởng tư pháp bang kiện vì đã che giấu dữ liệu nghiên cứu về Paxil. Kể từ thời điểm đó, hàng chục nghiên cứu đã được đưa ra ánh sáng và các nghiên cứu khác đã được công bố cho thấy các công ty dược phẩm dường như thường xuyên che giấu dữ liệu nghiên cứu có liên quan. Dữ liệu này thường cho thấy rằng loại thuốc đang được nghiên cứu không có hiệu quả, khi so sánh với một viên đường, trong việc điều trị bất kỳ rối loạn nào mà nó được dự định. (Các blog như Tâm lý học Lâm sàng và Tâm thần học: Cái nhìn Cận cảnh hơn và Blog Tâm thần học Carlat có thêm chi tiết về những nghiên cứu này.)
Nhưng còn những kiểu thiên vị khác thì sao? Chúng ta chỉ quan tâm đến các nghiên cứu mà ở đó sự thiên vị quá rõ ràng hay chúng ta không quan tâm đến bất kỳ loại thành kiến nào có thể ảnh hưởng đến độ tin cậy của kết quả?
Tất nhiên, câu trả lời là chúng ta nên quan tâm đến tất cả các dạng thiên vị. Bất cứ điều gì có thể ảnh hưởng đến kết quả cuối cùng của một nghiên cứu đều có nghĩa là kết luận của nghiên cứu có thể đang bị nghi ngờ.
John Ioannidis, một giáo sư tại Đại học Ioannina, bắt đầu quan tâm đến câu hỏi này trong nghiên cứu y học. Vì vậy, ông đã tập hợp một nhóm chuyên gia gồm các nhà nghiên cứu và thống kê để tìm hiểu sâu hơn và xem vấn đề tồi tệ như thế nào. Những gì ông tìm thấy không làm các nhà nghiên cứu ngạc nhiên, nhưng sẽ gây ngạc nhiên cho hầu hết các giáo dân -
Bối rối, anh bắt đầu tìm kiếm những cách thức cụ thể mà các nghiên cứu đang diễn ra sai lầm. Và chẳng bao lâu sau, ông phát hiện ra rằng phạm vi sai sót được phạm phải thật đáng kinh ngạc: từ những câu hỏi mà các nhà nghiên cứu đặt ra, đến cách họ thiết lập nghiên cứu, đến những bệnh nhân mà họ tuyển dụng cho nghiên cứu, những phép đo mà họ thực hiện, đến cách họ phân tích dữ liệu. , về cách họ trình bày kết quả của họ, về cách các nghiên cứu cụ thể được xuất bản trên các tạp chí y khoa. […]
Ông nói: “Các nghiên cứu đã bị sai lệch. “Đôi khi họ đã quá thành kiến. Đôi khi rất khó để nhìn thấy sự thiên vị, nhưng nó đã ở đó. ” Các nhà nghiên cứu bắt đầu nghiên cứu của họ với mong muốn có kết quả nhất định — và, lo và kìa, họ đã nhận được chúng. Chúng ta nghĩ rằng quy trình khoa học là khách quan, chặt chẽ và thậm chí tàn nhẫn trong việc phân tách điều gì là đúng với điều chúng ta chỉ đơn thuần mong muốn là đúng, nhưng trên thực tế, chúng ta dễ dàng thao túng kết quả, thậm chí vô tình hay vô thức.
Ioannidis nói: “Ở mỗi bước trong quy trình, luôn có chỗ để làm sai lệch kết quả, một cách để đưa ra tuyên bố mạnh mẽ hơn hoặc để chọn những gì sẽ được kết luận. "Có một xung đột lợi ích trí tuệ gây áp lực cho các nhà nghiên cứu phải tìm ra bất cứ thứ gì có khả năng giúp họ được tài trợ nhất."
Ioannadis đã đưa ra một mô hình toán học phức tạp có thể dự đoán mức độ sai sót của nghiên cứu, dựa trên tất cả các biến số này. Mô hình của ông dự đoán rằng “80% các nghiên cứu không ngẫu nhiên (cho đến nay là loại phổ biến nhất [- đặc biệt là trong nghiên cứu tâm lý]) [sẽ] sai, cũng như 25% các thử nghiệm ngẫu nhiên được cho là tiêu chuẩn vàng, và 10% các thử nghiệm ngẫu nhiên lớn theo tiêu chuẩn bạch kim. ”
Sau đó, ông đưa mô hình đó vào thử nghiệm trên 49 nghiên cứu có kết quả nghiên cứu được đánh giá cao nhất trong nghiên cứu y học trong 13 năm qua. Đây là những tạp chí y khoa được trích dẫn nhiều nhất và cũng là những bài báo được trích dẫn nhiều nhất.
Trong số 49 bài báo, 45 bài báo đã phát hiện ra các biện pháp can thiệp hiệu quả. Ba mươi bốn trong số những tuyên bố này đã được kiểm tra lại, và 14 trong số này, hay 41%, đã được chứng minh một cách thuyết phục là sai hoặc phóng đại đáng kể. Nếu từ một phần ba đến một nửa số nghiên cứu được hoan nghênh nhất trong y học là không đáng tin cậy, thì phạm vi và tác động của vấn đề là không thể phủ nhận. […]
Trong số 45 nghiên cứu siêu trích dẫn mà Ioannidis tập trung vào, 11 nghiên cứu chưa bao giờ được kiểm tra lại. Có lẽ tệ hơn, Ioannidis phát hiện ra rằng ngay cả khi một lỗi nghiên cứu bị loại bỏ, nó vẫn thường tồn tại trong nhiều năm hoặc thậm chí nhiều thập kỷ. Ông đã xem xét ba nghiên cứu sức khỏe nổi bật từ những năm 1980 và 1990 mà sau đó đều bị bác bỏ một cách hợp lý và phát hiện ra rằng các nhà nghiên cứu tiếp tục trích dẫn các kết quả ban đầu thường xuyên hơn là đúng - trong một trường hợp ít nhất 12 năm sau khi kết quả bị mất uy tín .
Rất nhiều để các nhà khoa học kiểm tra lại các kết quả đã công bố của những người khác - cách dứt khoát duy nhất để chống lại sự thiên vị. Làm thế nào mà gần 25% các nghiên cứu y khoa được trích dẫn nhiều nhất trong 13 năm qua lại không bao giờ được kiểm tra lại? Kinh ngạc.
Kết quả của hầu hết chúng ta là hầu như không ai có thể biết được liệu một nghiên cứu nhất định có thực sự cho thấy kết quả tích cực, mới lạ và mạnh mẽ hay không. Nếu không đi sâu vào phân tích chi tiết của nghiên cứu - và tất cả các tiền thân của nghiên cứu - thì việc đưa nghiên cứu mới vào bối cảnh là một nhiệm vụ dài dòng và khó khăn. Hơn nữa, mô hình Ioannidis cho thấy rằng phần lớn các nghiên cứu tâm lý - có lẽ lên đến 80% - có thể sai. Thực sự không có bạc lót ở đây.
Ngoại trừ việc có thể các nhóm nghiên cứu như Ioannidis 'đang làm việc, làm việc để chỉ ra sự thiên vị có thể xâm nhập vào nghiên cứu ngay cả "tiêu chuẩn vàng" như thế nào.
Thay đổi ở đây phụ thuộc phần lớn vào các nhà nghiên cứu cá nhân tìm hiểu về những thành kiến này và làm việc chăm chỉ hơn nhiều để đảm bảo các nghiên cứu của họ không có. Nhưng không có người gác cổng nào thực sự kiểm tra thiết kế của một nghiên cứu hoặc các phương pháp thống kê, sẽ có rất ít động lực để thay đổi. Các khuyến khích tài chính và nghề nghiệp cho các nhà nghiên cứu tiếp tục xuất bản như họ vẫn có truyền thống để duy trì vị thế học tập và nghề nghiệp của họ vẫn còn mạnh mẽ.
Toàn bộ bài viết đáng để bạn dành thời gian: Dối trá, Dối trá và Khoa học Y tế
Mặc dù không phải là lý tưởng, nhưng đây là bài viết sơ lược của chúng tôi từ vài năm trước về cách phát hiện nghiên cứu có vấn đề - Nghiên cứu có tốt không?
