Khoa học tồi: Nghiên cứu MyType iPad
Tuần trước, MyType, một ứng dụng cá tính của Facebook lấy dữ liệu của bạn và sau đó bán các báo cáo tổng hợp dựa trên câu trả lời của bạn cho câu hỏi của họ, đã phát hành một báo cáo về iPad. Họ cho rằng chủ sở hữu iPad và những người muốn mua một chiếc là “giới tinh hoa ích kỷ” trong khi những người chỉ trích iPad được coi là “những người đam mê độc lập”.
Bạn đã có thể nói rằng đây chính xác sẽ không phải là một phân tích khoa học, phải không?
Đầu tiên là báo cáo của MyType về kết quả của nó. Những gì không được bao gồm trong báo cáo thực tế là các thử nghiệm thống kê thực tế được sử dụng, ý nghĩa thống kê (giá trị p) và số đối tượng trong mỗi nhóm được nghiên cứu. Bạn biết đấy, các loại dữ liệu cơ bản mà các nhà nghiên cứu khác đang tìm kiếm để đánh giá kết quả được trình bày. Nếu không có thông tin cơ bản đó, loại “nghiên cứu” này không tốt hơn một bài báo dành cho sinh viên đại học cho lớp Tâm lý học 101 của họ.
Một người tên là John Hall đã gọi họ trong phần bình luận của họ, lúc đó họ bắt đầu đưa ra những tuyên bố rộng rãi về giá trị p (nhưng một lần nữa, không có chi tiết cụ thể, chia nhỏ từng phân tích, đó là điều bạn mong đợi trong thị trường hoặc khoa học nghiên cứu). Tiến sĩ F đã cố gắng hướng dẫn mọi người MyType về lý thuyết thống kê cơ bản, vì họ dường như không biết nhiều về cách thiết kế một nghiên cứu tốt.
Điều cũng rõ ràng từ phần nhận xét là ai đó đang chỉnh sửa nhận xét để xóa những điều mà sau đó họ hối hận vì đã nói. John Hall trích dẫn rõ ràng Tim Koelkebeck nói rằng bởi vì anh ta có bằng khoa học máy tính (có vẻ là cử nhân), điều đó phần nào giúp anh ta đủ điều kiện trong thiết kế và phương pháp nghiên cứu cũng như thống kê. Kỳ quặc.
Nhưng món quà lớn nhất mà đây không phải là một nghiên cứu nghiêm túc là các tính từ được chọn để mô tả hai nhóm người. Họ lấy một số đặc điểm tính cách tùy ý để mô tả từng nhóm. Họ có thể dễ dàng nói rằng những người không sử dụng iPad là những người loạn thần kinh, không an toàn, kiêu hãnh và bất cẩn. Tuy nhiên, đó có phải là đặc điểm hợp pháp của những người không phải là chủ sở hữu iPad không? Tất nhiên là không, đó chỉ là những gì mà tập dữ liệu nhỏ, thiên vị của họ hiển thị. Cho rằng nó thậm chí không vượt qua bài kiểm tra mùi, nó sẽ khiến hầu hết các nhà nghiên cứu dừng lại để tự hỏi liệu họ có đang đi sai đường hay không.
Dựa trên dữ liệu của riêng họ, họ có thể mô tả các nhà phê bình iPad là không khoan dung, không thích từ thiện và tình bạn, thanh thiếu niên hung hăng và hoài nghi. Chà, không có gì ngạc nhiên ở đó - bạn sẽ phải xem liệu giới tính hay tuổi tác có làm sai lệch kết quả này hay không (và đưa ra lời giải thích thay thế cho các đặc điểm được lưu ý). Các "nhà nghiên cứu" cũng có thể mô tả chủ sở hữu iPad là những người trưởng thành hướng tới gia đình, thông minh, đạt thành tích cao, vừa giàu trí tưởng tượng vừa tinh vi.
Nhưng họ đã không làm vậy. Họ đã cố gắng tóm tắt một loạt các đặc điểm khác nhau thành các cụm từ tiếp thị hấp dẫn để làm tiêu đề tin tức - những cụm từ không đặc biệt chính xác, cũng không có giá trị đặc biệt về mặt khoa học. Điều đó không ngăn được hàng chục hãng tin tức hợp pháp, chính thống như CNET, ZDNet, và thậm chí Wired đưa tin về kết quả mà không phải nhíu mày về sự thiếu chặt chẽ hoặc phương pháp khoa học.
