Mối liên hệ giữa hợp pháp hóa cần sa và tai nạn ô tô? Vô lý

Vào tháng 10, Viện dữ liệu tổn thất đường cao tốc và Viện bảo hiểm an toàn đường cao tốc đã phát hành một báo cáo tự xuất bản cho thấy có mối liên hệ tương quan chặt chẽ giữa tỷ lệ tai nạn ô tô và việc hợp pháp hóa cần sa ở các bang. Đây sẽ là tin tức đáng tiếc nếu phát hiện này dựa trên bằng chứng khoa học mạnh mẽ.

Tuy nhiên, thật không may cho các viện này, dữ liệu nghiên cứu tốt nhất là âm u. Và vì các tổ chức này tự xuất bản báo cáo thay vì trải qua quá trình đánh giá đồng cấp khoa học, nên khó có thể thực hiện nghiêm túc các phát hiện của họ.

Trước khi chúng ta bắt đầu xem xét dữ liệu, độc giả nên hiểu rằng mặc dù Viện dữ liệu tổn thất đường cao tốc (HLDI) và Viện bảo hiểm an toàn đường cao tốc (IIHS) là hai hợp pháp tổ chức, họ chia sẻ cùng một ban lãnh đạo cấp cao, cùng một địa chỉ thực tế và có thể còn nhiều hơn thế nữa. Nghe có vẻ như đây là hai tổ chức độc lập, không liên quan, đã tìm thấy kết quả tương tự khi họ tập hợp tâm trí tập thể của mình, nhưng không phải vậy.

Tôi cũng phải bắt đầu bài viết này với lời nhắc nhở khoa học thông thường - mối tương quan không bằng nhân quả. Nếu tôi thực hiện một nghiên cứu về ảnh hưởng của việc mọi người mở ô trong khu vực trung tâm thành phố, tôi sẽ thấy mối tương quan thuận rất chặt chẽ giữa hành động đó và sự hiện diện của mưa. Nhưng chúng ta biết rằng mở ô không làm mưa rơi. Tuy nhiên, khoa học sẽ dễ dàng chỉ ra mối tương quan chặt chẽ giữa hai yếu tố này - khiến một số nhà nghiên cứu buồn bã, không cố ý cho rằng chắc chắn có mối quan hệ nhân quả.

Hãy chọn các quốc gia kiểm soát của chúng tôi

Trong nghiên cứu mới, một nhà nghiên cứu đã xem xét dữ liệu va chạm trên đường cao tốc cho ba bang mục tiêu nơi cần sa đã được hợp pháp hóa ngoài việc sử dụng làm thuốc (Monfort, 2018). Sau đó, ông so sánh tỷ lệ tai nạn của các bang này với năm bang kiểm soát (các bang thường giáp với các bang hợp pháp hóa cần sa). Ví dụ, Colorado được kết hợp với ba tiểu bang: Nebraska, Utah và Wyoming.

Bạn thấy vấn đề rồi phải không? Colorado có chung biên giới với sáu tiểu bang, không chỉ ba: Arizona, New Mexico và Kansas. Chúng tôi cũng gặp vấn đề tương tự với các trạng thái điều khiển khác đã chọn. Các bang kiểm soát của Oregon là Idaho (một bang so sánh thích hợp) và Montana - một bang không có đất liền mà nó có rất ít điểm chung và không có biên giới.

Nhà nghiên cứu biện minh cho những lựa chọn này bởi vì tổ chức chị em của IIHS đã phát hành một báo cáo trước đây về việc lựa chọn các trạng thái đó. Các nhà nghiên cứu giấu tên đó đã chọn các tiểu bang dựa trên mối tương quan - đôi khi không phải là quá mạnh - về sự tương đồng giữa tốc độ dữ liệu sự cố của họ. Không phải nhân khẩu học, địa lý (đường núi ngoằn ngoèo so với đồng ruộng bằng phẳng) hay một số lý do khác.1 Có thể tranh luận rằng liệu “các kiểu tai nạn theo mùa trước năm 2014” có phải là một biến so sánh khoa học hợp pháp để lựa chọn các trạng thái kiểm soát hay không, khi các biến khác có vẻ phù hợp hơn nhiều.

Trong một email tiếp theo với người phát ngôn của IIHS, ông cho biết nhà nghiên cứu muốn “sử dụng hai bộ dữ liệu khác nhau và xem liệu kết quả có giống nhau hay không. Sử dụng các trạng thái kiểm soát khác nhau sẽ không có ý nghĩa. ”

Như những người đọc lâu năm đều biết, các nhà nghiên cứu có thể thao túng khá nhiều dữ liệu, phân tích hoặc giả thuyết của họ để chứng minh kết quả họ muốn tìm. Đây là một trong những lý do khiến nhiều người thường hoài nghi về nghiên cứu. Có rất nhiều cách mà một nhà nghiên cứu có thể thao túng dữ liệu - đôi khi vì những lý do chính đáng, chính đáng - đến mức có thể là một thách thức để phát hiện ra sự thiên vị được đưa vào.

Tuy nhiên, đó không phải là trường hợp của nghiên cứu này. Tôi nghĩ những thành kiến, theo quan điểm của tôi, được trình bày khá rõ ràng.

11 phân tích, nhưng chỉ có 3 phân tích quan trọng

Dấu hiệu thứ hai mà báo cáo nghiên cứu này hoàn toàn vô nghĩa là ngay cả khi bộ bài được xếp chồng lên nhau theo cách mà nhà nghiên cứu tự chọn, anh ta vẫn không thể tìm thấy nhiều ý nghĩa trong dữ liệu đối với phần lớn các phân tích thống kê mà anh ta thực hiện. Hãy tự mình xem:

Xem ba dấu hoa thị đó? Đó là ba phân tích duy nhất có ý nghĩa thống kê. Lưu ý cách chỉ một trong những dấu hoa thị đó xuất hiện trong so sánh giữa các tiểu bang thực tế - giữa Colorado và Utah. Tất cả các phân tích giữa các bang khác cho thấy không có sự khác biệt đáng kể giữa bang kiểm soát và bang hợp pháp về cần sa.

Trong bảy phân tích chỉ theo trạng thái, chỉ có một phân tích là quan trọng. Đó là một phát hiện khá quan trọng đã được đề cập trong báo cáo (và không được IIHS đề cập đến). Trong giới nghiên cứu của tôi, chúng tôi gọi điều này là "yếu".

Hãy tổng hợp dữ liệu!

Chỉ khi nhà nghiên cứu gộp toàn bộ các trạng thái kiểm soát lại với nhau, ông mới tìm thấy hai mối tương quan quan trọng hơn.

Nói chung, tôi hiểu rằng các nhà nghiên cứu không nên tổng hợp dữ liệu lại với nhau từ các nguồn khác nhau trừ khi họ có thể biện minh cho quyết định làm như vậy và đảm bảo rằng các biến cơ bản là đồng nhất (hoặc giống nhau).

Bạn không chỉ phải đảm bảo điều này cho một nhóm các trạng thái, như trong nghiên cứu hiện tại. Nhưng nhà nghiên cứu cũng tổng hợp dữ liệu trong nhiều năm.

Không rõ nhà nghiên cứu đã sử dụng cách biện minh nào để chọn những năm anh ta làm (2012-2016), ngoài việc nói rằng đó là những năm mà dữ liệu đó có sẵn ở tất cả các bang đó. Tuy nhiên, khi tìm kiếm lướt qua từng trang web của chính phủ bang này, tôi thường thấy dữ liệu sự cố có sẵn từ năm 2005 một cách đáng tin cậy.

Chúng tôi biết rằng dữ liệu sự cố hàng năm không đồng nhất - nó có thể thay đổi đáng kể giữa các năm. Ví dụ, ở tất cả các bang, tỷ lệ phần trăm sự cố đều tăng vào năm 2014, 2015 và 2016 - bất kể bang nào. Vì vậy, những gì nhà nghiên cứu đang cố gắng đo lường liệu mức tăng 7,84% của Idaho vào năm 2015 có khác với mức tăng 7,09% của Oregon thân thiện với marjiuana hay không. Hoặc liệu tỷ lệ năm 2015 của Colorado thân thiện với cần sa tăng 4,37% so với năm 2014 về số vụ va chạm có khác biệt đáng kể so với mức tăng 9,96% của Utah hay mức tăng 10,19% của New Mexico hay không.

Hơn nữa, các bang khác nhau có quy mô hồ bơi khác nhau trong các tháng được kiểm tra, tùy thuộc vào thời điểm doanh số bán lẻ cần sa của họ có hiệu lực. Điều đó có nghĩa là đối với Oregon, nhà nghiên cứu đã gộp các năm 2012, 2013, 2014 và hầu hết năm 2015 thành một tập dữ liệu và 2016 + 2 tháng trong năm 2015 thành tập dữ liệu thứ hai (46 tháng so với 14 tháng). Nhưng Colorado đã hợp pháp hóa cần sa vào tháng 1 năm 2014, vì vậy nó chỉ có hai năm dữ liệu trước hợp pháp hóa và ba năm dữ liệu sau hợp pháp hóa.

Trong một so sánh khoa học công bằng và chính xác, tất cả các tập dữ liệu phải có kích thước tương tự về khoảng thời gian được kiểm tra trước và sau biến mà bạn đang cố gắng đo lường trong phân tích của mình. Đặc biệt là khi những dữ liệu đó, chúng ta biết, không đồng nhất.

Vậy dữ liệu hiển thị gì?

Nhà nghiên cứu không cung cấp các chi tiết thông thường mà một người sẽ cần để tái tạo công việc của mình. Vì vậy, chúng tôi phải kiểm tra dữ liệu thô và chỉ xem xét các vấn đề rõ ràng hơn.

Nhìn vào Colorado, chúng ta có thể so sánh tỷ lệ tai nạn theo thời gian của nó với hai tiểu bang khác. Trước năm 2013, Colorado có tỷ lệ tai nạn tổng thể giảm qua từng năm (tất cả dữ liệu từ trang web của từng bang tương ứng). Sau đó, vào năm 2013, bang chứng kiến ​​mức tăng đột biến 6,29% trong các vụ va chạm, tiếp tục trong năm 2014 (6,79%) và 2015 (4,37%). Trong năm 2016, tiểu bang chỉ tăng 0,35%.

So sánh những con số này với một trong những trạng thái kiểm soát, Utah, mà nhà nghiên cứu đã đưa vào. Utah cũng chứng kiến ​​sự gia tăng các vụ tai nạn trong năm 2013 (9,05%), giảm trong năm 2014 (-2,96%). Tỷ lệ va chạm của bang đó đã tăng trở lại vào năm 2015 và 2016 (tương ứng là 9,96% và 3,94%).

Bây giờ, hãy so sánh những con số đó với một trong những trạng thái kiểm soát không được nhà nghiên cứu chọn, New Mexico. Nó đã chứng kiến ​​sự sụt giảm tỷ lệ va chạm vào năm 2013 (-4,78%), nhưng sau đó hai năm tăng lên vào năm 2014 và 2015 (lần lượt là 3,64% và 10,19%). Năm 2016, New Mexico chứng kiến ​​mức giảm -0,53%.

Tôi tin rằng lý do Utah được chọn thay vì New Mexico rất đơn giản. Tỷ lệ tai nạn của nó trong những năm 2014-2016 (chúng là những năm then chốt để so sánh cần sa của Colorado) khiến tỷ lệ va chạm của nó chỉ tăng tích lũy 10,94%. Nếu các viện đã sử dụng New Mexico để thay thế, tỷ lệ sự cố của nó trong cùng khoảng thời gian là 13,3%. Khi so sánh với 11,51 phần trăm tích lũy của Colorado, bạn có thể thấy Utah thấp hơn - nhưng New Mexico (cũng là một bang lân cận của Colorado) thì cao hơn gần 2 điểm phần trăm.

Hãy ném tất cả vào một phân tích giải thích "đặc điểm của bang" (chỉ bao gồm tỷ lệ thất nghiệp và thời tiết), và thì đấy! Dữ liệu dường như cho thấy doanh số bán cần sa ảnh hưởng đến tỷ lệ tai nạn.

Điều này có ý nghĩa gì đối với Cần sa?

Dữ liệu, ngay cả từ nghiên cứu hiện tại, về cơ bản không cho thấy ý nghĩa thống kê giữa doanh số bán lẻ cần sa và số vụ tai nạn xe hơi trong một tiểu bang. Nếu một mối tương quan tồn tại, nó là một mối tương quan rất yếu, và mối tương quan chỉ được tìm thấy khi nhà nghiên cứu sử dụng, theo ý kiến ​​của tôi, các phân tích đáng nghi vấn trong nghiên cứu. Một số bang lân cận Colorado - ví dụ, New Mexico - không được đưa vào phân tích và cho thấy sự gia tăng tỷ lệ tai nạn của họ trong cùng khoảng thời gian nhiều hơn Colorado.

Tôi tin rằng loại báo cáo này phản ánh kém trên cả IIHS và HLDI. Theo tôi, những tổ chức này, chủ yếu được tài trợ bởi các công ty bảo hiểm, đang công bố những phát hiện đáng sợ để thực hiện một mục tiêu chính trị và kinh doanh. Họ gọi những phát hiện này là "nghiên cứu", mặc dù thực tế là đôi khi chúng chỉ được công bố trên trang web của tổ chức và dường như không được đánh giá ngang hàng, như được thực hiện trong nghiên cứu khoa học truyền thống. (“Nghiên cứu gần đây nhất của chúng tôi về hợp pháp hóa cần sa giải trí và các vụ tai nạn do cảnh sát báo cáo đã được đệ trình để xuất bản cho tạp chí Phân tích và Phòng ngừa Tai nạn, ”Người phát ngôn của IIHS lưu ý.)

Những gì chúng tôi có ở đây là những gì tôi muốn gọi là “nghiên cứu giả mạo” - nghiên cứu kéo dài để chỉ ra một mối quan hệ quan trọng mà rõ ràng chỉ có một dấu hỏi lớn. Và ngay cả khi có ý nghĩa tương quan, nghiên cứu này không có mối quan hệ nhân quả nào ủng hộ. Chúng tôi đã liên hệ với các tổ chức để nhận xét, và về cơ bản họ chỉ giới thiệu chúng tôi trở lại nghiên cứu để tìm câu trả lời. Ví dụ, người phát ngôn của IIHS nói, “Dữ liệu tai nạn từ các bang cần sa trong nghiên cứu của IIHS không được gộp chung, nhưng các kết quả riêng lẻ từ mỗi bang được kết hợp trong một phân tích tổng hợp, đây là một phương pháp nghiên cứu được chấp nhận. Các kết quả riêng lẻ cho Colorado và Washington trong phân tích HLDI là có ý nghĩa thống kê. "

Khi tôi chỉ ra rằng nghiên cứu hiện tại chỉ cho thấy tầm quan trọng đối với một bang - Colorado (và sau đó chỉ so với một bang khác, Utah) - người phát ngôn đã chỉ cho tôi về nghiên cứu trước đó. Rõ ràng không biết rằng nếu mới hơn nghiên cứu mâu thuẫn với nghiên cứu trước đó, bạn không thể tiếp tục chỉ ra rằng nghiên cứu trước đó vẫn còn giá trị. Những gì nghiên cứu mới từ IIHS cho thấy rằng không còn bất kỳ mối tương quan đáng kể nào giữa cần sa và các vụ tai nạn ở Washington - hoàn toàn trái ngược với những gì người phát ngôn tuyên bố.

IIHS là một tổ chức đang cố gắng giáo dục và thông báo cho các nhà hoạch định chính sách về vấn đề an toàn cho người lái xe. Đáng buồn thay, hầu hết các chính trị gia và công dân sẽ không hiểu hoặc nhận ra rằng họ đã bị lừa đảo, và thay vào đó tin rằng loại nghiên cứu này thực sự là khoa học.

Nói tóm lại, không có dữ liệu mạnh mẽ nào liên kết doanh số bán lẻ cần sa với sự gia tăng tai nạn ô tô. Dữ liệu chúng tôi có chỉ cho thấy một mối tương quan rất hạn chế, yếu - không phải nhân quả - thông qua thủ thuật thống kê.

Kể từ bây giờ, tôi sẽ nghi ngờ nhiều hơn về bất cứ điều gì IIHS hoặc HLDI công bố.

Chú thích:

1. Cụ thể, “Các trạng thái kiểm soát được lựa chọn dựa trên mức độ gần giống với trạng thái nghiên cứu cũng như sự tương tự của các mô hình va chạm theo mùa trước năm 2014. Sự tương đồng này dựa trên mối tương quan giữa tần suất hàng tháng ở trạng thái nghiên cứu và mỗi trạng thái kiểm soát tiềm năng trong thời gian 24 tháng của năm 2012–13. Hệ số tương quan Pearson cho Colorado và Nebraska là 0,85; đối với Wyoming, 0,79; và đối với Utah, 0,60. Đối với Washington, các bang Montana (0,67) và Idaho (0,63) được chọn làm đối chứng. Đối với Oregon, các bang Idaho (0,67) và Montana (0,83) đã được sử dụng ”. [↩]