Sự lây lan cảm xúc trên Facebook? Giống như các phương pháp nghiên cứu tồi
Đừng bận tâm rằng các nhà nghiên cứu chưa bao giờ thực sự đo tâm trạng của bất kỳ ai.
Và đừng bao giờ để ý rằng nghiên cứu có một lỗ hổng chết người. Một nghiên cứu khác cũng đã bỏ qua - khiến tất cả những phát hiện của các nhà nghiên cứu này có chút nghi ngờ.
Bỏ qua ngôn ngữ lố bịch được sử dụng trong các loại nghiên cứu này (thực sự, cảm xúc lan truyền giống như một sự “lây lan”?), Những loại nghiên cứu này thường đi đến kết quả của họ bằng cách tiến hành phân tích ngôn ngữ trên các đoạn văn bản nhỏ. Trên Twitter, chúng thực sự rất nhỏ - ít hơn 140 ký tự. Cập nhật trạng thái trên Facebook hiếm khi nhiều hơn một vài câu. Các nhà nghiên cứu không thực sự đo lường tâm trạng của bất kỳ ai.
Vậy làm cách nào để bạn tiến hành phân tích ngôn ngữ như vậy, đặc biệt là trên 689.003 cập nhật trạng thái? Nhiều nhà nghiên cứu chuyển sang một công cụ tự động cho việc này, một cái gì đó được gọi là ứng dụng Điều tra ngôn ngữ và đếm từ (LIWC 2007). Ứng dụng phần mềm này được các tác giả của nó mô tả là:
Ứng dụng LIWC đầu tiên được phát triển như một phần của nghiên cứu khám phá về ngôn ngữ và sự tiết lộ (Francis, 1993; Pennebaker, 1993). Như được mô tả bên dưới, phiên bản thứ hai, LIWC2007, là bản sửa đổi cập nhật của ứng dụng gốc.
Ghi lại những ngày đó. Rất lâu trước khi các mạng xã hội được thành lập, LIWC được tạo ra để phân tích các khối lượng lớn văn bản - như một cuốn sách, bài báo, bài báo khoa học, một bài luận được viết trong điều kiện thử nghiệm, các mục blog hoặc bản ghi của một buổi trị liệu. Lưu ý rằng tất cả những điều này đều có điểm chung - chúng có độ dài tốt, tối thiểu 400 từ.
Tại sao các nhà nghiên cứu lại sử dụng một công cụ không được thiết kế cho các đoạn văn bản ngắn để ... phân tích các đoạn văn bản ngắn? Đáng buồn thay, đó là vì đây là một trong số ít công cụ có sẵn có thể xử lý một lượng lớn văn bản khá nhanh chóng.
Ai quan tâm đến độ dài của văn bản để đo?
Bạn có thể đang ngồi vò đầu bứt tai, tự hỏi tại sao lại quan trọng đến thời lượng văn bản mà bạn đang cố gắng phân tích bằng công cụ này. Một câu, 140 ký tự, 140 trang… Tại sao độ dài lại quan trọng?
Độ dài rất quan trọng vì công cụ này thực sự không tốt trong việc phân tích văn bản theo cách mà các nhà nghiên cứu Twitter và Facebook đã thực hiện. Khi bạn yêu cầu nó phân tích cảm xúc tích cực hoặc tiêu cực của một văn bản, nó chỉ cần đếm những từ tiêu cực và tích cực trong văn bản đang nghiên cứu. Đối với một bài báo, bài luận hoặc mục nhập blog, điều này là tốt - nó sẽ cung cấp cho bạn phân tích tóm tắt tổng thể khá chính xác về bài viết vì hầu hết các bài viết dài hơn 400 hoặc 500 từ.
Tuy nhiên, đối với một tweet hoặc cập nhật trạng thái, đây là một công cụ phân tích khủng khiếp để sử dụng. Đó là bởi vì nó không được thiết kế để phân biệt - và trên thực tế, không thể phân biệt - một từ phủ định trong một câu.
Hãy xem xét hai ví dụ giả định về lý do tại sao điều này lại quan trọng. Dưới đây là hai tweet mẫu (hoặc cập nhật trạng thái) không phổ biến:
- "Tôi không hài lòng."
"Tôi không có một ngày tuyệt vời."
Một người đánh giá hoặc giám khảo độc lập sẽ đánh giá hai tweet này là tiêu cực - chúng đang thể hiện rõ ràng cảm xúc tiêu cực. Đó sẽ là +2 trên thang âm và 0 trên thang dương.
Nhưng công cụ LIWC 2007 không thấy như vậy. Thay vào đó, nó sẽ đánh giá hai tweet này là cho điểm +2 cho tích cực (vì các từ “tuyệt vời” và “hạnh phúc”) và +2 cho tiêu cực (vì từ “không” trong cả hai văn bản).
Đó là một sự khác biệt lớn nếu bạn quan tâm đến việc thu thập và phân tích dữ liệu không thiên vị và chính xác.
Và vì phần lớn giao tiếp của con người bao gồm những điều tinh tế như thế này - thậm chí không đi sâu vào châm biếm, các từ viết tắt viết tắt hoạt động như từ phủ định, cụm từ phủ định câu trước, biểu tượng cảm xúc, v.v. - bạn thậm chí không thể biết chính xác hay không chính xác. kết quả phân tích của các nhà nghiên cứu này là. Vì LIWC 2007 bỏ qua những thực tế tế nhị này của giao tiếp không chính thức giữa con người, các nhà nghiên cứu cũng vậy.2
Có lẽ đó là bởi vì các nhà nghiên cứu không biết vấn đề thực sự tồi tệ như thế nào. Bởi vì họ chỉ đơn giản là gửi tất cả "dữ liệu lớn" này vào công cụ phân tích ngôn ngữ, mà không thực sự hiểu công cụ phân tích có sai sót như thế nào. Có phải 10% tất cả các tweet có chứa từ phủ định không? Hay 50 phần trăm? Các nhà nghiên cứu không thể nói cho bạn biết.
Ngay cả khi Đúng, Nghiên cứu cho thấy Hiệu ứng Thế giới Thực rất nhỏ
Đó là lý do tại sao tôi phải nói rằng ngay cả khi bạn tin rằng nghiên cứu này ở mức giá trị mặc dù có vấn đề phương pháp luận rất lớn này, bạn vẫn còn sót lại với nghiên cứu cho thấy những mối tương quan nhỏ đến mức nực cười, có rất ít hoặc vô nghĩa đối với người dùng bình thường.
Ví dụ, Kramer et al. (2014) tìm thấy 0,07% - đó không phải là 7%, đó là 1/115 của một phần trăm !! - giảm các từ tiêu cực trong cập nhật trạng thái của mọi người khi số lượng bài đăng tiêu cực trên nguồn cấp tin tức Facebook của họ giảm. Bạn có biết mình phải đọc hoặc viết bao nhiêu từ trước khi viết được một từ ít tiêu cực hơn do hiệu ứng này không? Có lẽ là hàng ngàn.
Đây không phải là một “hiệu ứng” giống như một điểm sáng thống kê không có ý nghĩa trong thế giới thực. Bản thân các nhà nghiên cứu cũng thừa nhận nhiều như vậy, lưu ý rằng kích thước ảnh hưởng của chúng “nhỏ (nhỏ như d = 0,001). ” Họ tiếp tục gợi ý rằng nó vẫn còn vấn đề vì “những tác động nhỏ có thể gây ra hậu quả tổng hợp lớn” trích dẫn một nghiên cứu của Facebook về động cơ bỏ phiếu chính trị của một trong những nhà nghiên cứu giống nhau và một lập luận 22 tuổi từ một tạp chí tâm lý.
Nhưng họ lại mâu thuẫn với chính họ trong câu trước, cho thấy rằng cảm xúc “khó có thể ảnh hưởng đến phạm vi trải nghiệm hàng ngày ảnh hưởng đến tâm trạng”. Đó là nó? Cập nhật trạng thái trên Facebook có tác động đáng kể đến cảm xúc của mỗi cá nhân hay không hay cảm xúc không dễ bị ảnh hưởng khi chỉ đọc cập nhật trạng thái của người khác ??
Bất chấp tất cả những vấn đề và hạn chế này, cuối cùng thì không điều gì ngăn được các nhà nghiên cứu tuyên bố: “Những kết quả này chỉ ra rằng những cảm xúc do người khác thể hiện trên Facebook ảnh hưởng đến cảm xúc của chính chúng ta, tạo thành bằng chứng thực nghiệm cho sự lây lan quy mô lớn qua mạng xã hội.” 5 Một lần nữa, không có vấn đề rằng họ thực sự không đo lường cảm xúc hoặc trạng thái tâm trạng của một người, mà thay vào đó dựa vào một biện pháp đánh giá thiếu sót để làm như vậy.
Theo tôi, điều mà các nhà nghiên cứu Facebook cho thấy rõ ràng là họ đặt quá nhiều niềm tin vào các công cụ mà họ đang sử dụng mà không hiểu - và thảo luận - những hạn chế đáng kể của các công cụ.6
Tài liệu tham khảo
Kramer, ADI, Guillory, JE, Hancock, JT. (2014). Bằng chứng thực nghiệm về sự lây lan cảm xúc quy mô lớn qua mạng xã hội. PNAS. www.pnas.org/cgi/doi/10.1073/pnas.1320040111
Chú thích:
- Điều này theo một cuộc điều tra đối với các nhà phát triển LIWC đã trả lời: “LIWC hiện không xem xét liệu có một thuật ngữ phủ định gần một từ ngữ cảm xúc tích cực hay tiêu cực trong cách tính điểm của nó hay không và sẽ rất khó để đưa ra một thuật toán hiệu quả cho cái này thì sao. " [↩]
- Tôi không thấy đề cập đến những hạn chế của việc sử dụng LIWC làm công cụ phân tích ngôn ngữ cho các mục đích mà nó chưa bao giờ được thiết kế hoặc dự định trong nghiên cứu hiện tại hoặc các nghiên cứu khác mà tôi đã kiểm tra. [↩]
- Chà, họ có thể cho bạn biết liệu họ có thực sự dành thời gian xác thực phương pháp của mình với một nghiên cứu thử nghiệm để so sánh với việc đo lường tâm trạng thực tế của mọi người hay không. Nhưng những nhà nghiên cứu này đã không làm được điều này. [↩]
- Có một số vấn đề nghiêm trọng với nghiên cứu bỏ phiếu của Facebook, ít nhất trong số đó là quy những thay đổi trong hành vi bỏ phiếu cho một biến tương quan, với một danh sách dài các giả định mà các nhà nghiên cứu đã đưa ra (và bạn sẽ phải đồng ý). [↩]
- Yêu cầu làm rõ và bình luận của các tác giả đã không được trả lại. [↩]
- Đây không phải là một nghiên cứu tại LIWC 2007, mà có thể là một công cụ nghiên cứu tuyệt vời - khi được sử dụng đúng mục đích và phù hợp. [↩]
