Hình ảnh não tiết lộ cách hoạt động của chiến lược học tập

Một nghiên cứu mới nghiên cứu cách bộ não cập nhật ngân hàng bộ nhớ của chúng ta để cải thiện kỳ ​​vọng của chúng ta về phần thưởng trong tương lai.

Việc làm mới là cần thiết để chúng tôi có thể đưa ra dự đoán chính xác về những phần thưởng đó khi môi trường thay đổi.

Mặc dù chính xác cách bộ não điều phối quá trình này vẫn chưa rõ ràng, nhưng nghiên cứu mới cho thấy rằng sự kết hợp của hai chiến lược học tập riêng biệt sẽ hướng dẫn hành vi của chúng ta.

Một bài báo về công việc sẽ xuất hiện trong tạp chí Nơron.

Một chiến lược học tập được chấp nhận, được gọi là học không theo mô hình, dựa trên sự so sánh thử-và-sai giữa phần thưởng chúng ta mong đợi trong một tình huống nhất định và phần thưởng chúng ta thực sự nhận được.

Kết quả của sự so sánh này là tạo ra "lỗi dự đoán phần thưởng", tương ứng với sự khác biệt đó.

Ví dụ: lỗi dự đoán phần thưởng có thể tương ứng với sự khác biệt giữa lợi tức tiền tệ dự kiến ​​trên một khoản đầu tư tài chính và thu nhập thực tế của chúng tôi.

Trong cơ chế thứ hai, được gọi là học tập dựa trên mô hình, não bộ tạo ra một bản đồ nhận thức về môi trường mô tả mối quan hệ giữa các tình huống khác nhau.

Jan Gläscher, một học giả sau tiến sĩ tại Caltech và trưởng nhóm cho biết: “Học tập dựa trên mô hình có liên quan đến việc tạo ra 'lỗi dự đoán trạng thái', thể hiện mức độ ngạc nhiên của não bộ trong một tình huống mới với ước tính hiện tại của nó về môi trường. tác giả của nghiên cứu.

“Hãy nghĩ về một tình huống mà bạn luôn đi cùng một tuyến đường khi lái xe về nhà sau giờ làm việc, nhưng vào một ngày cụ thể, con đường thông thường bị chặn do công việc xây dựng,” Gläscher nói.

“Một hệ thống học tập không có mô hình sẽ bị mất đi một cách bất lực; nó chỉ quan tâm đến việc thực hiện những hành động mà trước đây là phần thưởng, vì vậy nếu những hành động đó không còn nữa, nó sẽ không thể quyết định nơi tiếp theo.

"Nhưng một hệ thống dựa trên mô hình sẽ có thể truy vấn bản đồ nhận thức của nó và tìm ra một đường vòng hiệu quả bằng cách sử dụng một tuyến đường thay thế."

“Mặc dù cơ chế học tập không có mô hình đơn giản hơn đã được nghiên cứu kỹ lưỡng và cơ chế học tập cơ bản của nó — được thúc đẩy bởi các lỗi dự đoán phần thưởng — tương đối hiểu rõ, nhưng các cơ chế này tạo nên hệ thống học tập dựa trên mô hình phức tạp hơn, với khả năng thích ứng và tính linh hoạt phong phú của nó John P. O'Doherty, giáo sư tâm lý học tại Caltech cho biết.

Để mô tả rõ hơn về nền tảng thần kinh của hai hệ thống học tập này, Gläscher, O'Doherty và các đồng nghiệp của họ đã thiết kế một nhiệm vụ ra quyết định dựa trên máy tính cho phép họ đo lường thời điểm và vị trí bộ não tính toán cả tín hiệu lỗi dự đoán trạng thái và phần thưởng, và để xác định xem hai loại lỗi có thực sự tạo ra các chữ ký thần kinh khác nhau hay không.

Trong nhiệm vụ, các đối tượng phải lựa chọn giữa chuyển động trái và phải cho phép họ chuyển đổi giữa các “trạng thái” khác nhau — được biểu thị bằng các biểu tượng đồ hoạ — trong một môi trường ảo; quá trình này tương tự như quá trình điều hướng xung quanh trong một trò chơi điện tử đơn giản.

Mỗi lựa chọn trái hoặc phải được thực hiện trong môi trường ảo này đã đưa đối tượng đến một trạng thái mới. Mục tiêu của họ là đạt được một trạng thái mục tiêu cụ thể để nhận được phần thưởng bằng tiền, “và cơ hội của họ để đạt được trạng thái mục tiêu đó phụ thuộc nhiều vào kiểu lựa chọn tuần tự cụ thể mà họ đã thực hiện”, O’Doherty giải thích.

Hệ thống dựa trên mô hình có thể tìm hiểu về cấu trúc của môi trường ảo và sau đó sử dụng thông tin này để tính toán các hành động cần thiết để đạt được trạng thái phần thưởng, theo cách tương tự như cách một người chơi cờ vua có thể cố gắng suy nghĩ thông qua các nước cờ tuần tự cần thiết để thắng một trận đấu.

Mặt khác, một hệ thống không có mô hình sẽ chỉ học cách mù quáng lựa chọn những hành động mang lại phần thưởng trong quá khứ mà không đánh giá hậu quả trong tình huống hiện tại.

Mười tám người tham gia được quét bằng hình ảnh cộng hưởng từ chức năng khi họ học được nhiệm vụ. Các bản quét não cho thấy dấu hiệu thần kinh đặc biệt, đặc trưng trước đây của lỗi dự đoán phần thưởng - được tạo ra trong quá trình học tập không có mô hình - trong một khu vực ở giữa não được gọi là thể vân bụng.

Tuy nhiên, trong quá trình học tập dựa trên mô hình, dấu hiệu thần kinh của lỗi dự đoán trạng thái xuất hiện ở hai khu vực khác nhau trên bề mặt của não trong vỏ não: sulcus intraparietal và vỏ não trước trán bên.

Những quan sát này cho thấy rằng hai loại tín hiệu lỗi duy nhất được tính toán trong não người, xảy ra ở các vùng não khác nhau và có thể đại diện cho các chiến lược tính toán riêng biệt để hướng dẫn hành vi.

Gläscher nói: “Một hệ thống không có mô hình hoạt động rất hiệu quả trong các tình huống có tính tự động hóa cao và lặp đi lặp lại — ví dụ, nếu tôi thường xuyên đi cùng một tuyến đường từ cơ quan về nhà,” Gläscher nói, “trong khi hệ thống dựa trên mô hình, mặc dù đòi hỏi trí não lớn hơn nhiều sức mạnh xử lý, có khả năng thích ứng linh hoạt với các tình huống mới lạ, chẳng hạn như cần tìm một con đường mới sau một rào cản. ”

Gläscher nói rằng hai cơ chế học tập riêng biệt này đóng vai trò bổ sung cho nhau trong việc kiểm soát hành vi của con người.

“Bởi vì khả năng xử lý của bộ não của chúng ta có hạn, nên việc triển khai hệ thống dựa trên mô hình tính toán chuyên sâu hơn để kiểm soát mọi thứ chúng ta làm là không hợp lý. Thay vào đó, tốt hơn là dựa vào hệ thống không có mô hình cho nhiều hành vi hàng ngày của chúng ta và chỉ sử dụng hệ thống dựa trên mô hình cho các tình huống mới hoặc phức tạp. Một lĩnh vực quan trọng cần nghiên cứu sâu hơn sẽ là cố gắng hiểu các yếu tố chi phối cách các hệ thống này tương tác với nhau để kiểm soát hành vi và xác định cách thức thực hiện điều này trong não bộ. "

Nguồn: Viện Công nghệ California