Mỗi ngày một bước, từ 2D đến 3D

Từ một câu hỏi về bộ não, Warren McCulloch và Walter Pitts xây dựng mô hình nơron đơn giản. Ta cùng xem họ giữ lại điều gì và bỏ qua điều gì.

Một ký ức được giữ ở đâu khi không có ngăn kéo nào trong não? Từ câu hỏi của Donald Hebb, ta lần theo ý tưởng rằng trải nghiệm có thể làm thay đổi các kết nối.

Năm 1950, Turing đổi cách đặt câu hỏi về trí thông minh của máy. Một cuộc trao đổi bằng văn bản mở ra những suy nghĩ về hành vi, phép thử và khả năng học.

Frank Rosenblatt đưa việc điều chỉnh kết nối từ dữ liệu vào trung tâm câu chuyện. Giới hạn của một đường thẳng giúp ta hiểu vì sao mạng cần thêm lớp.

Kunihiko Fukushima và các nhóm nghiên cứu nhận dạng ảnh góp phần xây dựng cách nhìn theo từng vùng nhỏ. LeNet cho thấy việc học đặc trưng có thể phục vụ một nhiệm vụ thực tế.

Một hình bị hỏng có thể dẫn về mẫu đã biết bằng cách nào? Bộ nhớ liên tưởng của Hopfield biến câu hỏi ấy thành câu chuyện về trạng thái, năng lượng và điểm hút.

Ackley, Hinton và Sejnowski tìm cách để mạng học các quan hệ trong dữ liệu. Ngẫu nhiên trở thành một phần của phương pháp, thay vì chỉ là nhiễu cần loại bỏ.

Lan truyền ngược đưa sai số đầu ra về từng tham số. Câu chuyện này giúp phân biệt cách tính gradient với cách dùng gradient để học.

Sepp Hochreiter và Jürgen Schmidhuber nghiên cứu khó khăn khi học quan hệ cách xa trong chuỗi. LSTM mở ra một cách tổ chức bộ nhớ có kiểm soát.

Khi huấn luyện mạng sâu còn khó, một hướng nghiên cứu tìm cách chuẩn bị từng lớp trước. Câu chuyện năm 2006 giúp ta hiểu vai trò của điểm khởi đầu.

ImageNet tạo một nguồn dữ liệu và cách so sánh chung. AlexNet cho thấy sức mạnh khi dữ liệu, kiến trúc và tính toán gặp nhau.

Tạm ngắt một số đơn vị trong lúc học nghe như làm mạng yếu đi. Dropout cho thấy một sự xáo trộn có chủ đích có thể giúp mô hình bớt phụ thuộc vào những phối hợp quá riêng.

Tomas Mikolov và các cộng sự làm việc học vector từ trở nên hiệu quả ở quy mô lớn. Một nhiệm vụ dự đoán nhỏ mở ra cách nhìn ngôn ngữ bằng các quan hệ hình học.

Từ nhận dạng từng phần tử đến biến một chuỗi thành chuỗi khác, encoder–decoder mở ra một cách xây hệ dịch. Thành công của nó cũng làm lộ ra nút thắt dẫn đến attention.

Mạng sinh không chỉ chọn một nhãn cho ảnh. Chúng học cách tạo dữ liệu. GAN và mô hình khuếch tán đi đến mục tiêu này bằng hai con đường khác nhau.

Từ bài toán dịch câu dài, cơ chế chú ý giúp mô hình nhìn lại các vị trí nguồn. Transformer đưa cách kết hợp thông tin này thành thành phần trung tâm.

Jonathan Long, Evan Shelhamer và Trevor Darrell biến mạng phân loại thành một hệ dự đoán theo không gian. Câu chuyện FCN cho thấy vì sao nhận ra một vật và xác định đường biên của nó là hai yêu cầu khác nhau.

Từ DeepLab đầu tiên đến DeepLabv3+, Liang-Chieh Chen và các cộng sự liên tục điều chỉnh cách lấy ngữ cảnh và giữ vị trí. Những khoảng cách trong bộ lọc mở ra một hướng đi cho phân đoạn ảnh.

Tại Freiburg, Olaf Ronneberger, Philipp Fischer và Thomas Brox xây dựng U-Net cho ảnh y sinh. Hình chữ U kể câu chuyện về ngữ cảnh, vị trí và cách sử dụng cẩn thận những nhãn đắt giá.

ResNet đặt câu hỏi khác: thay vì học lại toàn bộ phép biến đổi, mạng có thể học phần chênh lệch không? Một phép cộng tạo ra thay đổi lớn trong thiết kế mạng.

Đằng sau những ván cờ nổi tiếng là sự phối hợp giữa mạng nơron, học từ trải nghiệm và tìm kiếm. Câu chuyện giúp phân biệt AlphaGo năm 2016 với AlphaGo Zero về sau.