최근 재미있게 읽은 인간의 능력과 신경망의 관계에 대한 글입니다. 글에도 나오지만 인간의 뇌와 신경망의 동작 방식은 유사한 구석이 있지만 같을 필요는 없다고 봅니다. 헤엄치기 위해 물고기를 따라하기 보다는 잠수함을 만들면 되고, 날기 위해서 새를 따라하기 보다는 비행기를 만들면 되는 것 처럼요 (글쓴이의 예제입니다)
글에서는 인간의 기억 특성을 episodic memory (과거 경험), working memory (컨텍스트, 정보조합), attention (집중, 무시), transfer learning (전이 학습)으로 분류하였고 각각의 특성이 서로 다른 기술로 접근되고 있다고 합니다. Episodic memory는 reinforcement learning, working memory는 recurrent neural network, attention과 transfer learning은 각각 정보를 isolation 시키는 기법과 fine tuning을 쓰는 식이지요.
심지어 인간은 위의 특징들을 모두 종합적으로 활용합니다. 이러한 종합 특성을 단일 네트워크로 모두 보여줄 수 있을지는 아직 불분명하지만 최근 하나의 모델로 여러 task를 해결하는 것을 시도하는 GPT-3를 보면 가능성이 엿보이기도 하는 것 같습니다. 아마 AI 연구의 큰 흐름도 특정 task의 인식률을 평가하던 지금까지와는 달리 단위 기술을 어떻게 융복합화 할 것인가를 고민하는 방향으로 가지 않을까 생각해봅니다.
Babies are awesome… Humans are the OG neural net.
Even though AI and neuroscience are similar in many ways, they are not identical.
