[도서 리뷰] AI 딥다이브

* 한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

AI 딥다이브

오카노하라 다이스케 지음

정원창 옮김

AI 딥 다이브

---

간단 서평

2016년 이세돌을 꺾은 알파고를 거쳐, 2022년 등장한 ChatGPT와 MidJourney로 이어진 인공지능이라는 새로운 시대의 바람은 AI가 우리의 일상에 깊숙이 스며들게 했고, 이제는 AI를 연구하는 전문가가 아니더라도 누구나 AI에 대해 이야기하고 있다. 그만큼 많은 사람들이 AI를 배우고 싶어하고, 공부하고 싶어하지만, AI 연구는 오랜 역사를 가진 분야이기 때문에 이를 혼자서 처음부터 끝까지 되짚어 나간다는 것은 결코 쉬운 일이 아니다. 이는 AI를 처음 접하는 사람은 물론, 관련 분야에서 일하는 전문가에게도 마찬가지다.

 

그러한 점에서, 이 책은 AI를 더 깊이 이해하고 활용하고자 하는 사람들에게 추천할 만한 책이다. 인공지능 전반을 포괄적으로 다루면서도, 기존의 많은 책들과는 뭔가 다른 차별점을 가지고 있다. 단순히 기본 개념을 충실히 설명하는 것에서 그치지 않고, 그 다음 단계로 나아갈 수 있는 길을 제시하고 있다.

 

1부에서는 인공지능의 원리를 하나하나 파헤치면서도, 잘 짜인 플롯을 따라가는 듯한 느낌을 주고 있어 단순한 개념서처럼 느껴지지 않았다. 또한, 흔히 인간의 뇌와 인공지능(특히 딥러닝의 뉴런)을 비교하며 혼란을 만드는 여타 책들과는 달리, '인공지능'이라는 개념에 대한 허상을 걷어내고, 정확한 시선을 갖도록 도와주는 점이 신선하게 다가왔다.

 

2부에서는 학습 기법을 다루며, 기본적인 정규화나 역전파뿐만 아니라 메타 학습, 지식 증류와 같은 더 발전된 개념까지 충실히 다루고 있어서 만족스러웠다. 특히, 최근 관심을 가지고 공부 중인 강화학습과 경량화 개념을 별도의 챕터로 다루고 있어, 마치 저자의 목차 구성이 나의 관심사를 정확히 겨냥한 듯한 느낌을 받았다.

 

3부에서는 최근 가장 화제가 되고 있는 생성 모델을 포함해, Fast Weight나 외부 기억 신경망과 같은 최신 아키텍처도 다루고 있다. 마지막으로, 4부에서는 지금까지 다룬 내용들을 실제 응용 도메인에 어떻게 활용할 수 있는지에 대해 논하며, 생명 과학이나 로봇 연구와 같은 분야에서의 가능성을 제시하면서 책을 마무리하고 있다.

 

이 책은 기본 원리에 대한 개념서와 매일같이 쏟아져 나오는 최신 AI 논문들 사이에서 길을 잃은 사람들에게 다리를 놓아주는 최고의 가이드다. 최근에 이 정도로 흥미를 자극하는 AI 전문서적을 만난 적이 없을 정도로, 이 책은 AI에 대한 새로운 자극을 주었고, 이미 수많은 AI 개념서를 접해온 나에게도 다시금 열정을 불러일으켰다. 만약 당신이 AI를 공부하고자 하는 중급자(기본 개념은 전체적으로 숙지한 사람) 이상의 사람이거나, AI를 활용하고자 하는 엔지니어라면, 이 책을 꼭 읽어보라고 추천하고 싶다. 나 또한 두고 두고 곁에 두고 음미해볼 예정이다.

---

목차

[1부: 지능이란 무엇인가, 딥러닝이란 무엇인가]

1장: 인공지능의 원리 해명
_1.1 딥러닝 모델 학습이 잘 되는 이유
_1.2 매니폴드 가설: 현실 세계 데이터의 모델링 기법
_1.3 딥러닝이 일반화되는 이유
_1.4 독립 성분 분석: 정보 얽힘 풀기
_1.5 딥러닝 이론 해석, 신경망 미해결 문제 해명을 향한 진전
_1.6 과다 파라미터 표현 신경망과 복권 가설
_1.7 인과와 상관: 미지의 분포에 대한 일반화 가능성
_1.8 대칭성이 학습에 활용되는 방식
_1.9 머신러닝의 새로운 거듭제곱 법칙: 모델이 클수록 일반화 능력과 샘플 효율 향상
_1.10 강건한 모델의 과다 파라미터 표현 필요성

 

2장: 사람의 학습
_2.1 뇌의 오차 역전파 여부
_2.2 뇌의 학습 시스템

 

[2부: 학습 기법]

3장: 학습 기법
_3.1 학습의 엔진: 수리 최적화 Adagrad, RMSProp, Adam
_3.2 랜덤 푸리에 피처 함수: 규모가 큰 문제에도 커널 기법 적용 가능
_3.3 정규화: 일반화 능력 얻기
_3.4 오차 역전파 기법에 의한 기댓값 최대화
_3.5 오차 역전파를 사용하지 않는 학습 기법: Feedback Alignment, Synthetic Gradient, Target Prop
_3.6 연속 학습: 과거의 학습 결과를 잊지 않고 새로운 작업 학습
_3.7 예측 학습
_3.8 진화 전략
_3.9 메타 학습: 학습 방법을 학습하는 MAML과 뉴럴 프로세스
_3.10 음함수 미분: 경삿값 계산에서 계산 그래프를 워프
_3.11 비지도 표현 학습: 다른 뷰 간 상호 정보량 최대화
_3.12 지식 증류: 거대 모델의 지식 추출
_3.13 마스크 오토인코더: 이미지 인식에서 사전 학습 혁명의 가능성

 

4장: 강화 학습
_4.1 강화 학습: 피드백으로부터 최적 행동 획득
_4.2 월드 모델: 상상 속에서의 학습 가능성
_4.3 안전이 보장되는 강화 학습: 랴푸노프 함수로 제약을 만족시키는 폴리시 도출
_4.4 미래 예측에 기반한 플래닝, 학습화 시뮬레이터와 몬테카를로 트리 탐색
_4.5 오프라인 강화 학습: 데이터 주도형 학습

 

5장: 고속화, 저전력화, 인프라
_5.1 심층 신경망 학습의 고속화 가능성
_5.2 모바일향 신경망: 추론 시 전력 효율 향상 3가지 방안
_5.3 AI 연구의 뼈아픈 교훈
_5.4 MN-3/MN-Core: 세계 최고의 저소비전력 슈퍼컴퓨터

 

[3부: 모델과 아키텍처]

6장: 생성 모델
_6.1 적대적 생성 신경망: 신경망을 경합시켜 생성 모델 단련
_6.2 VW: 재귀 확률적 신경망에 의한 생성과 인식 수행
_6.3 Glow: 가역적 생성 모델, GAN보다 안정적으로 학습 가능한 가능도 기반 기법
_6.4 셀프 어텐션 메커니즘: 이미지 생성, 기계 번역 등 많은 문제에서 최고 정확도 달성
_6.5 연속 다이내믹스 표현 가능 신경망
_6.6 정규화 계층: 신경망 학습의 안정화, 고속화, 일반화
_6.7 에너지 기반 모델: 노이즈 복원을 통한 생성 모델 학습
_6.8 트랜스포머: 모든 작업의 표준 네트워크 아키텍처가 될 가능성
_6.9 이산화 생성 모델
_6.10 Perceiver: 다양한 입출력에 대응 가능한 신경망

 

7장: 기억의 얼개
_7.1 Fast Weight: 어텐션으로 단기 기억 실현
_7.2 미분 가능 신경 컴퓨터: 외부 기억을 갖춘 신경망

 

[4부: 애플리케이션]

8장: 이미지
_8.1 이미지 인식에서 높은 성과를 올린 CNN: 분류 오류가 매년 절반 가까이 감소
_8.2 GLOM：파싱 트리에 의한 이미지 인식의 실현 가능성

 

9장: 음성
_9.1 웨이브넷: 자연스러운 음성 및 음악 생성을 위한 신경망

 

10장: 공간생성/인식
_10.1 Generative Query Network: 이미지로부터 3차원 구조를 이해하여 생성
_10.2 자기 지도 학습에 의한 깊이와 자기 이동 추정
_10.3 3차원 형상 표현 기법
_10.4 이미지로부터 3차원 장면 이해: 국소 피처량 기반 이미지 매칭
_10.5 사람이나 동물의 공간 이해 메커니즘의 AI 활용 가능성
_10.6 Rotation Averaging: 빠르고 최적인 자세 추정 실현
_10.7 DROID-SLAM: 순차적 수정으로 환경에 대응
_10.8 NDF: 적은 지도 학습 데이터로 학습 가능한 물체나 3차원 환경의 동변 표현

 

11장: 언어
_11.1 seq2seq：텍스트에서 텍스트를 생성하는 신경망
_11.2 언어의 창발: 기계 간 커뮤니케이션 가능성
_11.3 자유로운 말로 로봇에게 지시
_11.4 BERT: 언어 이해의 사전 학습

 

12장: 제어
_12.1 확률적 제어: 부정확한 제어가 돕는 학습
_12.2 온라인 학습과 최적 제어, 미지의 노이즈에도 강건한 제어 기법

 

13장: 시뮬레이션
_13.1 AI에 의한 시뮬레이션의 진화
_13.2 시뮬레이션 기반 추론: 관측으로부터 귀납적 파라미터 추정
_13.3 딥러닝을 사용하는 물리 시뮬레이션 고속화
_13.4 매틀란티스: AI를 사용한 범용 원자 레벨 시뮬레이터

 

14장: 게임
_14.1 알파고: CNN과 강화 학습을 조합한 컴퓨터 바둑
_14.2 알파고 제로: 제로 베이스에서 학습하여 인간을 초월
_14.3 알파스타: 다양성이 있는 학습 환경에서 고도의 스킬 획득

 

15장: 바이오 생명 과학
_15.1 알파폴드: 50년간의 생명 과학 그랜드 챌린지 해결

 

16장: 로봇
_16.1 전자동 정리 로봇 시스템 개발. 고정밀도 객체 인식 기반 정리
_16.2 도메인 무작위화

 

참고 문헌
찾아보기