AIFFEL 아이펠 17일차

딥러닝과 신경망의 본질

https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/

인공지능: 사람이 직접 프로그래밍 한 내용이 아니라 기계 자체 규칙 시스템을 구축하는 과학

머신러닝: 데이터를 통해 스스로 학습하는 방법론. 데이터를 분석, 데이터 안에 있는 패턴 학습, 학습한 내용을 토대로 판단이나 예측을 함

딥러닝: 머신러닝의 하위 집단. 학습하는 모델의 형태가 신경망인 방법론

 

내재적 표현 Internal Representations

아래로 내려갈 수록 사람의 개입이 강해지는 구조이다.

딥러닝의 목표는 학습된 함수를 사용해 유용한 내재적 표현을 뽑아내는 것. 위의 표나 카테고리와 같은 내재적 표현들을 사람의 개입 없이 딥러닝으로 나타낼 수 있는 모델을 학습시키는 것이 궁극적인 목표이다.

딥러닝 모델이 잘 학습되어도 위의 표를 내뱉진 않는다. 다만, 이미지를 입력받으면 신경망 내부의 함수 연산을 통해 Feature, 혹은 표현이라고 할 수 있는 '숫자로만 이루어진 벡터'를 추출한다.

아래는 이미지 처리에 많이 쓰이는 VGG16 모델이 이미지를 받아 처리하는 과정을 설명함

https://www.researchgate.net/figure/Fig-A1-The-standard-VGG-16-network-architecture-as-proposed-in-32-Note-that-only_fig3_322512435

>>>

데이터의 내재된 표현: 데이터가 담고 있는 정보의 총체, 함의를 나타내는 표현. 단 raw한 sensory 데이터는 그 자체로는 중요한 의미를 담지 못하고 있을 수 있다.

데이터로부터 표현을 추출한다: 데이터 안에 있는 추상적인 표현을 추출한다는 것

=> 딥러닝의 본질: 데이터로부터 내재된 표현을 추출해내는 것. 이것은 모델을 Gradient Descent 기반의 학습으로 수행할 수 있다.

 

행동주의

: 학습된 행동은 자극의 반복으로 만들어진다.

 

인지주의

: 행동주의가 인간의 내면을 지나치게 단순화했다는 비판으로부터 나왔다. 인간의 뇌 안에서 기억, 주의 등의 일련의 정보처리 과정을 거친 후 행동을 만들어낸다는 주장이다. 

 

연결주의

: 정보처리는 뇌에 있는 수많은 뉴런들의 연결고리를 통해 이뤄진다.

 

신경망의 본질

신경망은 다른 말로 함수라고 할 수 있다.

함수의 역할

- Relation: x와 y의 관계를 나타낼 수 있는 도구

- Transformation: x를 변환해주는 도구

https://www.youtube.com/watch?v=kYB8IZa5AuE 

- Mapping: x의 공간에서 y의 공간으로 매핑해주는 도구

  - 스칼라: 크기만 갖고, 방향은 갖지 않는 양이다. 주로 단 하나의 숫자로 표현한다.

  - 벡터: 크기와 방향 두 가지를 갖는 양이다. 주로 여러 개의 숫자로 표현되며, 좌표 상에서 길이와 방향을 갖는 화살표로 표현한다.

one-to-one mapping: x, y 모두 스칼라인 경우

many-to-one mapping: 여러가지 정보를 입력받아 하나의 값을 출력하는 경우

many-to-many mapping: x, y 모두 벡터인 경우

 

더 나은 함수를 찾기 위해서

1. 모델을 어떤 함수로 사용할 것인지 정한다.

  - inductive bias: 데이터를 설명할 수 있는 최적의 함수가 특정한 공간에 존재할 것이라는 가설

2. 모델의 함수 형태를 정한 후, 해당 함수 공간 안에서 최적의 함수를 찾는다.

 

읽을 거리...

https://www.stechstar.com/user/zbxe/index.php?mid=study_SQL&page=14&document_srl=63467 

SQL학습 및 DB설계 - 머신러닝이란 무엇인가?

https://www.stechstar.com/user/zbxe/index.php?mid=study_SQL&page=13&document_srl=63482 

SQL학습 및 DB설계 - 딥러닝이란 무엇인가? (1)

https://www.stechstar.com/user/zbxe/index.php?mid=study_SQL&page=13&document_srl=63499 

SQL학습 및 DB설계 - 딥러닝이란 무엇인가? (2)

딥러닝은 블랙박스인가 아닌가?

https://blog.pabii.co.kr/aint-blackbox/

블랙박스(Blackbox)라고? – 파비블로그

https://www.joongang.co.kr/article/22394025#home

못 믿겠다 AI, 설계자도 심층신경망 작동 방식 몰라

비즈니스에서 딥러닝은 설명해야만 한다. 그러므로 나온 설명가능 인공지능!

https://realblack0.github.io/2020/04/27/explainable-ai.html

[딥러닝] 설명가능 인공지능이란? (A Survey on XAI)

LIME 라이브러리

https://www.youtube.com/watch?v=hUnRCxnydCc 

https://newsight.tistory.com/302

The Bitter Lesson 번역