뮤트 개발일지

폐렴 환자 구분하기 필요한 모듈 임포트 import os, re import random, math import numpy as np import tensorflow as tf import matplotlib.pyplot as plt import warnings warnings.filterwarnings(action='ignore') 변수 설정하기 # 데이터 로드할 때 빠르게 로드할 수 있도록하는 설정 변수 AUTOTUNE = tf.data.experimental.AUTOTUNE # X-RAY 이미지 사이즈 변수 IMAGE_SIZE = [180, 180] # 데이터 경로 변수 ROOT_PATH = os.path.join(os.getenv('HOME'), 'aiffel') TRAIN_PATH = ROOT_..

TF2 API 개요 TensorFlow2에서 딥러닝 모델을 작성하는 방법 3가지: Sequential, Functional, Model Subclassing TensorFlow2 API로 모델 작성하기 Sequential API import tensorflow as tf from tensorflow import keras import numpy as np # 데이터 구성부분 mnist = keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train, x_test = x_train / 255.0, x_test / 255.0 x_train=x_train[...,np.newaxis] x_test=x_test[...,n..

뉴스 요약봇 만들기 추출적 요약 Extractive Summarization 원문에서 문장들을 추출해서 요약하는 방식이다. 추출된 문장들 간의 호흥이 자연스럽지 않을 수 있는데, 이 때 텍스트랭크(주로 머신러닝 방식에 속함)와 같은 알고리즘을 사용한다. 원문을 구성하는 문장 중 어느 것이 핵심문장인지 판별한다는 점에서 문장 분류 문제로 볼 수 있다. 추상적 요약 Abstractive Summarization 원문으로부터 내용이 요약된 새로운 문장을 생성한다. 자연어 처리 분야 중 자연어 생성Natural Language Generation,NLG 영역이다. 추상적 요약 해보기 데이터 준비 NLTK(Natural Language Toolkit)를 사용 영어, 기호, 통계, 자연어 처리를 위한 라이브러리이다..

비지도학습 비지도학습 Unsupervised learning: 지도학습과 달리 training data로 정답label이 없는 데이터가 주어지는 학습방법. 주어진 데이터가 어떻게 구성되어 있는지 스스로 알아내는 방법이라고 할 수 있다. 클러스터링(군집화) 명확한 기준이 없는 상황에서 데이터들을 분석하여 가까운(또는 유사한) 것들끼리 묶어주는 작업 그 방법으로는 아래와 같은 것들이 있다. K-means k 값이 주어졌을 때, 데이터들을 k개의 클러스터로 묶는 알고리즘 코드로 보자면, %matplotlib inline from sklearn.datasets import make_blobs import pandas as pd import numpy as np import matplotlib.pyplot as ..

인물사진을 만들어보자 셸로우 포커스 만들기 사진 준비하기 import os # 웹에서 데이터를 다운로드할 때 사용 import urllib # OpenCV라이브러리, 이미지를 처리할 때 사용 import cv2 import numpy as np # 시맨틱 세그멘테이션을 사용할 수 있도록 지원하는 라이브러리 from pixellib.semantic import semantic_segmentation from matplotlib import pyplot as plt # 이미지 불러오기 img_path = os.getenv('HOME')+'/aiffel/human_segmentation/images/samsuni.jpeg' img_orig = cv2.imread(img_path) print(img_orig.s..

선형 회귀와 로지스틱 회귀 회귀Regression 연속형 변수 간의 관계를 모델링하고 이에 대한 적합도를 측정하는 분석 방식 선형 회귀 분석Linear Regression: 두 변수 사이의 관계를 직선 형태로 가정하고 분석하는 것 분류: 데이터 x의 여러 feature 값들을 이용해 해당 데이터의 클래스 y를 추론하는 것 회귀: 데이터 x의 여러 feature 값들을 이용하여 연관된 다른 데이터 y의 정확한 값을 추론하는 것 선형 회귀 분석 Linear Regression 종속변수 y와 한 개 이상의 독립변수 x와의 선형 상관관계를 모델링하는 회귀분석 기법 한 개의 독립변수를 갖고 있으면 단순 선형 회귀, 둘 이상의 독립변수를 갖고 있으면 다중 선형 회귀라고 부른다. 1. 선형 회귀 모델링 선형 회귀식:..

딥러닝 들여다보기 신경망 구성 MNIST 이미지 분류기 # Tensorflow 기반 분류 모델 예시 코드 import tensorflow as tf from tensorflow import keras import numpy as np import matplotlib.pyplot as plt # MNIST 데이터를 로드. 다운로드하지 않았다면 다운로드까지 자동으로 진행됩니다. mnist = keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() # 모델에 맞게 데이터 가공 x_train_norm, x_test_norm = x_train / 255.0, x_test / 255.0 x_train_reshaped = x_trai..

영화리뷰 텍스트 감성분석하기 IMDB 영화리뷰 감성분석 # 인코딩 함수 def get_encoded_sentences(sentences, word_to_index): return [get_encoded_sentence(sentence, word_to_index) for sentence in sentences] encoded_sentences = get_encoded_sentences(sentences, word_to_index) # decode 함수 def get_decoded_sentence(encoded_sentence, index_to_word): return ' '.join(index_to_word[index] if index in index_to_word else '' for index in e..

딥러닝과 신경망의 본질 인공지능: 사람이 직접 프로그래밍 한 내용이 아니라 기계 자체 규칙 시스템을 구축하는 과학 머신러닝: 데이터를 통해 스스로 학습하는 방법론. 데이터를 분석, 데이터 안에 있는 패턴 학습, 학습한 내용을 토대로 판단이나 예측을 함 딥러닝: 머신러닝의 하위 집단. 학습하는 모델의 형태가 신경망인 방법론 내재적 표현 Internal Representations 아래로 내려갈 수록 사람의 개입이 강해지는 구조이다. 딥러닝의 목표는 학습된 함수를 사용해 유용한 내재적 표현을 뽑아내는 것. 위의 표나 카테고리와 같은 내재적 표현들을 사람의 개입 없이 딥러닝으로 나타낼 수 있는 모델을 학습시키는 것이 궁극적인 목표이다. 딥러닝 모델이 잘 학습되어도 위의 표를 내뱉진 않는다. 다만, 이미지를 입..

나의 첫 번째 캐글 경진대회, 무작정 따라해보기 Baseline # 필요할 라이브러리 임포트 하기 import matplotlib.pyplot as plt %matplotlib inline %config InlineBackend.figure_format = 'retina' import warnings warnings.filterwarnings("ignore") import os from os.path import join import pandas as pd import numpy as np import missingno as msno from sklearn.ensemble import GradientBoostingRegressor from sklearn.model_selection import KFold..