뮤트 개발일지

의식의 흐름 글쓰기... 오늘은 해커톤을 준비하는 첫 과정인 기획서를 쓰는 날이었다. 취업하기 전 프로젝트를 하는 데에 시간적 여유가 없기 때문에 이번 프로젝트를 취업과 연결지어서 잘 준비해보고 싶은 마음이 컸다. 그런데 아직 어떤 분야를 해야할 지 감이 안와서 일단은 원티드를 돌아다니며 어떤 요구사항들이 있는지 확인했다. 지금까지 아이펠을 하면서 느낀 점은 모델을 만들고 학습시키는 것보다 데이터를 전처리하고 EDA하는 과정이 더 재밌다는 거였는데, 그래서인지 원티드에서도 머신러닝, 딥러닝 엔지니어보다는 데이터 분석가, 데이터 사이언티스트가 더 눈에 갔다. 그래도 아이펠 해커톤은 진행해야하니 더 알아보는데, 마음에 없는 회사들을 보자니 할 마음이 잘 안생겼다. 그래서 그냥 내가 조금 관심있었던 시각장애인..

난 스케치를 할 테니 너는 채색을 하거라 조건있는 생성모델 Conditional Generative Adversarial Nets(cGAN) https://github.com/pjk7565/AIFFEL/blob/main/Exploration17/Pix2Pix.ipynb GitHub - pjk7565/AIFFEL Contribute to pjk7565/AIFFEL development by creating an account on GitHub. github.com

AIFFEL DATATHON 넷플릭스 데이터 분석: 넷플릭스 전략 분석하기 https://github.com/pjk7565/AIFFEL_Datathon/blob/main/EDA%2Cvisualization/Netflix_Strategy.ipynb GitHub - pjk7565/AIFFEL_Datathon Contribute to pjk7565/AIFFEL_Datathon development by creating an account on GitHub. github.com

다음에 볼 영화 예측하기 https://github.com/pjk7565/AIFFEL/blob/main/Exploration16/session_based_recommendation.ipynb GitHub - pjk7565/AIFFEL Contribute to pjk7565/AIFFEL development by creating an account on GitHub. github.com https://arxiv.org/pdf/1511.06939v4.pdf

뉴스기사 크롤링 및 분류 크롤링crawling: 웹 페이지로부터 데이터를 추출하는 행위 크롤러crawler: 크롤링하는 소프트웨어 BeautifulSoup과 newspaper3k를 통해 크롤러 만들기 # 크롤러를 만들기 전 필요한 도구들을 임포트합니다. import requests import pandas as pd from bs4 import BeautifulSoup # 페이지 수, 카테고리, 날짜를 입력값으로 받습니다. def make_urllist(page_num, code, date): urllist= [] for i in range(1, page_num + 1): url = 'https://news.naver.com/main/list.nhn?mode=LSD&mid=sec&sid1='+str(co..

문자를 읽을 수 있는 딥러닝 OCR(Optical Character Recognition, 광학 문자 인식) 과정) 1. Text Detection(문자 검출): 입력받은 사진 속에서 문자의 위치를 찾는다. - 방식1) Regression(회귀): 기준으로 하는 박스 대비 문자의 박스가 얼마나 차이나는지 학습한다. - 방식2) Segmentation(세그멘테이션): 픽셀 단위로 해당 픽셀이 문자를 표현하는지를 분류하는 문제(pixel-wise classification) 2. Text Recognition(문자 인식): 찾은 문자 영역으로부터 문자를 읽어낸다. - CRNN: 이미지 내의 문자 인식 모델의 기본적인 방법 중 하나. 이미지 내의 텍스트와 연관된 특징을 CNN을 통해 추출한 후, 스텝 단위의 ..

컴퓨터 파워 UP 멀티태스킹 2가지 동작 방식이 있다. 1. 동시성(Concurrency): 하나의 processor가 여러가지 task를 동시에 수행하는 개념 2. 병렬성(Parallelism): 유사한 task를 여러 processor가 동시에 수행하는 것 => 병렬성과 동시성이 함께 적용될 시 효율이 극대화된다. 동기Symchronous vs 비동기Asynchronous 바운드bound: 어떤 일을 바로 하지 못하고 대기해야 하는 일이 발생한 것 동기: 앞 작업이 종료되기를 기다렸다가 다음 작업을 수행하는 것, 어떤 일이 순차적으로 실행된다. 요청과 요청에 대한 응답이 연속적으로 실행된다.(따라서 요청에 지연이 발생하더라도 계속 대기한다.) 비동기: 바운드 되고 있는 작업을 기다리는 동안 다른 일을..

아이유팬이 좋아할만한 다른 아티스트 찾기 협업 필터링(Collaborative Filtering): 다수의 사용자의 아이템 구매 이려 정보로 사용자간 유사성 및 아이템 간 유사성 파악 아이템과 사용자 간의 행동 또는 관계에 주목한다. (아이템 자체의 고유한 속성에는 주목하지 않는다.) * 협업 필터링을 바로 사용할 수 없는 상황 1. 시스템이 충분한 정보를 모으지 못한 사용자나 아이템에 대해 추론을 할 수 없는 상태(콜드 스타트)인 상황 2. 계산량이 너무 많아 추천의 효율이 떨어지는 상황 3. 사용자의 관심이 저조한 항목의 정보가 부족하여 추천에서 배제되는 상황 콘텐츠 기반 필터링(Contents-based Filtering): 아이템의 고유한 정보를 바탕으로 아이템 간 유사성 파악 아이템 자체의 속성..

사이킷런을 활용한 추천 시스템 입문 추천 시스템 1. 범주형 데이터를 다룬다: 액션, 로맨스, 스릴러 등이 영화 item 데이터와 a, b, c 같은 user 데이터를 취급한다. 2. (숫자 벡터로 변환한 뒤) 유사도를 계산한다: 범주형 데이터들을 좌표에 나타내는데, 좌표에 나타내기 위해서는 숫자로 이뤄진 벡터(numerical vector)로 변환해야 한다. 그리고 그 거리를 계산하여 유사도를 계산한다. 코사인 유사도 두 벡터 간의 코사인 값을 이용해 두 벡터의 유사도를 계산한다. 코사인 유사도는 두 벡터의 방향이 이루는 각에 코사인을 취해 구하는데, 두 벡터의 방향이 동일한 경우는 1, 90도의 각을 이루면 0, 반대방향이면 -1을 가진다. 따라서 코사인 유사도는 -1 ~ 1의 값이고, 1에 가까울 ..

정보이론 정보 이론 information theory: 추상적인 정보라는 개념을 정리하고, 정보의 저장과 통신을 연구하는 분야 정보를 정량적으로 표현하기 위해 필요한 조건 3가지 1. 일어날 가능성이 높은 사건은 정보량이 낮고, 반드시 일어나는 사건에는 정보가 없는 것이나 마찬가지이다. 2. 일어날 가능성이 낮은 사건은 정보량이 높다. 3. 두 개의 독립적인 사건이 있을 때, 전체 정보량은 각각의 정보량을 더한 것과 같다. Entropy 특정 확률분포를 따르는 사건들의 정보량 기댓값 손실함수: 머신러닝에서 모델이 나타내는 확률 분포와 데이터가 따르는 실제 확률 분포 사이의 차이를 나타내는 함수 목차 - Information Content - Entropy - Kullback Leibler Devergen..