뮤트 개발일지

카카오와 손잡은 지니너스…"유전 정보로 맞춤 건강관리"

박뮤트 — Wed, 4 May 2022 21:15:17 +0900

✔️ 핵심 요약

카카오헬스케어와 MOU
AI 플랫폼으로 정밀 진단
생활습관 솔루션 등 제공

✔️ 본문

유전체 분석업체 지니너스가 카카오헬스케어와 함께 유전자 정보를 기반으로 한 평생 건강관리 서비스를 제공한다.

지니너스는 카카오헬스케어와 초개인화 정밀의료 서비스 등의 내용을 담은 디지털 헬스케어 파트너십 업무협약(MOU)을 체결했다고 2일 밝혔다. 이에 따라 두 회사는 소비자 직접 의뢰(DTC) 개인 유전체 진단 서비스와 정밀의료 인공지능(AI) 플랫폼 사업 등을 공동으로 추진하게 된다.

유전체 데이터를 바탕으로 한 생애주기별 건강관리 사업을 함께 운영할 계획이다. DTC 검사를 통해 얻은 유전체 데이터와 개인별 생활습관 등을 기반으로 각 개인에게 적합한 건강 관리법을 제시하겠다는 목표다.

DTC 검사 서비스 운영 경험이 있는 지니너스와 정보기술(IT) 역량을 갖춘 카카오헬스케어가 시너지 효과를 낼 수 있을 것으로 기대를 모으고 있다. 지니너스는 세포 하나하나를 분석할 수 있는 단일세포(싱글셀) 분석 기술, 암 유전체 분석 솔루션 등을 보유했다. 일반인을 대상으로 한 건강검진 유전자 검사 서비스 ‘헬스스캔’을 통해 5000건의 한국인 데이터를 확보했으며, DTC 검사 서비스도 상용화하는 등 관련 업계를 선도하고 있다.

지난 3월 카카오에서 따로 나온 카카오헬스케어는 의료 데이터 표준화 등 모바일 기반의 디지털 헬스케어 생태계를 구축하고 있다. 건강관리 서비스 개발 과정에서 AI 기술 적용 등을 지원할 예정이다. 이를 위해 카카오브레인, 카카오엔터프라이즈 등 카카오의 다른 계열사와도 협업할 계획이다.

박웅양 지니너스 대표는 “세계적으로 개인 유전체 분석 서비스를 기반으로 한 맞춤형 건강관리 시장이 꾸준히 커지고 있다”며 “디지털 기술과 빅데이터에 기반해 고객들에게 가치 있는 헬스케어 플랫폼 서비스를 제공할 것”이라고 말했다. 황희 카카오헬스케어 대표 역시 “모바일 헬스케어를 통한 초개인화 건강관리 서비스를 위해선 임상정보 외에도 유전체 정보와의 연계가 필요하다”며 “다양한 경험을 보유한 지니너스와 협업해 시너지를 창출할 수 있을 것”이라고 밝혔다.
이선아 기자 suna@hankyung.com

✔️ 추가 조사 내용

- 스마트 헬스케어

https://ko.wikipedia.org/wiki/%EC%8A%A4%EB%A7%88%ED%8A%B8_%ED%97%AC%EC%8A%A4%EC%BC%80%EC%96%B4

스마트 헬스케어 - 위키백과, 우리 모두의 백과사전

스마트 헬스케어 (혹은 디지털 헬스케어)는 개인의 건강과 의료에 관한 정보, 기기, 시스템, 플랫폼을 다루는 산업분야로서 건강관련서비스와 의료 IT가 융합된 종합의료서비스이다. 그리고 개

ko.wikipedia.org

✔️ 현직자에게 물어볼 점

1. 정보 보안에 대한 이슈는 없는지?

2. 건강관리 서비스 개발에서 AI의 역할은? 어떤 알고리즘을 사용하는지?

✔️ 기사 원문

https://www.hankyung.com/it/article/2022050281641

카카오와 손잡은 지니너스…"유전 정보로 맞춤 건강관리"

카카오와 손잡은 지니너스…"유전 정보로 맞춤 건강관리", 카카오헬스케어와 MOU AI 플랫폼으로 정밀 진단 생활습관 솔루션 등 제공

www.hankyung.com

새벽 6시 생산 '초코파이' 4시간만에 '띵동'…카카오, AI 유통 '혁신' [IT돋보기]

박뮤트 — Tue, 3 May 2022 19:35:43 +0900

✔️ 핵심 요약

카카오엔터프라이즈, 인공지능(AI) 기반 물류 생태계 플랫폼 '카카오 i 라스(kakao i LaaS)' 공식 출범
화주: 최적의 물류센터 이용 / 주문, 창고 및 재고 관리, 배송 등 정보 확인 가능
회원사: 물류센터 효율적 운영 가능, 고객 유치 비용 절감

✔️ 본문

카카오 i 라스(Kakao i LaaS) 공식 출범…'라스 온 2022' 개최

[아이뉴스24 박진영 기자] "카카오i 라스을 통해 물류가 연결되면 (상품이) 더 맛있어질 수 있다. 청주공장에서 새벽 6시에 생산한 오리온 초코파이를 4시간 후 집에서 받아볼 수 있는 경험을 제공할 수 있다"

백상엽 카카오엔터프라이즈 대표가 카카오i 라스(Kakao i LaaS) 기반 미래 물류 생태계에 대한 카카오엔터프라이즈의 비전에 대해 발표하고 있다. [사진=카카오엔터프라이즈]

카카오엔터프라이즈(대표 백상엽)는 3일 웨스틴조선 서울에서 열린 '라스 온 2022(LaaS ON 2022)'를 통해 카카오가 꿈꾸는 스마트 물류 생태계에 대해 이같이 설명했다. 이날 인공지능(AI) 기반 물류 생태계 플랫폼 '카카오 i 라스(Kakao i LaaS)'를공식 출범했다.

카카오엔터프라이즈는 카카오만의 플랫폼 노하우와 쉽고 편리한 사용성, 언제 어디서나 모바일로 연결되는 연결성에 더해, 고도화된 AI와 검색, 데이터 분석 역량을 제공함으로써 물류 업계의 진정한 디지털 전환을 돕겠다는 방침이다.

백상엽 카카오엔터프라이즈 대표는 "국내 이커머스 시장 규모가 올해 210조원이 예상될 정도로 가파르게 성장하고 있는데, 이커머스의 핵심은 물류"라면서, "물류업무에서 디지털 전환의 필요성이 높아진 반면, 실제 대응은 미진한 상황"이라고 지적했다.

이어 "카카오가 그리는 스마트 물류 혁신의 핵심은 연결이다. 화주와 물류센터를 연결하고, 회사가 보유한 최신기술을 통해 보다 쉽고 빠르게 물류 서비스를 활용할 수 있도록 도울 것이다"고 강조했다.

카카오엔터프라이즈는 기존 물류 업계가 효율성, 유연성, 디지털화 측면에서 겪고 있던 어려움을 근본적으로 해결하기 위해 디지털 전환을 돕는 기술과 솔루션을 제공할 계획이다.

백 대표는 "물류 설비 등을 직접 구축하려면 수많은 자원이 투입돼야 하고, 3PL 고정 계약시 시스템 유연성을 갖기 어려울 뿐더러, 비즈니스 측면에서 디지털화가 상당히 낙후돼 있는 편"이라면서, "카카오엔터프라이즈의 AI, 클라우드 기술을 기반으로 이러한 문제를 해결해 줄 것"이라고 밝혔다.

카카오엔터프라이즈는 판매, 주문, 창고 관리까지 누구나 쉽게 물류를 관리할 수 있도록 돕는 플랫폼 '카카오 i 라스'를 내놓았다. 여행객과 숙박 업체를 매칭하는 숙박 매칭 서비스처럼 화주(화물업체)와 회원사(물류센터)도 쉽고 편리하게 서로를 연결·매칭해 주겠다는 컨셉이다.

화주는 최적의 물류센터를 손쉽게 찾아 이용할 수 있어 물류비를 절감한다. 또 주문부터 창고 및 재고 관리, 배송 등 물류 전 단계에 대한 정보를 한 눈에 파악할 수 있다. 회원사는 기존에는 비워둘 수 밖에 없었던 물류센터 공간을 효율적으로 운영할 수 있어 새로운 수익을 창출하는 것은 물론, 고객 유치에 대한 비용도 줄일 수 있다.

백 대표는 카카오엔터프라이즈 파트너인 'LaaS 프론트 러너'들과 윈윈(win-win)할 수 있는 더 나은 물류 생태계를 만들어 가겠다고 강조했다. 앞서, 회사는 파트너들과 함께 카카오 i 라스를 고도화하고 모범 사례를 구축해왔다. 지난해 7월 hy와의 업무협약(MOU)을 시작으로, 동원디어푸드, 오리온 등 다양한 기업과 꾸준히 협력하고 있다.

김원태 카카오엔터프라이즈 LaaS 사업부문장이 화주와 회원사 간 연결을 통해 새로운 물류 생태계를 만들어 나갈 카카오i 라스(Kakao i LaaS)를 소개하고 있다. [사진=카카오엔터프라이즈]

아울러 다양한 네트워크를 기반으로 글로벌 확장성에 대한 비전도 소개했다. 글로벌 커머스 플랫폼과 다국어 번역 서비스 등이 더해지면 전 세계에 위치한 카카오i 라스 회원사를 만나고 해외에 위치한 물류센터를 이용할 수 있다는 설명이다.

김원태 라스(LaaS) 사업부문장은 "플랫폼의 확장성을 통해 국제운송 파트너나 수출입 관련 기업들과도 연결될 수 있다. 이는 글로벌 물류 전체와도 연결될 수 있다는 의미"라면서, "카카오i 라스가 물류계 에어비앤비로 성장할 수 있기를 기대한다"고 밝혔다.

한편, 이날 '라스 온 2022' 행사에는 물류 업계·학계 전문가 약 1300명이 온오프라인으로 참여했으며, 물류 혁신의 미래에 대해 논의하는 라운드테이블도 진행됐다. 민정웅 인하대 물류전문대학원 교수가 좌장으로 참여한 라운드테이블에서는 hy, 이지스자산운용, 중앙일보 M&P, 메쉬코리아, JBL, 비와이앤블랙야크, 한국 SCM 학회 등이 참여해 물류 업계 디지털 트랜스포메이션에 대한 의견을 나누었다.

/박진영 기자(sunlight@inews24.com)

✔️ 추가 조사 내용

- 기존 스마트 물류 센터

https://www.ksg.co.kr/news/main_newsView.jsp?pNum=130221

인공지능·로봇이 관리하는 물류...

물류산업 성장과 전자상거래 확산, 그리고 1인가구의 증가, 대...

www.ksg.co.kr

✔️ 현직자에게 물어볼 점

1. 물류 확인과 관련된 부분은 CV를 이용하는지?

2. 최적의 물류 센터 서치 기능은 어떤 알고리즘인지? 추천시스템?

✔️ 기사 원문

https://www.inews24.com/view/1476741

새벽 6시 생산 '초코파이' 4시간만에 '띵동'…카카오, AI 유통 '혁신' [IT돋보기]

[아이뉴스24 박진영 기자] "카카오i 라스을 통해 물류가 연결되면 (상품이) 더 맛있어질 수 있다. 청주공장에서 새벽 6시에 생산한 오리온 초코파이를 4시간 후 집에서

www.inews24.com

카카오브레인이 보는 AI 가상인간의 현재와 미래

박뮤트 — Mon, 2 May 2022 22:04:58 +0900

✔️ 핵심 요약

1. 아이들이 말을 배우는 모습과 머신러닝이 학습하는 모습이 유사하여, 이를 이용해 AI 모델 개발을 할 수 있을 것
2. 온라인 환경에서 AI 가상인간은 활용도가 높고, 넓어질 것
3. RQ-Transformer 개발

✔️ 본문

가상인간 '로지'의 모습. [사진=로지 소셜미디어 갈무리]

스스로 생각하고 말하는 인공지능(AI) 가상인간은 언제 개발될 수 있을까?

카카오브레인은 지난 27일 밤 카카오톡 오픈채팅방 보이스룸에서 '디지털 휴먼과 AI 가상 캐릭터'를 주제로 실시간 토크세션을 진행했다. 김일두 카카오브레인 대표와 박병은 부사장, 김재인 사업개발팀장이 발표자로 참여했다.

이날 세션에서는 빠르면 3년 내 AI 가상인간이 나올 수 있다는 전망이 나왔다.

김 대표는 "대화 상대에 따라 직접 생각하고 대답하는 수준의 AI 모델이 빠르면 3~5년 내 만들어질 것으로 보인다. 수학 문제를 읽고, 이를 코딩으로 변환해 문제를 풀어내는 AI는 이미 나와 있다. 여기서 조금만 더 발전하면 금방 도달할 수 있다"고 강조했다.

인간과 상호작용하며 대화가 가능한 AI 가상인간을 제작하기 위해선 대규모 데이터로 학습시킨 언어모델이 필수다. 이에 국내외에서 고도화된 언어모델 연구에 한창이지만 현재로선 기술 수준이 미흡한 상태. 정해진 시나리오대로 말하는 AI가 시장 대다수를 차지하고 있다. AI 콜센터 직원, 은행원 등이 대표적이다.

만약 조금이라도 시나리오에서 벗어난 상황에 놓이거나, 복잡한 사고를 해야 하는 경우 AI는 제대로 대응할 수 없다. 짜인 각본대로 말하는 건 쉬워도 대화를 주고받으면서 분위기를 맞추는 건 어렵다는 얘기다. 감정 교류 역시 불가능하다.

상호작용이 가능한 가상인간을 만들기 위해선 고도화된 언어모델이 필수다. 대규모 데이터를 학습시켜야 하는데, 이 과정에서 자본과 시간이 대거 투입된다. 하지만 지름길은 있다는 게 카카오브레인 측 의견이다. 카카오브레인은 어린아이가 언어를 배우는 과정에 주목했다.

◆ "아이들 말 배우는 모습, 머신러닝 학습과정과 유사…사람 같은 AI 모델 실현 기대"

김 대표는 "(24개월 된 아이가 있는데) 본인이 말하는 게 무슨 뜻인지 모르면서, 그다음에 말할 단어를 맞히는 식으로 (언어를) 배우더라. 예를 들면 '엄마 옷은 핑크'라고 알려주면 핑크가 무슨 의미인지 모르지만 옷과 핑크를 연결한다. 또 '자동차는 블루'라고 알려주면 블루가 무슨 뜻인지 몰라도 자동차 하면 곧바로 블루가 입 밖으로 튀어나오는 식"이라고 실제 경험을 말했다. 쉽게 말해, 다음에 올 단어를 잘 만들어내는 '넥스트 토크 제너레이터' 단계에 불과하다고 했다.

하지만 아이가 색깔의 개념을 알게 되면 실제 파란색인 물체를 보고 '블루'라고 말할 수 있다. 김 대표는 "어느 순간 아이가 '블루'가 뭔지 알기 시작하더라라. 이후부터는 파란색을 봤을 때 블루라는 단어를 말하기 시작했다. 이러한 경험을 해보니 뇌과학이나 어떤 인텔리전스 성장을 잘 찾아보면 (AI 언어모델 학습과) 접점이 있을 수도 있겠다고 생각했다"고 덧붙였다.

두 아이를 키우고 있는 박 부사장도 의견을 더했다. 먼저 그는 "둘째가 첫째 말을 따라 할 때 되게 또 비슷한 현상이 있다"고 운을 뗐다.

이어 "본인은 무슨 말인지 모르는데 누나가 어떤 얘기를 하니까 따라 한다. 그 말을 이해하지 못하더라도 말소리를 따라 하는 거다. 소리를 따라 하다가 비슷한 단어를 책에서 보면 붙여보고 (맞는지) 눈치를 본다. 이 말이 맞았나 틀렸나. 어떻게 보면 머신러닝의 학습과정과 되게 비슷하다고 본다"고 했다.

김 팀장 역시 "아이들은 알지 못하지만 말을 먼저 하지 않나. 그런 다음 말을 하는 동시에 그걸 또 생각하고… 이후 점점 더 개념을 익혀 나가는 것처럼 컴퓨터도 마찬가지다. 모델 학습 시 '말할 수 있으니까 너 잘하고 있어, 근데 너 그거 이해해야 돼' 이런 식으로 진행하다 보면 결국에는 사람 같은 컴퓨터 혹은 모델이 되지 않을까 기대한다"고 말했다.

◆ "디지털 휴먼 소통방식, 온라인 환경에서 가상 인플루언서나 실제 사람과 다르지 않아"

인간과 소통이 어렵더라도 가상인간 자체로 갖는 시장 가치가 큰 것은 사실이다.

김 대표는 "수아 등 가상인간이 이미 마케팅적인 부분에서 많이 활동하고 있다. 전형적인 마케팅 사례다. 지능적인 측면도 중요하지만 가상인간 외형만 갖고도 할 수 있는 영역이 여전히 많을 것 같다. 마케팅 분야가 아니더라도 말이다"라고 말했다.

박 부사장은 "이제는 시각적으로는 조금 더 실제감에 가까운 기술적인 환경이 마련됐고, 디지털 휴먼이 '콘텐츠'로서 활동할 수 있는 제반 플랫폼이나 소셜미디어가 활발하게 운영되고 있다"고 말했다. 이어 "인스타그램을 포함해 굉장히 많은 서비스들이 활용될 수 있다는 점도 영향이 있다. 이와는 별개로 은행원 등 디지털 휴먼으로서 역할을 이미 하고 있지 않나"라고 했다.

김 팀장도 "업체 홍보 시 가상 인플루언서를 매개로 보다 적극적으로 커뮤니케이션하게 되는 것 같다. 실제 사람과 소통할 때도 온라인 방식으로 많이 하지 않나. 디지털 휴먼이라고 해서 의사소통하는 방식이 다르지 않다"고 봤다.

그러면서 "최근 활동을 열심히 하고 있는 '로지' 등의 가상 인플루언서가 더 영역을 확장하면 사람들과 소통을 더 잘할 수 있지 않을까 하는 기대감이 있다"고 덧붙였다.

◆ '생각하지 못한 물음' 도전하는 카카오브레인…초거대 AI 모델 기술 연구개발 집중

카카오브레인은 국내 본사를 둔 AI 기술 연구개발(R&D) 업체다. 회사 미션은 '생각하지 못한 물음(Unthinkable Question)'에 도전하는 것이다. 모두가 더 나은 삶을 살 수 있도록 혁신을 불러일으키자는 의미에서 비롯됐다. 카카오브레인은 민달리(minDALL-E), KoGPT, CLIP·ALIGN 등 사람들의 삶의 질 향상에 중점을 둔 AI 서비스·모델을 다수 개발했다.

최근 카카오브레인은 민달리의 업그레이드 버전인 이미지 생성 모델(RQ-Transformer)을 오픈소스 커뮤니티 깃허브에 공개하기도 했다. 39억개의 매개변수로 구성된 이 모델은 3000만쌍의 텍스트와 이미지를 학습한 '텍스트-투-이미지' AI 모델이다. 계산 비용을 줄이고 이미지 생성 속도를 높인 동시에 이미지의 품질을 크게 향상시킨 것이 특징이다. 카카오브레인은 이 모델이 공공 목적을 위해 활용될 것이라고 기대하고 있다.

RQ-Transformer 모델은 민달리 대비 모델 크기는 3배, 이미지 생성 속도와 학습 데이터셋 크기는 2배 늘렸다. 특히 민달리의 경우 미국의 AI 개발 기업 '오픈AI'가 공개한 'DALL-E'를 재현하는 것에 가까웠지만, RQ-Transformer는 카카오브레인만의 독자적인 기술로 개발됐다는 점에서 차이가 있다.

✔️ 추가 조사 내용

- RQ-Transformer github:

https://github.com/kakaobrain/rq-vae-transformer

GitHub - kakaobrain/rq-vae-transformer: The official implementation of Autoregressive Image Generation using Residual Quantizati

The official implementation of Autoregressive Image Generation using Residual Quantization (CVPR '22) - GitHub - kakaobrain/rq-vae-transformer: The official implementation of Autoregressive Ima...

github.com

- minDALL-E github:

https://github.com/kakaobrain/minDALL-E

GitHub - kakaobrain/minDALL-E: PyTorch implementation of a 1.3B text-to-image generation model trained on 14 million image-text

PyTorch implementation of a 1.3B text-to-image generation model trained on 14 million image-text pairs - GitHub - kakaobrain/minDALL-E: PyTorch implementation of a 1.3B text-to-image generation mod...

github.com

✔️ 현직자에게 물어볼 점

1. 음성 데이터의 처리 방법

2. 감성분석, 퀴즈 등의 방법을 넘어선 스스로 사고할 수 있는 인공지능의 개발 가능성

✔️ 기사 본문

https://www.ajunews.com/view/20220429075611583

카카오브레인이 보는 AI 가상인간의 현재와 미래 | 아주경제

가상인간 로지의 모습. [사진=로지 소셜미디어 갈무리]스스로 생각하고 말하는 인공지능(AI) 가상인간은 언제 개발될 수 있을까?카카오브레인은 지난 27일 밤 카카...

www.ajunews.com

AIFFEL 아이펠 47일차

박뮤트 — Wed, 16 Mar 2022 12:49:23 +0900

의식의 흐름 글쓰기...

오늘은 해커톤을 준비하는 첫 과정인 기획서를 쓰는 날이었다.

취업하기 전 프로젝트를 하는 데에 시간적 여유가 없기 때문에 이번 프로젝트를 취업과 연결지어서 잘 준비해보고 싶은 마음이 컸다.

그런데 아직 어떤 분야를 해야할 지 감이 안와서 일단은 원티드를 돌아다니며 어떤 요구사항들이 있는지 확인했다.

지금까지 아이펠을 하면서 느낀 점은 모델을 만들고 학습시키는 것보다 데이터를 전처리하고 EDA하는 과정이 더 재밌다는 거였는데,

그래서인지 원티드에서도 머신러닝, 딥러닝 엔지니어보다는 데이터 분석가, 데이터 사이언티스트가 더 눈에 갔다.

그래도 아이펠 해커톤은 진행해야하니 더 알아보는데, 마음에 없는 회사들을 보자니 할 마음이 잘 안생겼다.

그래서 그냥 내가 조금 관심있었던 시각장애인을 위한 서비스를 하면 어떨까했고,

얼마전 시각장애인들은 음료수에 점자 표기가 안 되어있어 종류를 구분하지 못한다는 기사가 떠올랐다.

상품을 찍으면 어떤 제품인지 말해주는 서비스를 생각했다!

이걸 위해 알아본 과정은,

1. 시각 장애인도 스마트폰을 사용할 수 있는가 (이런 것도 잘 몰라서 뭔가 마음이 이상했다.)

2. 한글 OCR도 되는가 (이전에 사용한 keras ocr은 한국어 지원이 안 되는 걸로 알고 있다.)

3. 데이터 셋 찾기

였다.

찾아보니 시각장애인들도 스마트폰 보급률이 높았고,

한글 OCR을 위해서 여러 모델을 참고해야한다는 것, 데이터셋은 AI허브에 올라온 상품 이미지 데이터를 활용하기로 했다.

아래는 참고 사이트!

https://github.com/Wongi-Choi1014/Korean-OCR-Model-Design-based-on-Keras-CNN

GitHub - Wongi-Choi1014/Korean-OCR-Model-Design-based-on-Keras-CNN: Korean OCR Model Design(한글 OCR 모델 설계)

Korean OCR Model Design(한글 OCR 모델 설계). Contribute to Wongi-Choi1014/Korean-OCR-Model-Design-based-on-Keras-CNN development by creating an account on GitHub.

github.com

https://niceman.tistory.com/157?category=1009824

파이썬(Python) - 머신러닝 프로젝트(2) - OCR 이미지 문자열 추출(파이썬)

파이썬 Tesseract - 프로젝트 설명 OCR 추출 부터 이어지는 머신러닝을 활용한 프로젝트 두번 째 포스팅 입니다. 제가 진행하는 프로젝트는 SMS로 수신되는 다양한 이미지 스팸(SPAM) 광고 문자(이미

niceman.tistory.com

https://aihub.or.kr/aidata/34145

상품 이미지

물류창고, 무인 스토어 등에서 탐지, 식별 솔루션에 활용될 수 있는 상품 이미지 데이터

aihub.or.kr

그런데..!

이미 국내에서 이런 서비스를 제공하고 있는 기업이 있더라...ㅠ

설리번+ 라는 서비스인데, 퍼실님께 여쭤보니 이미 시장에 있더라도 괜찮다는 답변을 받아서 이대로 진행해보기로 했다.

한국에는 설리번+, 외국에는 aipoly라는 서비스가 있었다.

(역시 내가 생각한 건 이미 누가 했고... 그래도 누군가 먼저 이런 서비스를 해서 다행이라는 생각이 든다!)

https://www.mysullivan.org/

설리번 플러스

설리번+는 시각장애인 및 저시력자 등 시각의 보조가 필요한 사용자들에게 스마트폰 카메라를 통해 인식한 정보를 알려주는 서비스입니다.

www.mysullivan.org

https://www.aipoly.com/

V7 Aipoly

Artificial Intelligence for the Blind and Visually Impaired. Aipoly is an app that uses Vision AI to recognize objects in real-time. Works in 26 languages and identifies over 5,000 objects.

www.aipoly.com

AIFEEL 아이펠 46일차

박뮤트 — Mon, 14 Mar 2022 14:12:32 +0900

난 스케치를 할 테니 너는 채색을 하거라

조건있는 생성모델 Conditional Generative Adversarial Nets(cGAN)

https://github.com/pjk7565/AIFFEL/blob/main/Exploration17/Pix2Pix.ipynb

GitHub - pjk7565/AIFFEL

Contribute to pjk7565/AIFFEL development by creating an account on GitHub.

github.com

AIFFEL 아이펠 43-45일차

박뮤트 — Mon, 14 Mar 2022 10:31:21 +0900

AIFFEL DATATHON

넷플릭스 데이터 분석: 넷플릭스 전략 분석하기

https://github.com/pjk7565/AIFFEL_Datathon/blob/main/EDA%2Cvisualization/Netflix_Strategy.ipynb

GitHub - pjk7565/AIFFEL_Datathon

Contribute to pjk7565/AIFFEL_Datathon development by creating an account on GitHub.

github.com

AIFFEL 아이펠 42일차

박뮤트 — Mon, 14 Mar 2022 10:29:16 +0900

다음에 볼 영화 예측하기

https://github.com/pjk7565/AIFFEL/blob/main/Exploration16/session_based_recommendation.ipynb

GitHub - pjk7565/AIFFEL

Contribute to pjk7565/AIFFEL development by creating an account on GitHub.

github.com

https://arxiv.org/pdf/1511.06939v4.pdf

AIFFEL 아이펠 41일차

박뮤트 — Fri, 25 Feb 2022 16:32:11 +0900

뉴스기사 크롤링 및 분류

크롤링crawling: 웹 페이지로부터 데이터를 추출하는 행위

크롤러crawler: 크롤링하는 소프트웨어

BeautifulSoup과 newspaper3k를 통해 크롤러 만들기

# 크롤러를 만들기 전 필요한 도구들을 임포트합니다.
import requests
import pandas as pd
from bs4 import BeautifulSoup

# 페이지 수, 카테고리, 날짜를 입력값으로 받습니다.
def make_urllist(page_num, code, date): 
  urllist= []
  for i in range(1, page_num + 1):
    url = 'https://news.naver.com/main/list.nhn?mode=LSD&mid=sec&sid1='+str(code)+'&date='+str(date)+'&page='+str(i)
    headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.90 Safari/537.36'}
    news = requests.get(url, headers=headers)

    # BeautifulSoup의 인스턴스 생성합니다. 파서는 html.parser를 사용합니다.
    soup = BeautifulSoup(news.content, 'html.parser')

    # CASE 1
    news_list = soup.select('.newsflash_body .type06_headline li dl')
    # CASE 2
    news_list.extend(soup.select('.newsflash_body .type06 li dl'))
        
    # 각 뉴스로부터 a 태그인 <a href ='주소'> 에서 '주소'만을 가져옵니다.
    for line in news_list:
        urllist.append(line.a.get('href'))
  return urllist

url_list = make_urllist(2, 101, 20200506)
print('뉴스 기사의 개수: ',len(url_list))
>>> 뉴스 기사의 개수:  40

idx2word = {'101' : '경제', '102' : '사회', '103' : '생활/문화', '105' : 'IT/과학'}

from newspaper import Article

#- 데이터프레임을 생성하는 함수입니다.
def make_data(urllist, code):
  text_list = []
  for url in urllist:
    article = Article(url, language='ko')
    article.download()
    article.parse()
    text_list.append(article.text)

  #- 데이터프레임의 'news' 키 아래 파싱한 텍스트를 밸류로 붙여줍니다.
  df = pd.DataFrame({'news': text_list})

  #- 데이터프레임의 'code' 키 아래 한글 카테고리명을 붙여줍니다.
  df['code'] = idx2word[str(code)]
  return df

data = make_data(url_list, 101)
#- 상위 10개만 출력해봅니다.
data[:10]

데이터 수집 및 전처리

code_list = [102, 103, 105]

from multiprocessing import Pool
import random
import time, os

def make_total_data(page_num, code_list, date):
  start = int(time.time())  
  num_cores = 4  
  df = None
  for code in code_list:
    pool = Pool(num_cores)
    url_list = make_urllist(page_num, code, date)
    df_temp = make_data(url_list, code)
    print(str(code)+'번 코드에 대한 데이터를 만들었습니다.')
    pool.close()
    pool.join()
    time.sleep(random.randint(0,1))
    if df is not None:
      df = pd.concat([df, df_temp])
    else:
      df = df_temp

  print("***run time(sec) :", int(time.time()) - start)
  return df

df = make_total_data(1, code_list, 20200506)

크롤링

# 아래 주석처리된 코드의 주석을 해제하고 실행을 하면 대량 크롤링이 진행됩니다. 
# 위에서 수행했던 크롤링의 10배 분량이 수행될 것입니다. 한꺼번에 너무 많은 크롤링 요청이 서버에 전달되지 않도록 주의해 주세요. 
# 기사 일자를 바꿔보면서 데이터를 모으면 더욱 다양한 데이터를 얻을 수 있게 됩니다. 

df = make_total_data(10, code_list, 20200506)

파일로 저장

import os

# 데이터프레임 파일을 csv 파일로 저장합니다.
# 저장경로는 이번 프로젝트를 위해 만든 폴더로 지정해 주세요.
csv_path = os.getenv("HOME") + "/aiffel/news_crawler/news_data.csv"
df.to_csv(csv_path, index=False)

if os.path.exists(csv_path):
  print('{} File Saved!'.format(csv_path))

AIFFEL 아이펠 40일차

박뮤트 — Thu, 24 Feb 2022 12:27:39 +0900

문자를 읽을 수 있는 딥러닝

OCR(Optical Character Recognition, 광학 문자 인식)

과정)

1. Text Detection(문자 검출): 입력받은 사진 속에서 문자의 위치를 찾는다.

- 방식1) Regression(회귀): 기준으로 하는 박스 대비 문자의 박스가 얼마나 차이나는지 학습한다.

- 방식2) Segmentation(세그멘테이션): 픽셀 단위로 해당 픽셀이 문자를 표현하는지를 분류하는 문제(pixel-wise classification)

2. Text Recognition(문자 인식): 찾은 문자 영역으로부터 문자를 읽어낸다.

- CRNN: 이미지 내의 문자 인식 모델의 기본적인 방법 중 하나. 이미지 내의 텍스트와 연관된 특징을 CNN을 통해 추출한 후, 스텝 단위의 문자 정보를 RNN으로 인식한다.

Ibrahim, Ahmed Sobhy Elnady. End-To-End Text Detection Using Deep Learning. Diss. Virginia Tech, 2017. (https://arxiv.org/abs/1507.05717)

https://tv.naver.com/v/4578167

글자읽는 AI: 밑바닥부터 외국어 정복까지

NAVER Engineering | 글자읽는 AI: 밑바닥부터 외국어 정복까지

tv.naver.com

https://www.youtube.com/watch?v=ckRFBl_XWFg

<keras-ocr 써보기>

import matplotlib.pyplot as plt
import keras_ocr

# keras-ocr이 detector과 recognizer를 위한 모델을 자동으로 다운로드받게 됩니다. 
pipeline = keras_ocr.pipeline.Pipeline()

# Plot the predictions
fig, axs = plt.subplots(nrows=len(images), figsize=(20, 20))
for idx, ax in enumerate(axs):
    keras_ocr.tools.drawAnnotations(image=images[idx], 
                                    predictions=prediction_groups[idx][0], ax=ax)

# Plot the predictions
fig, axs = plt.subplots(nrows=len(images), figsize=(20, 20))
for idx, ax in enumerate(axs):
    keras_ocr.tools.drawAnnotations(image=images[idx], 
                                    predictions=prediction_groups[idx][0], ax=ax)

<Tesseract OCR 써보기>

import os
import pytesseract
from PIL import Image
from pytesseract import Output
import matplotlib.pyplot as plt

# OCR Engine modes(–oem):
# 0 - Legacy engine only.
# 1 - Neural nets LSTM engine only.
# 2 - Legacy + LSTM engines.
# 3 - Default, based on what is available.

# Page segmentation modes(–psm):
# 0 - Orientation and script detection (OSD) only.
# 1 - Automatic page segmentation with OSD.
# 2 - Automatic page segmentation, but no OSD, or OCR.
# 3 - Fully automatic page segmentation, but no OSD. (Default)
# 4 - Assume a single column of text of variable sizes.
# 5 - Assume a single uniform block of vertically aligned text.
# 6 - Assume a single uniform block of text.
# 7 - Treat the image as a single text line.
# 8 - Treat the image as a single word.
# 9 - Treat the image as a single word in a circle.
# 10 - Treat the image as a single character.
# 11 - Sparse text. Find as much text as possible in no particular order.
# 12 - Sparse text with OSD.
# 13 - Raw line. Treat the image as a single text line, bypassing hacks that are Tesseract-specific.

def crop_word_regions(image_path='./images/sample.png', output_path='./output'):
    if not os.path.exists(output_path):
        os.mkdir(output_path)
    custom_oem_psm_config = r'--oem 3 --psm 3'
    image = Image.open(image_path)

    recognized_data = pytesseract.image_to_data(
        image, lang='eng',    # 한국어라면 lang='kor'
        config=custom_oem_psm_config,
        output_type=Output.DICT
    )
    
    top_level = max(recognized_data['level'])
    index = 0
    cropped_image_path_list = []
    for i in range(len(recognized_data['level'])):
        level = recognized_data['level'][i]
    
        if level == top_level:
            left = recognized_data['left'][i]
            top = recognized_data['top'][i]
            width = recognized_data['width'][i]
            height = recognized_data['height'][i]
            
            output_img_path = os.path.join(output_path, f"{str(index).zfill(4)}.png")
            print(output_img_path)
            cropped_image = image.crop((
                left,
                top,
                left+width,
                top+height
            ))
            cropped_image.save(output_img_path)
            cropped_image_path_list.append(output_img_path)
            index += 1
    return cropped_image_path_list


work_dir = os.getenv('HOME')+'/aiffel/ocr_python'
img_file_path = work_dir + '/test1.jpeg'   #테스트용 이미지 경로입니다. 본인이 선택한 파일명으로 바꿔주세요. 

cropped_image_path_list = crop_word_regions(img_file_path, work_dir)

def recognize_images(cropped_image_path_list):
    custom_oem_psm_config = r'--oem 3 --psm 7'
    
    for image_path in cropped_image_path_list:
        image = Image.open(image_path)
        recognized_data = pytesseract.image_to_string(
            image, lang='eng',    # 한국어라면 lang='kor'
            config=custom_oem_psm_config,
            output_type=Output.DICT
        )
        print(recognized_data['text'])
    print("Done")

# 위에서 준비한 문자 영역 파일들을 인식하여 얻어진 텍스트를 출력합니다.
recognize_images(cropped_image_path_list)

AIFFEL 아이펠 39일차

박뮤트 — Wed, 23 Feb 2022 12:49:41 +0900

컴퓨터 파워 UP

멀티태스킹

2가지 동작 방식이 있다.

1. 동시성(Concurrency): 하나의 processor가 여러가지 task를 동시에 수행하는 개념

2. 병렬성(Parallelism): 유사한 task를 여러 processor가 동시에 수행하는 것

=> 병렬성과 동시성이 함께 적용될 시 효율이 극대화된다.

동기Symchronous vs 비동기Asynchronous

바운드bound: 어떤 일을 바로 하지 못하고 대기해야 하는 일이 발생한 것

동기: 앞 작업이 종료되기를 기다렸다가 다음 작업을 수행하는 것, 어떤 일이 순차적으로 실행된다. 요청과 요청에 대한 응답이 연속적으로 실행된다.(따라서 요청에 지연이 발생하더라도 계속 대기한다.)

비동기: 바운드 되고 있는 작업을 기다리는 동안 다른 일을 처리하는 것, 어떤 일이 비순차적으로 실행된다. 요청과 요청에 대한 응답이 연속적으로 실행되지 않는다. 특정 코드의 연산이 끝날 때까지 코드의 실행을 멈추지 않고 다음 코드를 먼저 실행하며, 중간에 실행되는 코드는 주로 콜백함수로 연결하기도 한다.

I/O bound vs CPU bound

속도에 제한이 걸리는 2가지 상황

1. I/O bound: 입력과 출력에서의 데이터(파일)처리에 시간이 소요될 때

2. CPU bound: 복잡한 수식 계산이나 그래픽 작업과 같은 엄청난 계산이 필요할 때

프로세스process

프로그램을 구동하여 프로그램 자체와 프로그램의 상태가 메모리 상에서 실행되는 작업 단위

하나의 프로그램을 실행할 때, 운영체제는 한 프로세스를 생성한다. 프로세스는 운영체제의 커널에서 시스템자원(CPU, 메모리, 디스크) 및 자료구조를 이용한다.

스레드Thread

어떠한 프로그램 내, 특히 프로세스 내에서 실행되는 흐름의 단위

전용 메모리 공간(Heap)을 가진다. 이 때, 해당 프로세스 내의 스레드들은 이 메모리 공간을 공유하지만 다른 프로게스와는 공유하지 않는다. 하나의 프로그램에서 여러 개의 스레드가 병렬적으로 처리되기도 하고, 가벼운 프로그램은 하나의 스레드를 가지기도 한다.

프로파일링Profiling

코드에서 시스템의 어느 부분이 느린지, 혹은 어디서 RAM을 많이 사용하고 있는지를 확인하고 싶을 때 사용하는 기법

어플리케이션에서 가장 자원이 집중되는 지점을 정밀하게 찾아내는 기법, 즉, 코드의 병목bottleneck을 찾아내고 성능을 측정한다.

Scale-Up: 자원을 업그레이드, 최적화 시키는 것. 컴퓨터 한 대의 성능을 최적화 시키는 방법

Scale-Out: 자원을 확장시키는 것. 여러 대의 컴퓨터를 한 대처럼 사용하는 것

파이썬에서 멀티 프로세스 사용하기

p = mp.Process(target=delivery, args=())
p.start() # 프로세스 시작
p.join() # 실제 종료까지 기다림 (필요시에만 사용)
p.terminate() # 프로세스 종료

ProcessPoolExecutor 실습

https://docs.python.org/ko/3.7/library/concurrent.futures.html

concurrent.futures — 병렬 작업 실행하기 — Python 3.7.12 문서

소스 코드: Lib/concurrent/futures/thread.py와 Lib/concurrent/futures/process.py concurrent.futures 모듈은 비동기적으로 콜러블을 실행하는 고수준 인터페이스를 제공합니다. 비동기 실행은 (ThreadPoolExecutor를 사용

docs.python.org

1) 소수 판별 문제

import math
import concurrent

PRIMES = [
    112272535095293,
    112582705942171,
    112272535095293,
    115280095190773,
    115797848077099,
    1099726899285419]

2) 소수 판별 함수 is_prime

def is_prime(n):
    if n < 2:
        return False
    if n == 2:
        return True
    if n % 2 == 0:
        return False

    sqrt_n = int(math.floor(math.sqrt(n)))
    for i in range(3, sqrt_n + 1, 2):
        if n % i == 0:
            return False
    return True

3) 소수 판별 함수 호출

map()함수를 ProcessPoolExecutor()인스턴스에서 생성된 executor에서 실행시킨다.

concurrent.futures 라이브러리의 프로세스 풀에서 동작하게 하기 위해 with 문을 썼다.

def main():
    with concurrent.futures.ProcessPoolExecutor() as executor:
        for number, prime in zip(PRIMES, executor.map(is_prime, PRIMES)):
            print('%d is prime: %s' % (number, prime))

- 프로파일링을 위한 시간 계산 코드 추가

- 단일처리로 수행했을 때의 코드 추가, 단일처리 프로파일링을 위한 시간 계산 코드 추가

import time

def main():
    print("병렬처리 시작")
    start = time.time()
    with concurrent.futures.ProcessPoolExecutor() as executor:
        for number, prime in zip(PRIMES, executor.map(is_prime, PRIMES)):
            print('%d is prime: %s' % (number, prime))
    end = time.time()
    print("병렬처리 수행 시각", end-start, 's')
    
    print("단일처리 시작")
    start = time.time()
    for number, prime in zip(PRIMES, map(is_prime, PRIMES)):
        print('%d is prime: %s' % (number, prime))
    end = time.time()
    print("단일처리 수행 시각", end-start, 's')

코드 실행

main()

병렬처리 시작
112272535095293 is prime: True
112582705942171 is prime: True
112272535095293 is prime: True
115280095190773 is prime: True
115797848077099 is prime: True
1099726899285419 is prime: False
병렬처리 수행 시각 1.9428431987762451 s
단일처리 시작
112272535095293 is prime: True
112582705942171 is prime: True
112272535095293 is prime: True
115280095190773 is prime: True
115797848077099 is prime: True
1099726899285419 is prime: False
단일처리 수행 시각 2.70733380317688 s

병렬처리로 수행하면, 1.94초가 걸리지만 단일처리로 하면 2.7초가 걸린다.