본문 바로가기

반응형
전체 글 70

컨테이너(Container)와 도커 (Docker) 컨테이너에 대해서 알아보기 전에 가상화를 보고 오자 컨테이너 이전의 가상화 일반적으로 쉽게 사용한 가상화기술로 가상머신(Virtual Machine)이 있다. 가상머신은 운영체제 인스턴스 하나를 구획화(Compartmentalizing)가 필요한 애플리케이션 각가에 할당하는 방식으로 '분리'를 제공한다. 따라서 거의 완전히 환경을 분리시킬 수 있는 방법이지만, 상당한 비용이 수반된다. 각 운영 인스턴스가 앱 자체에 상당한 메모리와 CPU 파워를 소비하고 있기 때문이다. 컨테이너 (Container) 애플리케이션과 애플리케이션을 구동하는 환경을 격리하는 공간을 뜻하며, 호스트 OS의 커널을 공유하면서 격리된 컴퓨팅 자원을 제공하는 가상화 기술 가상 머신(VM)은 하드웨어 스택을 가상화하지만, 컨테이너는 운.. 2020. 12. 28.
Cloud Computing, 특징, 서비스 유형, 배치 모델 Cloud 컴퓨팅과 특징, 서비스 유형(IaaS/Paas/Saas), 배치 모델 등에 대해서 알아보겠습니다. 클라우드 컴퓨팅 (Cloud Computing) 클라우드(인터넷)을 통해 가상화된 컴퓨터의 시스템 리소스를 요구하는 즉시 제공하는 것 쉽게 말해 서버, 스토리지, DB, 네트워크, 애플리케이션, 서비스 등의 자원이 필요할 때 인터넷을 통해 서비스 형태로 제공받아 이용하는 형식 아마존 AWS, 구글 GCP, 마이크로소프트 Azure 등 장점 유연한 IT 인프라 관리: IT인프라를 실시간으로 자유롭게 조정 가능 신속한 인프라 도입: IT인프라 도입에 들어가는 시간을 절감 예상치 못한 트래픽 폭주 대응: 트래픽이 폭주할 경우 이것에 맞춰 재빨리 인프라를 늘릴 수 있음 클라우드 서비스 유형 IaaS: I.. 2020. 12. 20.
Inception & Xception Overview 2019년 9월에 오픈소스 컨트리뷰톤 Semantic Segmentation Zoo 프로젝트에 참여한 경험이 있다. Semantic Segmentation Zoo 프로젝트라고 하면, 여러가지 Segmentation 모델(쉽게 말해 픽셀 단위로 물체를 인지)들을 모아놓은 프로젝트이다. 당시 이 프로젝트에서 DeepLabV3의 backbone 모델로 쓰기 위한 Xception 모델 개발을 진행했는데, 오늘은 이 Xecption모델과 뿌리 모델인 Inception에 대해서 작성하고자 한다. Xception은 2016년 Google이 논문을 통해 발표한 CNN모델로, Inception에 기초를 두고 있다. 2015년 ILSVRC대회에서 2등을 한 Google의 Inception V3모델보다 훨씬.. 2020. 12. 20.
CNN(Convolutional Neural Network) 구조와 용어 이해하기 CNN은 필터링 기법을 인공신경망에 적용함으로써 이미지를 효과적으로 처리하는 것을 목표로한다. 기본 개념은 행렬로 표현된 필터의 각 요소가 데이터 처리에 적합하도록 학습되게 하자는 것이다. 머신러닝을 공부하면서 - 필터라는 걸 통해서 특징을 추출하는 것은 알겠는데, 그래서 어떻게 기계가 그림을 인지한다는 거지? - 필터의 원리는 뭘까..? 수학 식으로 이차저차해서 뭔가 결과가 나오는 것은 알겠는데, 그래서 필터가 어떻게 특징을 추출해? 라는 생각을 해본 경험이 있습니다. 의문을 해결하기 위해 각종 원리를 찾아보았는데, 제 입장에서는 머릿속에 쉽게 들어오지 않았던 용어들과 식들로 인해 이해는 이해대로 안되고, 흥미는 흥미대로 잃는 경우가 많았었습니다. 그러다 조대협님의 블로그에서 해당 내용과 관련하여 쉽게.. 2020. 12. 9.
인공지능, 데이터 마이닝, 머신러닝, 딥러닝의 차이점 오늘은 AI와 관련해서 작성해보고자 합니다. 처음 AI를 접하게 되면, 비슷해보이는 개념에 다른 용어들이 마구 나오는 것을 볼 수 있습니다. 대표적으로 데이터 마이닝 (Data mining), 머신러닝(ML), 인공지능(AI), 딥러닝이 여기에 해당되는데, 뭐가 다른지 잘 모르고 용어를 혼용해서 사용하는 경우가 많습니다. 오늘은 이 4가지 용어에 대해서 차이점을 명확하게 정리해보는 시간을 갖겠습니다. 인공지능 (Artificial Intelligence) 기계학습을 뛰어 넘는 분석기법으로 시스템에 추론능력을 제공한다. 인간 지능의 한 단면을 기계가 모방한 시스템 이전의 패턴이나 지도를 보지 않고도 추론을 통해 구성요소들과 사건 간의 관계를 밝혀낸다. 데이터마이닝 (Data mining) 다양한 관점에서 .. 2020. 12. 9.
Spark 3.0 한 번에 정리하기 Overview 본 포스트는 Spark Release 3.0 공식 페이지의 Jira 티켓을 참고하여 작성하였습니다. Spark 3.0에서 향상된 기능은 Structed streaming, MLlib의 library, SQL, DataFrame의 API에도 영향을 미침 최적화와 관련된 다양한 것들이 추가 Spark 3.0은 Spark 2.4보다 약 2배 빠름 (30TB 환경의 TCP-DS) Spark SQL: Release에서 가장 많이 변화, 해결된 티켓의 46% PySpark: 기능과 사용성이 개선 Python의 타입 힌트와 새로운 padas UDF(User Defined Function) type를 포함하여 pandas의 UDF API를 재설계 더 나은 Python스러운 에러 핸들링이 포함 Other.. 2020. 12. 4.
반응형

티스토리툴바