본문 바로가기

반응형
전체 글 70

Machine Learning 개념 인공지능, 데이터 마이닝, 머신러닝, 딥러닝의 차이점 인공지능, 데이터 마이닝, 머신러닝, 딥러닝의 차이점 오늘은 AI와 관련해서 작성해보고자 합니다. 처음 AI를 접하게 되면, 비슷해보이는 개념에 다른 용어들이 마구 나오는 것을 볼 수 있습니다. 대표적으로 데이터 마이닝 (Data mining), 머신러닝(ML), dalsacoo-log.tistory.com 머신러닝의 분류 Supervised Statistical Learning (지도 · 감독 학습) Input을 기반으로 Output(정답/Response)을 예측하거나 추정하는 기법입니다. 레이블링된(Output이 적혀있는) 훈련 데이터를 학습하여 모델을 만들고, 레이블링이 되지 않은 테스트 데이터를 모델에 적용하여 입력된 데이터에 대해서 맞는 답을.. 2022. 6. 16.
[Spring] library dependency version이 바뀌는 이슈 해결 Intro 스프링 프로젝트에서 0.9버전의 old kafka 라이브러리(kafka_2.10:0.9.0.0)를 사용할 일이 있었는데요. 해당 라이브러리와 의존관계가 있는 kafka-client 버전이 로컬에서 0.9에서 2.3.1로 변경되는 것을 확인했습니다. 문제는 2.3.1 version이 붙어서 잘 되면 상관없지만... old kafka와 kafka 2.x의 인터페이스가 많이 바뀌었다보니 특정 메서드를 찾지 못하는 에러가 발생했습니다. 사실 단순히 0.9버전의 kafka-client lib의 디펜던시를 받아서 사용하면 문제는 해결되었는데요. 저의 경우엔 관련해서 프로젝트를 뒤져봐도 2.3.1버전의 kafka-client dependency를 추가하지 않았는데 2.3.1버전으로 잡히는 것이 이상하여 좀.. 2022. 4. 12.
Mac 터미널 세팅과 꾸미기 Intro Mac pro를 받고 다시 터미널을 세팅하려니 어떻게 세팅했는지 새까맣게 까먹었다. 미래를 나를 위해 정리해두는 터미널 첫 세팅과 꾸미는 방법.. (다음번엔 빠르게 샤삭하자) Iterm2, Homebrew, zsh 설치 Iterm2 terminal을 대체해 더 다양한 기능을 제공해주는 애플리케이션 iterm2 홈페이지에서 다운로드: https://iterm2.com/ iTerm2 - macOS Terminal Replacement iTerm2 by George Nachman. Website by Matthew Freeman, George Nachman, and James A. Rosen. Website updated and optimized by HexBrain iterm2.com brew m.. 2022. 2. 1.
Impala Query Performance - EXPLAIN 계획과 Query 프로파일 ※ CDH6 Impala Docs의 Understanding Impala Query Performance 를 번역하였습니다. Intro Impala 쿼리에 대한 높은 수준의 성능 고려 사항을 이해하려면, 쿼리에 대한 EXPLAIN 문의 출력을 읽으세요. 실제로 쿼리 자체를 실행하지 않고도 EXPLAIN 계획을 얻을 수 있습니다. 쿼리의 physical performance 특성에 대한 개요를 보려면, 쿼리 실행 직후 impala-shell에서 SUMMARY 문을 실행하십시오. 이 요약된 정보는 가장 많은 시간이 소요된 실행 단계와 각 단계의 메모리 사용량 및 행 수에 대한 추정치를 실제 값과 비교하는 방법을 보여줍니다. 쿼리에 대한 자세한 성능 특성을 이해하려면 쿼리 실행 직후 impala-shell에서.. 2021. 11. 11.
CDH6 HBase2 X Impala2 쿼리 튜닝 ※ Cloudera 공식 문서의 impala_hbase 를 번역했습니다. Using Impala to Query HBase Tables | 6.3.x | Cloudera Documentation The Impala INSERT statement works for HBase tables. The INSERT ... VALUES syntax is ideally suited to HBase tables, because inserting a single row is an efficient operation for an HBase table. (For regular Impala tables, with data files in HDFS, the tiny d docs.cloudera.com HBase 열에 지원되는 .. 2021. 11. 11.
2021/11/10 끄적 잠이 안와 끄적이는 오늘의 포스팅♡ 요즘 너무 정신없이 흘러가서 블로그 정리를 못하고 있다. (사실 변명...ㅋ.ㅋ...) 하루일과가 너무 바쁘게 흘러가는데.. 솔직히 10시가 아니라 8시, 7시에 일어나면 더 많은 것을 할 수 있을 것 같다만.. 아직까진 아침에 뇌가 잘 안굴러가는 느낌이다. (일 할때마다 느껴짐..ㅠㅠ) 2주동안 부트캠프 실전반하면서 아침형인간을 하다가 일할때 피곤한게 계속 느껴져서, 다시 생활패턴을 원래대로 돌렸다. 중고딩때부터 이미 올빼미로 지내서 그런지 아침형인간으로 적응하는 건 어렵게 느껴진다ㅠ 요즘 나름 알찬 생활을 지내고 있다고 자부하지만, 매번 블로그 글을 작성하는건 망설이게 된다. 글쓰는 것보다 조잘대는 걸 좋아하는 탓인가...ㅋㅋ 아무튼 요즘 일상은 일하고-책읽고-수다.. 2021. 11. 10.
반응형