728x90 반응형 분류 전체보기 71 [Apache Pinot #2] Apache Pinot의 컨셉과 아키텍처 Concept Pinot은 대규모 데이터 셋에서 짧은 지연시간 쿼리를 제공하도록 설계되었습니다. 이 성능을 달성하기 위해 Pinot은 데이터를 columnar format으로 저장하고 추가 인덱스를 추가하여 빠른 필터링, 집계 및 그룹화를 수행합니다. raw data는 small data shards로 나뉩니다. 각 shard는 segment(세그먼트)라는 단위로 변환됩니다. 하나 이상의 세그먼트가 table(테이블)이라는 단위로 형성됩니다. 이 테이블은 SQL/PQL을 사용하여 Pinot에서 쿼리하기 위한 논리적 컨테이너입니다. Pinot storage model 아래 용어는 Pinot의 스토리지 모델 및 인프라 구성 요소를 설명합니다. Segment Pinot에는 수평으로 확장되는 분산 시스템 아키텍.. 2023. 4. 17. [Apache Pinot #1] Apache Pinot 소개 Introduction Apache Pinot은 대기 시간이 짧고 처리량이 많은 분석을 위해 특별히 제작된 실시간 분산 OLAP 데이터 저장소이며 user-facing analytical workloads에 적합합니다. Pinot은 실시간 분산 온라인 분석 처리(OLAP) 데이터 저장소로, 매우 높은 처리량에서도 매우 낮은 대기 시간 분석을 제공하도록 특별히 제작되었습니다. Apache Kafka 및 Amazon Kinesis와 같은 스트리밍 데이터 소스에서 직접 수집하고 즉시 쿼리할 수 있는 이벤트를 만들 수 있습니다. 또한 Hadoop HDFS, Amazon S3, Azure ADLS 및 Google Cloud Storage와 같은 배치 데이터 소스에서 수집할 수도 있습니다. 시스템의 중심에는 짧은 .. 2023. 4. 16. 인천공항 제2터미널 마티나라운지 위치와 후기 친구들과 오랜만에 방콕으로 여행을 다녀왔어요! 비행기 출발시간이 저녁 8시쯤이여서 저녁쯤가면 사람들이 많을 것 같아 일찍 도착했는데요ㅎ 출국수속하고 어디갈까하다 마티나라운지에 다녀왔습니다~ 마티나 라운지 인천공항 T2 운영시간: 7:00 - 22:00 위치: 출국수속 후 43Gate 인근 4층 가격: 성인 39USD / 어린이 17USD 마티나 라운지 입구에요ㅎ 3시 쯤 도착했는데 줄도 없고 사람도 많이 없었어요. 제2터미널이 1터미널보다 사람이 적어서 더 그런 것 같아요. 입구에서 카운터 쪽으로 가면 점원분께서 여권확인과 결제 및 PP카드 혜택 확인 절차를 하시더라구요~ 저는 갖고있는 신용카드 혜택 중에 연 1회 무료 혜택이 있어서 무료로 이용할 수 있었네요^^ 내 카드가 PP카드인지 궁금하다면 더 라.. 2023. 2. 25. [한티/대치 맛집] 가츠오 대치점 (돈카츠) 최근에 돈카츠에 빠져서 주 1회씩 먹었지뭐에요..ㅋㅋㅋㅋ 이날도 돈카츠가 너무나도 땡겨서 집 근처 돈카츠집을 열심히 찾아봤는데.. 진짜 맛집을 찾았어요!! 가츠오 대치점 대표메뉴: 쿠로고마 안심흑가츠 영업시간: 11시 30분 - 20시 30분 (15시 - 17시 브레이크타임 / 14시 30분, 20시 라스트오더) 본점은 교대에 있는 것 같고, 한티역쪽에는 생긴지 1년도 안된 것 같았어요ㅎ 입장 전 웨이팅이 10분정도 있었고, 직원분이 적어서인지 테이블을 한번에 몰아서 치우는 느낌이었어요. 대표사진 삭제 가츠오의 메뉴판 이 집의 대표메뉴는 "쿠로고마 안심 흑가츠" 쿠로고마는 검은깨라는 뜻으로, 검은 깨 빵가루를 이용해서 돈가츠를 만들어서 고소한 풍미를 더한 메뉴라고 설명하고 있어요. 메뉴판을 보면 알듯 가.. 2023. 1. 30. [Hadoop] HiveServer2 Introduction HiveServer2(HS2)는 클라이언트가 Hive에 대해 쿼리를 실행할 수 있도록 하는 서비스입니다. HiveServer2는 더 이상 사용되지 않는 HiveServer1의 후속 제품입니다. HS2는 다중 클라이언트 동시성 및 인증을 지원합니다. JDBC 및 ODBC와 같은 개방형 API 클라이언트에 대한 더 나은 지원을 제공하도록 설계되었습니다. HS2는 Thrift 기반 Hive 서비스(TCP 또는 HTTP)와 웹 UI용 Jetty 웹 서버를 포함하는 복합 서비스로 실행되는 단일 프로세스입니다. HS2 Architecture Thrift 기반 Hive 서비스는 HS2의 핵심이며 Hive 쿼리(예: Beeline에서) 서비스를 담당합니다. Thrift는 교차 플랫폼 서비스를 구.. 2023. 1. 13. Local Cache에 대하여 (Spring Cache, Caffeine/Ehcache, Redis Client-side caching..) 글을 쓰게된 배경 Redis와 같은 Global Cache는 팀 내에서 거의 필수적으로 사용하고 있지만, Local cache는 자주 사용되지는 않고 있었습니다. 사실 Local cache는 서버마다 지역적으로 데이터를 저장해 관리를 하다보니 모든 서버의 싱크를 맞추는 것은 힘들지만, 잘 변하지 않는 데이터를 가져오거나 더 높은 성능을 요구할 땐 Local cache까지도 고려해보는 것도 좋은 전략인 것 같아 알아보게 되었습니다. Cache란? 먼저 Cache란, 반복적으로 데이터를 불러올 때 지속적으로 DBMS 혹은 서버에 요청하는 것이 아닌 메모리에 데이터를 저장하였다가 데이터를 불러다가 쓰는 것을 의미합니다. 그러다보니 서버나 DBMS에 부담을 덜어주고, 빠르기 때문에 많은 서비스에서 도입하여 사용.. 2022. 9. 1. 이전 1 2 3 4 5 ··· 12 다음 728x90 반응형
