빅스데이터는 스노우플레이크 기반하에 태블로의 시각화 구축 역량을 통해

데이터 분석과 비즈니스 인사이트를 극대화할 수 있습니다.

1. 데이터 처리 효율성 향상

스노우플레이크의 강력한 데이터 처리 능력과 태블로의 시각화 기능을 결합하면 데이터 처리 효율성이 크게 향상됩니다. 스노우플레이크는 대규모 데이터를 빠르게 처리하고, 태블로는 이를 직관적으로 시각화하여 분석 결과를 쉽게 이해할 수 있도록 합니다.

2. 비용 절감

스노우플레이크의 클라우드 네이티브 아키텍처는 서버리스 환경을 제공하여 인프라 비용을 절감합니다. 태블로와 함께 사용하면 데이터 볼륨의 유연성을 확보하고, 오버헤드 비용을 줄일 수 있습니다.

3. 데이터 통합 및 관리

스노우플레이크는 다양한 데이터 소스를 통합하여 관리할 수 있는 기능을 제공합니다. 태블로는 이러한 데이터를 시각화하여 다양한 리포트를 생성할 수 있습니다. 이를 통해 데이터 사일로를 제거하고, 모든 데이터를 한 곳에서 관리할 수 있습니다.

4. 실시간 분석 및 의사 결정

스노우플레이크의 실시간 데이터 처리 기능과 태블로의 실시간 시각화 기능을 결합하면 빠른 의사 결정을 지원할 수 있습니다. 예를 들어, 팀프레시는 스노우플레이크와 태블로를 사용하여 실시간으로 데이터를 분석하고, 배송과 관련된 의사 결정을 효율적으로 수행했습니다.

5. 협업 및 데이터 공유

스노우플레이크는 안전한 데이터 공유 기능을 제공하여, 기업 간 또는 부서 간 협업을 촉진합니다. 태블로는 이러한 데이터를 시각화하여 공유할 수 있어 협업을 더욱 원활하게 합니다.

문의하기

스노우플레이크는 다양한 AI 기능을 제공하여 데이터 분석과 비즈니스 인사이트를 극대화할 수 있습니다. 주요 AI 기능은 다음과 같습니다:

1. Cortex AI

데이터 탐색 및 처리: 생성형 AI 코파일럿을 통해 데이터 탐색과 처리를 효율적으로 수행합니다.

Document AI: 비정형 문서 데이터를 이해하고 활용할 수 있도록 지원합니다.

Cortex Chat: 스노우플레이크 데이터를 기반으로 챗봇을 생성하여 자연어 질문에 대한 답변을 제공합니다.

2. Arctic LLM

오픈 소스 LLM: Mixture-of-Experts (MoE) 아키텍처를 통해 높은 지능과 효율성을 제공합니다.

텍스트 임베딩 모델: 검색 사용 사례에 최적화된 텍스트 임베딩 모델을 포함합니다.

3. Snowpark

다양한 프로그래밍 언어 지원: Python, Java, Scala 등 다양한 언어로 AI/ML 모델을 개발하고 배포할 수 있습니다.

데이터 파이프라인 구축: 안정적이고 연속적인 데이터 파이프라인을 대규모로 구축할 수 있습니다

4. AI 데이터 클라우드

데이터 에이전트 및 AI 모델 배포: 데이터와 AI 모델을 안전하게 통합하고 배포할 수 있습니다.

비정형 데이터 처리: 다양한 유형의 데이터를 처리하여 분석 범위를 확장합니다

이러한 기능들을 통해 스노우플레이크는 데이터와 AI를 결합하여 기업의 혁신을 가속화하고, 데이터 기반의 의사 결정을 지원합니다.

문의하기

스노우플레이크 클라우드 데이터 웨어하우스(DW)는 다양한 비즈니스 시나리오에서 활용될 수 있습니다.

1. 데이터 통합 및 분석

스노우플레이크는 다양한 데이터 소스를 통합하여 분석할 수 있는 강력한 플랫폼을 제공합니다. 이를 통해 기업은 데이터 사일로를 제거하고, 모든 데이터를 한 곳에서 관리하며 실시간 분석을 수행할 수 있습니다.

2. 고객 인사이트 및 마케팅

스노우플레이크를 사용하면 고객 데이터를 통합하여 보다 깊이 있는 인사이트를 얻을 수 있습니다. 이를 통해 맞춤형 마케팅 캠페인을 설계하고, 고객 경험을 개선할 수 있습니다.

3. 실시간 데이터 처리

스노우플레이크는 실시간 데이터 처리를 지원하여 빠른 의사 결정을 가능하게 합니다.

예를 들어, 월드컵, 명절과 같은 특정 시점의 주문 폭증에 대응하기 위해 스노우플레이크를 도입하여 실시간 분석을 수행했습니다.

4. 데이터 공유 및 협업

스노우플레이크는 안전한 데이터 공유 기능을 제공하여, 기업 간 또는 부서 간 협업을 촉진합니다. 펩시코는 스노우플레이크를 통해 전 세계 파트너 간 데이터를 효율적으로 공유하고 있습니다.

5. 비용 절감 및 성능 향상

스노우플레이크는 클라우드 네이티브 아키텍처를 통해 비용을 절감하고 성능을 향상시킵니다. 후킷은 스노우플레이크를 도입하여 쿼리 런타임을 30배 개선하고 인프라 비용을 40% 절감했습니다.

문의하기

온프레미스 데이터소스와 스노우플레이크 클라우드 데이터 웨어하우스(DW)를 사용할 때 네트워크 구성과 데이터 적재 방법은 다음과 같습니다:

○ 네트워크 구성

VPN 또는 전용 회선: 온프레미스 데이터센터와 클라우드 간의 안전한 연결을 위해 VPN(가상 사설망) 또는 전용 회선을 사용합니다. 이를 통해 데이터 전송 시 보안을 강화할 수 있습니다.

데이터 게이트웨이: 온프레미스 데이터소스와 클라우드 DW 간의 연결을 관리하는 데이터 게이트웨이를 설정합니다. 이 게이트웨이는 데이터 전송을 최적화하고, 연결 상태를 모니터링합니다.

방화벽 설정: 온프레미스와 클라우드 간의 네트워크 트래픽을 제어하기 위해 방화벽 규칙을 설정합니다. 이를 통해 허용된 IP 주소만 접근할 수 있도록 합니다.

○ 데이터 적재 방법

ETL/ELT 도구 사용: Fivetran, Matillion, Talend, Informatica, dbt와 같은 ETL/ELT 도구를 사용하여 데이터를 추출, 변환, 로드합니다. 

이 도구들은 온프레미스 데이터소스에서 데이터를 추출하여 스노우플레이크로 로드하는 과정을 자동화합니다.

데이터 파이프라인 구축: 데이터 파이프라인을 구축하여 온프레미스 데이터소스에서 클라우드 DW로 데이터를 지속적으로 전송합니다. 이를 통해 실시간 데이터 적재가 가능합니다.

API 및 커넥터 사용: 스노우플레이크는 다양한 API와 커넥터를 제공하여 온프레미스 데이터소스와의 통합을 지원합니다. 이를 통해 데이터 적재를 쉽게 수행할 수 있습니다.

이러한 방법들을 통해 온프레미스 데이터소스와 스노우플레이크 클라우드 DW 간의 네트워크 구성과 데이터 적재를 효율적으로 관리할 수 있습니다.

문의하기

데이터 파이프라인은 전통적인 방식으로 원천 데이터를 추출하고, 모델링된 테이블에 넣기 위해 변환 후 적재하는 ETL(추출, 변환, 로드) 방식이 있습니다.

현재는 데이터를 먼저 추출하고 로드 한 다음, 데이터가 대상에 도달하면 변환하는 ELT 방식을 선호하는 형태로 바뀌고 있습니다. 해당 방식은 특히 클라우드에서 많이 사용되며 ETL대비 훨씬 뛰어난 확장성과 유연성을 지원합니다.

Extract(추출), Load(로드), Transform(변환) 위 3가지 작업의 순서에 따라 ETL과 ELT로 구분이 됩니다.

ETL과 ELT의 비교자료

관련된 도구들을 예로 들면 다음과 같은 것들이 있습니다.

Fivetran: 자동화된 데이터 통합을 제공하며, 다양한 소스에서 데이터를 추출하여 스노우플레이크로 로드할 수 있습니다.

Matillion: 클라우드 기반의 ETL 도구로, 사용하기 쉬운 인터페이스와 강력한 데이터 변환 기능을 제공합니다.

Talend: 오픈 소스 데이터 통합 도구로, 다양한 데이터 소스와의 연결을 지원하며, 스노우플레이크와의 통합도 원활합니다.

Informatica: 엔터프라이즈급 데이터 통합 솔루션으로, 복잡한 데이터 파이프라인을 관리하고 스노우플레이크와의 통합을 지원합니다.

dbt (data build tool): ELT 도구로, SQL을 사용하여 데이터 변환 작업을 수행하며, 스노우플레이크와의 통합이 잘 되어 있습니다

그외 국산 ETL툴도 적용이 가능합니다.

각각의 장단점이 있으므로, 사용자의 요구사항과 환경에 맞춰 선택하는 것이 중요합니다.

DBT를 사용하여 Snowflake에서 ELT 파이프라인 실행하기

문의하기

스노우플레이크 클라우드 DW의 도입비용을 많이 문의하십니다.

스노우플레이크 장점 중 하나가 과금 방식인데 다른 SaaS 기업과 다른 구독 기반의 크레딧 소비 기반입니다.

○ 크레딧 소비 기준이란?

- 데이터를 딱 사용한 만큼만 초단위로 정산

- 미 사용시 자동 절전

여기에 추가로 데이터의 사용량을 절감하기 위한 압도적인 압축율을 제공합니다.

스노우플레이크 클라우드 DW의 도입비용을 정확히 얼마라고 제시할 수 있는 것은 없으나

최소한의 비용으로 시작할 수 있음을 알려드리고 싶습니다.

사용한 만큼 비용을 지불하는 구조이기 때문에 초기 구죽 비용 부담이 적고 어떻게 사용할 것인지가 비용을 효율적으로 사용하는 방법이기도 합니다.

데이터 규모가 크지 않다면 데이터 플랫폼의 최소 사양인 '엑스트라스몰'로 서비스 이용을 시작해도 DW 어플라이언스 장비에 준하는 성능을 기대할 수 있습니다.

비용과 관련된 것이 인건비 입니다.

스노우플레이크는 모든 기능을 SQL로 제어할 수 있어 관련 엔지니어가 많아 진입 장벽이 낮고 적은 인원으로 구축할 수 있습니다.

데이터가 많아지고 업무 성수기에는 간단히 SQL 조작만으로 성능을 높이거나 줄일 수 있어 비용 효율화에도 최적입니다.

문의하기

스노우플레이크(Snowflake)는 MPP(Massively Parallel Processing) 아키텍처 기반의 클라우드 데이터 웨어하우스입니다.  

스타 스키마 설계가 성능과 비용 측면에서 더 적합합니다.  

snowflake schema는 다차원 테이블로 인해 조인이 많고 복잡하여 쿼리 성능이 저하되고 불필요한 비용 발생으로 권장하지 않습니다. 

권장 스키마: 스타 스키마 (Star Schema)

구성

• Fact Table: 측정값 (예: 매출, 방문 수 등)

• Dimension Table: 속성 정보 (예: 고객, 제품, 지역 등)

이유

• 조인이 단순하고 명확해 쿼리 최적화가 용이

• 분석 쿼리에 특화되어 있고, BI 도구와의 연동 시 효율적

• 스노우플레이크의 자동 클러스터링, 쿼리 캐시, 마이크로 파티셔닝 기능과 잘 어울림

  
  

• 항목	권장전략
  정규화	차원 테이블은 반정규화하여 조인을 최소화함
  키 타입	숫자형 PK 사용을 권장함.
  날짜 처리	Date 차원 테이블 사용
  파티셔닝	직접 파티션 필요하지 않음.(자동 마이크로 파티셔닝 적용)
  클러스터링키	대용량 테이블에만 설정

• 완전한 SaaS 기반 클라우드 DW로, 인프라 관리가 불필요

• 컴퓨팅 영역과 스토리지영역이 완전히 분리되어 있어 유연한 확장 가능

• 멀티 클러스터 아키텍처로 병렬 쿼리 성능 우수

문의하기

• ETL 도구(Talend, Informatica, dbt 등)와 연동 가능

• 스키마 자동 변환 및 데이터 이관 자동화 도구 제공

• 마이그레이션 전문 파트너 또는 Snowflake 프로페셔널 서비스 활용 가능

스노우플레이크 도입시 사용할 수 있는 클라우드 인프라는  AWS, Azure, GCP 모두 지원하며, 선택한 클라우드 리전에 따라 배포가 가능 합니다.  성능, 기능, 가능지역(리전), 비용,기존 데이터소스와의 통합을 고려하여 선택하셔야 합니다.

• AWS: 가장 안정적이며, 대부분의 기업에서 AWS + Snowflake + Tableau 의 조합으로 많이 도입함.

• Azure: Microsoft 제품군 중심으로 사용하는 기업에 적합

• GCP: 데이터 중심의 스타트업/테크/게임 업체에 적합. 한국 리전 지원 여부는 확인이 필요함.