데이터 레이크란 무엇인가요?
데이터 레이크는 모든 규모의 정형 및 비정형 데이터를 저장할 수 있는 중앙 집중식 리포지토리입니다. 먼저 데이터를 구조화하지 않고도 데이터를 있는 그대로 저장할 수 있고 대시보드 및 시각화에서 빅 데이터 처리, 실시간 분석, 기계 학습에 이르기까지 다양한 유형의 분석을 실행하여 더 나은 의사 결정을 내릴 수 있도록 안내합니다.
데이터 레이크가 필요한 이유는 무엇입니까?
데이터에서 비즈니스 가치를 성공적으로 창출하는 조직은 경쟁자를 능가할 것입니다. Aberdeen 설문조사에 따르면 데이터 레이크를 구현한 조직은 유기적 수익 성장률에서 동종 기업보다 9% 더 높은 성과를 보였습니다. 이러한 리더들은 데이터 레이크에 저장된 로그 파일, 클릭스트림 데이터, 소셜 미디어, 인터넷 연결 기기 등과 같은 새로운 소스를 통해 기계 학습과 같은 새로운 유형의 분석을 수행할 수 있었습니다. 이를 통해 고객을 유치 및 유지하고, 생산성을 높이고, 선도적으로 디바이스를 유지 관리하고, 정보에 입각한 결정을 내림으로써 비즈니스 성장 기회를 더 빠르게 식별하고 이에 따라 조치를 취할 수 있었습니다.
데이터 레이크와 분석 솔루션의 필수 요소는 무엇입니까?
조직은 데이터 레이크와 분석 플랫폼을 구축할 때 다음과 같은 여러 주요 기능을 고려해야 합니다.
데이터 이동
데이터 레이크를 사용하면 실시간으로 수신되는 모든 양의 데이터를 가져올 수 있습니다. 데이터는 여러 소스에서 수집되어 원래 형식으로 데이터 레이크로 이동합니다. 이 프로세스를 사용하면 데이터 구조, 스키마 및 변환을 정의하는 시간을 절약하면서 모든 크기의 데이터로 확장할 수 있습니다.
데이터를 안전하게 저장하고 카탈로그 작성
데이터 레이크를 사용하면 운영 데이터베이스, 업무용 애플리케이션 데이터 등의 관계형 데이터와 모바일 앱, IoT 기기, 소셜 미디어와 같은 비관계형 데이터를 저장할 수 있습니다. 또한 데이터의 크롤링, 카탈로그 작성 및 인덱싱을 통해 레이크에 어떤 데이터가 있는지 파악할 수 있습니다. 마지막으로, 데이터 자산을 보호하려면 데이터의 보안을 유지해야 합니다.
분석
데이터 레이크를 사용하면 데이터 사이언티스트, 데이터 개발자, 비즈니스 분석가와 같은 조직의 다양한 역할이 선택한 분석 도구 및 프레임워크를 사용하여 데이터에 액세스할 수 있습니다. 여기에는 Apache Hadoop, Presto, Apache Spark와 같은 오픈 소스 프레임워크와 데이터 웨어하우스 및 비즈니스 인텔리전스 공급업체의 상용 제품이 포함됩니다. 데이터 레이크를 사용하면 데이터를 별도의 분석 시스템으로 이동할 필요 없이 분석을 실행할 수 있습니다.
기계 학습
데이터 레이크를 통해 조직은 과거 데이터를 보고하고 예상 결과를 예측하도록 모델을 구축하고, 최적의 결과를 달성하기 위해 규정된 다양한 조치를 제안하는 기계 학습을 수행하는 등 다양한 유형의 인사이트를 생성할 수 있습니다.
데이터 웨어하우스는 데이터 레이크와 어떻게 다릅니까?
요구 사항에 따라 일반적인 조직에는 요구 사항과 사용 사례가 서로 다른 데이터 웨어하우스와 데이터 레이크가 모두 필요합니다.
데이터 웨어하우스는 트랜잭션 시스템과 비즈니스 애플리케이션 라인에서 오는 관계형 데이터를 분석하도록 최적화된 데이터베이스입니다. 데이터 구조 및 스키마는 빠른 SQL 쿼리에 최적화하기 위해 미리 정의되며, 이 경우 결과는 일반적으로 운영 보고 및 분석에 사용됩니다. 데이터는 사용자가 신뢰할 수 있는 "단일 정보 소스" 역할을 하도록 정제, 강화 및 전환됩니다.
데이터 레이크는 업무용 애플리케이션의 관계형 데이터와 모바일 앱, IoT 기기 및 소셜 미디어의 비관계형 데이터를 저장한다는 점에서 다릅니다. 데이터 또는 스키마의 구조는 데이터를 캡처할 때 정의되지 않습니다. 즉, 신중하게 설계하거나 향후 어떤 질문에 대한 답변이 필요한지 알 필요가 없이 모든 데이터를 저장할 수 있습니다. SQL 쿼리, 빅 데이터 분석, 전체 텍스트 검색, 실시간 분석 및 기계 학습과 같은 데이터에 대한 다양한 유형의 분석을 사용하여 인사이트를 발견할 수 있습니다.
데이터 웨어하우스를 보유한 조직은 데이터 레이크의 이점을 인식하면서 데이터 레이크를 포함하고 새로운 정보 모델을 발견하기 위한 다양한 쿼리 기능, 데이터 과학 사용 사례 및 고급 기능을 지원하도록 웨어하우스를 발전시키고 있습니다. Gartner는 이러한 진화를 “분석을 위한 데이터 관리 솔루션” 또는 “DMSA”라고 부릅니다.
데이터 레이크와 데이터 웨어하우스를 심층적으로 비교하려면 데이터 레이크와 데이터 웨어하우스에 대한 전용 비교 페이지를 방문하세요.
데이터 레이크의 가치는 무엇입니까?
더 짧은 시간에 더 많은 소스에서 더 많은 데이터를 활용하고, 사용자가 다양한 방식으로 협업하고 데이터를 분석할 수 있도록 지원하면 더 효과적이고 빠른 의사 결정을 내릴 수 있습니다. 데이터 레이크가 부가 가치를 창출한 예시는 다음과 같습니다.
고객 상호 작용 개선
데이터 레이크는 CRM 플랫폼의 고객 데이터를 소셜 미디어 분석, 구매 내역이 포함된 마케팅 플랫폼, 인시던트 티켓과 결합하여 비즈니스가 가장 수익성이 높은 고객 집단, 고객 이탈의 원인, 충성도를 높일 프로모션 또는 보상을 파악할 수 있도록 지원합니다.
R&D 혁신 선택 개선
데이터 레이크는 R&D 팀이 가설을 테스트하고, 가정을 구체화하고, 결과를 평가하는 데 도움이 될 수 있습니다. 예를 들어 제품 설계에서 올바른 재료를 선택하여 성능을 높이고, 게놈 연구를 수행하여 약물 효과를 높이거나, 다양한 특성에 대한 고객의 지불 의향을 파악할 수 있습니다.
운영 효율성 증대
사물 인터넷(IoT)은 인터넷 연결 장치에서 제공되는 실시간 데이터를 통해 제조와 같은 프로세스에 대한 데이터를 수집하는 더 많은 방법을 도입했습니다. 데이터 레이크를 사용하면 기계 생성 IoT 데이터를 쉽게 저장하고 분석을 실행하여 운영 비용을 줄이고 품질을 높이는 방법을 찾을 수 있습니다.
데이터 레이크의 어려움에는 무엇이 있나요?
데이터 레이크 아키텍처의 주요 문제는 콘텐츠에 대한 감독 없이 원시 데이터가 저장된다는 것입니다. 데이터 레이크가 데이터를 사용할 수 있게 하려면 데이터를 분류하고 보호할 수 있는 정의된 메커니즘이 있어야 합니다. 이러한 요소가 없으면 데이터를 찾을 수 없고 신뢰할 수 없어 “데이터 늪지”가 발생합니다.” 더 많은 청중의 요구를 충족하려면 데이터 레이크에 거버넌스, 시맨틱 일관성 및 액세스 제어 기능이 있어야 합니다.
클라우드에 데이터 레이크를 어떻게 배포합니까?
클라우드는 성능, 확장성, 안정성, 가용성, 다양한 분석 엔진 세트 및 대규모 경제를 제공하므로 데이터 레이크는 클라우드에 배포하기에 이상적인 워크로드입니다. ESG 연구에 따르면 응답자의 39%가 분석을 위한 기본 배포로 클라우드를 고려했으며, 41%는 데이터 웨어하우스를 고려하였고 43%는 Spark를 고려했습니다. 고객이 클라우드를 데이터 레이크의 장점으로 인식한 가장 큰 이유는 향상된 보안, 배포 시간 단축, 가용성 향상, 특성/기능 업데이트 빈도 증가, 탄력성 향상, 지리적 범위 확대, 실제 활용에 따른 비용 등입니다.
AWS는 데이터 레이크 요구 사항을 어떻게 지원하나요?
AWS는 업계에서 가장 안전하고 확장 가능하고 포괄적이고 경제적인 서비스 포트폴리오를 바탕으로 고객이 클라우드에서 데이터 레이크를 구축하고, 기계 학습을 포함한 다양한 분석 접근법을 사용하여 IoT 디바이스의 데이터를 비롯한 모든 데이터를 분석할 수 있게 해 줍니다. 그 결과 NETFLIX, Zillow, NASDAQ, Yelp, iRobot 및 FINRA와 같은 고객들이 비즈니스 크리티컬 분석 워크로드를 실행하는 데 AWS를 신뢰하면서 AWS에서 데이터 레이크 및 분석 도구를 운영하는 조직이 그 어느 곳보다 많아졌습니다.
지금 계정을 만들어 AWS에서 데이터 레이크를 시작하세요.
