Amazon OpenSearch Ingestion을 사용한 데이터 모으기

Amazon OpenSearch Ingestion은 데이터를 수집, 변환 및 Amazon OpenSearch Service 도메인으로 라우팅하는 Amazon OpenSearch Service의 기능입니다. OpenSearch Ingestion은 비용 효율성을 높이고 데이터 품질을 보장합니다. OpenSearch Ingestion Service는 모으기 워크로드의 처리 요구 사항에 따라 자동으로 확장되는 서버리스 프로세스로 OpenSearch Data Prepper 파이프라인을 실행합니다. 자세히 알아보기 »

Amazon S3와 Amazon OpenSearch Service 제로 ETL 통합

Amazon OpenSearch Service와 Amazon S3의 통합은 데이터에 연결하는 새로운 방법입니다. 이를 통해 고객은 제로 ETL을 사용하여 Amazon S3 데이터 레이크에 저장된 자주 쿼리되지 않는 데이터에 대해 OpenSearch Service의 풍부한 대화형 기능을 직접 사용할 수 있습니다. S3와의 제로 ETL 연결을 통해 고객은 복잡한 ETL 파이프라인을 구축하거나 관리할 필요가 없으므로 인사이트를 도출하고 보안 및 통합 가시성 데이터를 시각화하는 데 중요한 쿼리를 수행하면서 동시에 데이터를 복제하거나 여러 분석 도구를 관리하는 데 따르는 비용과 운영 복잡성을 줄일 수 있습니다. 자세히 알아보기 >>

DynamoDB와의 제로 ETL 통합

Amazon OpenSearch Service의 제로 ETL과 Amazon DynamoDB의 통합을 통해 Amazon DynamoDB의 운영 데이터에 대해 전체 텍스트 및 벡터 검색과 같은 고급 검색 기능을 사용할 수 있습니다. 이 제로 ETL 통합은 Amazon OpenSearch 수집을 사용하여 사용자 지정 코드를 작성할 필요 없이 Amazon DynamoDB의 데이터를 Amazon OpenSearch Service로 원활하게 동기화합니다. 이러한 제로 ETL 통합은 두 스토어 간에 데이터를 동기화하는 데 드는 운영 부담과 비용을 줄여 애플리케이션에 집중할 수 있도록 합니다. 자세히 알아보기 >>

Amazon Kinesis Data Firehose를 사용한 데이터 모으기

Amazon Kinesis Firehose를 사용하면 자체 데이터 처리 파이프라인을 구축할 필요 없이 데이터 원본의 원시 스트리밍 데이터를 Elasticsearch 또는 OpenSearch 인덱스에서 요구하는 형식으로 손쉽게 변환하고, 이를 Amazon OpenSearch Service로 로드할 수 있습니다.

이 기능을 사용하려면 AWS 관리 콘솔의 Amazon Kinesis Firehose 전송 스트림 구성 탭에서 AWS Lambda 함수를 선택하기만 하면 됩니다. Amazon Kinesis Firehose가 자동으로 AWS Lambda 함수를 모든 입력 데이터 레코드에 적용하고 변환된 데이터를 Amazon OpenSearch Service 인덱스로 로드합니다.

Amazon Kinesis Firehose는 변경 없이 사용하거나 Apache 로그 및 시스템 로그와 같은 일반 데이터 소스를 JSON 및 CSV 형식으로 변환할 수 있도록 사용자 지정할 수 있는 사전에 구축된 Lambda 청사진을 제공합니다. 또한, 실패한 작업을 자동으로 재시도하고 원시 스트리밍 데이터를 백업하도록 Amazon Kinesis Firehose를 구성할 수도 있습니다. 자세히 알아보기 »

 

Logstash를 사용한 데이터 수집

Amazon OpenSearch Service는 소스에서 데이터를 수집하고 이를 변환한 후 Elasticsearch 또는 OpenSearch로 로드하는 오픈 소스 데이터 처리 도구인 Logstash와의 통합을 지원합니다. 간단하게 Logstash를 Amazon EC2에 배포하고, Amazon OpenSearch Service 도메인을 Logstash 구현을 통해 수신되는 모든 로그에 대한 백엔드 스토어로 설정할 수 있습니다. Logstash는 패턴 매칭을 통해 비정형 로그 데이터를 정형 데이터로 구문 분석, 데이터 레코드 필드의 이름 변경, 제거, 교체 및 수정, 그리고 지표 집계와 같은 일반적인 변환을 손쉽게 수행할 수 있도록 사전에 구축된 필터 라이브러리를 지원합니다. 자세히 알아보기 »

Amazon CloudWatch Logs를 사용한 데이터 수집

Amazon CloudWatch Logs를 사용하면 기존 시스템, 애플리케이션 및 사용자 정의 로그 파일을 이용하여 시스템 및 애플리케이션을 모니터링하고 문제를 해결할 수 있습니다. CloudWatch Logs 구독을 통해 데이터를 Amazon OpenSearch Service 도메인으로 거의 실시간으로 스트리밍하도록 CloudWatch Logs 로그 그룹을 구성할 수 있습니다. 이미 CloudWatch Logs를 사용하여 로그 데이터를 수집하고 있으며 수집한 데이터를 Amazon OpenSearch Service 사용자와 공유하려는 경우 이러한 수집 방법이 편리합니다. 자세히 알아보기 »

AWS IoT를 사용한 데이터 수집

AWS IoT는 연결된 디바이스가 쉽고 안전하게 클라우드 애플리케이션 및 다른 디바이스와 상호 작용할 수 있게 해 주는 관리형 클라우드 플랫폼입니다. AWS IoT를 사용하면 가전제품, 내장 센서, TV 셋톱 박스 등과 같은 커넥티드 디바이스의 데이터를 캡처할 수 있습니다. AWS 관리 콘솔을 사용하여 데이터를 Amazon OpenSearch Service로 직접 로드하도록 AWS IoT를 구성할 수 있으므로, 고객에게 IoT 데이터 및 지표에 대한 거의 실시간 액세스를 제공할 수 있습니다. 자세히 알아보기 »

적합한 수집 메커니즘을 선택하는 방법

어떤 수집 메커니즘이 적합한지는 데이터 지연 시간이나 데이터 유형과 같은 사용 사례 요구 사항에 따라 달라집니다. 데이터 볼륨이 큰 경우, 데이터 처리량에 맞춰 자동으로 확장되며 지속적인 관리가 필요 없는 완전관리형 서비스인 Amazon Kinesis Data Firehose를 사용하는 것이 좋습니다. 또한, 이 서비스에서는 데이터를 Amazon OpenSearch Service 도메인으로 로드하기 전에 변환, 압축 및 배치 처리를 수행할 수 있습니다. 이미 사용 중인 서비스가 무엇인지에 따라 수집 메커니즘을 선택하는 경우가 많습니다. 예를 들어 이미 Amazon CloudWatch Logs를 사용하여 애플리케이션 로그를 수집하고 있는 경우, 추가 작업 없이 간단하게 해당 데이터를 Amazon OpenSearch Service 도메인으로 로드할 수 있습니다.

다음 단계

OpenSearch에는 Elasticsearch B.V. 및 다른 소스 코드의 특정 Apache 라이선스 Elasticsearch 코드가 포함됩니다. Elasticsearch B.V.는 다른 소스 코드의 소스가 아닙니다. ELASTICSEARCH는 Elasticsearch B.V.의 등록 상표입니다.

Amazon OpenSearch Service 요금에 대해 자세히 알아보기

요금 페이지로 이동하기
구축할 준비가 되셨습니까?
Amazon OpenSearch Service 시작하기
추가 질문이 있으십니까?
AWS에 문의하기