Janssen Pharmaceuticals, Amazon SageMaker를 사용하여 기계 학습 정확도 21% 개선

Janssen Pharmaceuticals(Janssen)는 1961년부터 Johnson & Johnson 산하의 제약 회사 그룹으로, Janssen 치료를 받는 사람들의 환자 경험을 더 잘 이해하기 위해 기계 학습(ML)을 사용합니다. Janssen 데이터 사이언티스트들은 배포 워크플로를 자동화하고 개발 및 생산 환경 간에 더 나은 인터페이스를 만들기 위해 Amazon Web Services(AWS)를 사용했습니다. 거의 모든 사용 사례에 맞는 ML 모델을 구축, 교육 및 배포하는 데 사용할 수 있는 ML 서비스인 Amazon SageMaker를 비롯한 AWS 서비스를 도입하면서 Janssen은 모델 예측 정확도를 21% 향상시키고 특성 추출 속도를 약 700% 높이는 자동화 운영(MLOps) 프로세스를 구현하여 Janssen이 비용을 절감하는 동시에 효율성을 높일 수 있도록 지원했습니다.

Janssen 제품 포트폴리오는 면역학, 감염성 질환, 신경과학 및 종양학을 포함한 광범위한 치료 영역을 다룹니다. Janssen의 수석 데이터 사이언티스트인 Jenna Eun은 “복잡한 치료 과정에서 환자에게 최상의 치료를 제공하는 것은 중요합니다. 따라서 우리는 사람들이 치료를 경험하는 방식을 이해하고 질병 치료 과정에서 환자의 요구를 더 잘 충족시키기 위해 인공 지능과 기계 학습을 사용합니다.”라고 말합니다.

ML 기반 솔루션이 환자 경험에 미치는 영향을 가속화하기 위해 Janssen Business Technology Commercial Data Sciences 팀은 프로덕션에서 ML 모델을 안정적이고 효율적으로 배포 및 유지하고, 자동화를 강화하고, 비즈니스 및 기술 요구 사항을 충족하는 것을 목표로 하는 일련의 관행인 MLOps에 초점을 맞추기로 결정했습니다. Eun은 “MLOps의 목표는 시간 경과에 따른 실험 및 모델 성능 추적을 가능케 하는 것입니다.”라고 말합니다. “기계 학습 모델에 대한 확신을 가지려면 간단한 실험과 하이퍼파라미터 공간에 대한 철저한 탐색이 중요합니다.”

Janssen은 기술 요구 사항을 내부 보안 요구 사항에 맞추는 것이 중요하기 때문에 자동화된 MLOps 프로세스를 만들기 위해 다분야 팀을 구성하기로 결정했습니다. Eun은 “우리가 구축하는 프로세스는 의료 서비스 데이터를 사용하기 때문에 기술 솔루션을 개발하고 구현할 때 면밀히 준수해야 하는 엄격한 보안 및 개인 정보 보호 조치를 취하고 있습니다.”라고 말합니다. 2020년 말부터 Janssen Business Technology Commercial Data Sciences 팀과 Johnson & Johnson Technology CloudX 팀은 Amazon SageMaker 솔루션 아키텍처 팀 및 기업이 AWS에서 원하는 비즈니스 성과를 실현하도록 도울 수 있는 글로벌 전문가 팀인 AWS Professional Services와 함께 협력했습니다.

Janssen Business Technology Commercial Data Sciences 팀과 Johnson & Johnson Technology CloudX 팀은 Amazon SageMaker 솔루션 아키텍처 팀 및 AWS Professional Services와 협력하여 3개월이 채 되지 않는 시간 내에 데이터 준비 및 특성 추출 모듈을 자동화했습니다. 특성 추출은 감독된 ML 모델의 훈련을 위해 환자 데이터에서 입력 변수를 생성하는 프로세스입니다. 이러한 단계를 자동화함으로써 팀은 데이터 준비 속도를 약 600%, 특성 추출 속도를 약 700% 가속화할 수 있었습니다. Janssen은 소스 데이터를 수집, 처리 및 정규화하는 데 필요한 단계의 순서를 더 간단하게 지정할 수 있게 해주는 로우코드 시각적 워크플로 서비스인 AWS Step Functions를 사용하여 이를 달성했습니다. AWS Step Functions는 서버리스 데이터 통합 서비스인 AWS Glue에서 작업을 조정합니다. 이 서비스에는 실험되고 최적화된 ML 솔루션을 더 빠르게 배포하기 위해 개발 환경과 프로덕션 환경을 손쉽게 동기화하는 기능이 있습니다. Eun은 “프로세스의 각 단계를 순차적으로 정렬하는 대신, 데이터 준비 및 특성 추출 작업을 병렬화하고 AWS Glue와 AWS Step Functions를 함께 사용하여 이러한 작업을 오케스트레이션하는 방법을 파악할 수 있습니다.”라고 말합니다. “덕분에 개발 환경과 프로덕션 환경을 원활하게 연결할 수 있어서 실험 중인 모든 것을 AWS Step Functions에서 시작하는 AWS Glue 작업으로 신속하게 전환할 수 있었습니다.”

Janssen은 AWS에 MLOps 솔루션을 구현한 후 예측 모델링의 정확도를 21% 높였습니다. Eun은 “데이터 파이프라인이 더욱 자동화되고 시간이 덜 걸리기 때문에 모델 성능에 더 많은 시간을 할애할 수 있습니다.”라고 말합니다. ML 모델의 정확도를 개선하기 위한 필수 요소는 하이퍼파라미터 최적화입니다. Janssen 팀이 모델과 데이터를 정의하고 나면 Amazon SageMaker를 사용하여 수천 개의 알고리즘 파라미터 조합을 조정하여 모델이 생성할 수 있는 가장 정확한 예측에 도달함으로써 모델을 자동으로 조정합니다. 이러한 자동화와 베이지안 최적화 알고리즘이 결합되면 파라미터 검색 시간이 크게 단축됩니다. Eun은 “하이퍼파라미터 검색을 철저하게 수행했기 때문에 결과 ML 모델에 대한 확신이 생겼습니다.”라고 말합니다.

Janssen 팀과 Johnson & Johnson Technology CloudX 팀은 이 프로젝트를 문서화하여 유사한 ML 프로젝트에 참여하는 다른 Johnson & Johnson 팀과 공유할 수 있었습니다. 학습 내용을 공유하면 Johnson & Johnson의 보안 정책을 준수해야 하는 프로젝트를 가속화하고 조직 전체에 MLOps 문화를 조성하는 데 도움이 됩니다. Eun은 “다른 사람들이 따라할 수 있는 패턴을 생성해 다양한 AWS 서비스를 연결하여 Johnson & Johnson 환경 내에 전체 ML 파이프라인을 구축하는 방법을 시연했습니다.”라고 말합니다. “이전 ML 개발 및 배포 프로세스의 일부에서 효율성을 창출하고 개선할 수 있게 되면서 우리가 가질 수 있는 유연성과 확장성에 대한 눈이 열렸습니다.”

Janssen의 MLOps 솔루션을 통해 대규모로 데이터 과학 솔루션을 제공할 수 있습니다. Eun은 “솔루션을 실제 환경에 배포하고 그 솔루션이 어떻게 변화를 가져올 수 있는지 보여줌으로써 더 큰 지역으로 확장하여 Johnson & Johnson의 다른 비즈니스 사용 사례에도 적용할 계획입니다.”라고 말합니다.