Snowflake, CoCo로 Snowpipe 설정 자동화

Snowflake가 2026년 10월 27일 Snowflake CoCo를 통한 자동 Snowpipe 설정을 정식 출시했습니다. 사용자는 자연어 대화로 클라우드 저장소를 설명할 수 있으며, CoCo는 파일을 표본 분석해 스키마를 추론하고 파이프라인을 만든 뒤 데이터가 표준 Snowflake 테이블이나 Snowflake 관리 Apache Iceberg 테이블에 적재되는지 확인합니다. 이 기능은 Snowsight, CoCo Desktop, CoCo CLI에서 사용할 수 있습니다. 기본 설정에서는 CoCo가 변경 사항을 적용하기 전에 사용자 승인을 요청하며, 설정이 끝나면 CoCo 세션이 종료된 뒤에도 Snowpipe가 계속 데이터를 적재합니다.

Snowpipe는 Snowflake의 지속적 적재 서비스로, Snowflake가 관리하는 서버리스 컴퓨팅을 이용해 새 파일이 도착한 뒤 보통 몇 분 안에 이를 가져옵니다. 이번 출시 전에는 팀이 파일을 직접 확인하고 스토리지 통합, 스테이지, 테이블, 파이프를 만들어야 했습니다. AWS 저장소를 연결하려면 클라우드 팀이 IAM 역할, 신뢰 정책, 파일 도착 알림도 설정해야 했습니다. CoCo는 Amazon S3, Azure Blob Storage, Google Cloud Storage를 연결하고 CSV, JSON, Parquet, Avro, ORC, XML 형식을 감지해 열 이름과 데이터 유형을 제안합니다. 호환되는 기존 통합, 스테이지, 파일 형식은 재사용할 수 있으며, 이미 파일을 처리하는 파이프가 있으면 중복 적재를 막도록 겹치는 항목을 알립니다.

Amazon S3 설정에서는 CoCo가 한 번만 사용할 수 있고 유효 시간이 제한된 AWS IAM 위임을 요청할 수 있습니다. 사용자는 AWS Management Console에서 요청 권한을 검토한 뒤 승인하거나 거부하거나 관리자에게 요청을 보낼 수 있습니다. Snowflake는 승인된 스토리지 역할과 신뢰 정책을 만든 뒤, 사용자가 파이프 생성 SQL을 승인하면 기존 버킷 규칙을 유지하면서 알림 규칙을 추가합니다. AWS CloudTrail은 위임된 역할로 수행한 설정 작업을 기록하고, Snowflake 쿼리 기록은 CoCo의 명령문을 사용자 역할 아래 기록합니다. 임시 접근 권한은 만료되지만 지속적인 적재에 필요한 스토리지 역할과 버킷 알림은 남습니다. AWS IAM 임시 위임은 AWS GovCloud (US)와 중국 리전에서는 사용할 수 없습니다.

팀은 AWS, Azure, Google Cloud에서 Snowflake 객체와 클라우드 리소스를 포함한 전체 파이프라인용 Terraform 코드를 CoCo가 생성하도록 할 수도 있습니다. 팀은 풀 리퀘스트에서 코드를 검토하고 통상적인 절차로 배포할 수 있습니다. 다른 방법으로는 기존 클라우드 접근 권한을 재사용하거나, CoCo가 승인된 Snowflake 객체를 만들고 클라우드 팀을 위해 Terraform, CloudFormation, ARM 템플릿을 생성하게 할 수 있습니다. CoCo Desktop과 CoCo CLI는 사용자 컴퓨터의 자격 증명을 이용해 승인 후 파일을 적용할 수 있으며, Snowsight는 파일을 작업 공간 폴더에 저장합니다. AWS용으로 생성된 Terraform은 기존 버킷 알림 규칙을 유지합니다.

Iceberg를 대상으로 선택하면 CoCo가 Snowflake 관리 Iceberg 테이블과 적재 파이프를 만듭니다. Snowpipe는 데이터를 Parquet 형식으로 기록하며, 적재 중 다른 파일 형식은 변환됩니다. Snowflake가 Iceberg 메타데이터와 테이블 유지 관리를 맡고, Apache Spark 등 Iceberg 호환 엔진은 테이블을 읽을 수 있습니다. CoCo는 파이프 상태, 알림 전달, 적재 기록을 확인하고 오류를 알립니다. 새 파일이 도착하지 않았으면 테스트 파일을 이용한 점검을 안내할 수 있습니다. 지난 7일 동안의 파일을 즉시 적재하는 옵션과 더 오래된 파일을 한 번만 적재하는 기능도 제공합니다. 스키마 변경으로 새 필드를 열로 추가할 수 있으며, 기존 테이블을 변경할 때는 승인을 요청합니다.

CoCo를 이용한 대량 적재도 정식 출시됐습니다. 이미 저장된 파일의 일회성 적재를 요청하면 CoCo가 파일 형식과 테이블을 준비하고, 웨어하우스에서 COPY INTO를 실행한 뒤 결과를 확인합니다. 요청에 일회성 또는 지속적 적재 여부가 명시되지 않으면 CoCo가 원하는 방식을 묻습니다. Snowpipe 사용료는 서버리스 컴퓨팅 기준으로 청구되며, 클라우드 승인과 권한 전파에 따라 설정 시간이 달라질 수 있습니다.

Snowflake가 2026년 10월 27일 Snowflake CoCo를 통한 자동 Snowpipe 설정을 정식 출시했습니다. 사용자는 자연어 대화로 클라우드 저장소를 설명할 수 있으며, CoCo는 파일을 표본 분석해 스키마를 추론하고 파이프라인을 만든 뒤 데이터가 표준 Snowflake 테이블이나 Snowflake 관리 Apache Iceberg 테이블에 적재되는지 확인합니다. 이 기능은 Snowsight, CoCo Desktop, CoCo CLI에서 사용할 수 있습니다. 기본 설정에서는 CoCo가 변경 사항을 적용하기 전에 사용자 승인을 요청하며, 설정이 끝나면 CoCo 세션이 종료된 뒤에도 Snowpipe가 계속 데이터를 적재합니다.

Snowpipe는 Snowflake의 지속적 적재 서비스로, Snowflake가 관리하는 서버리스 컴퓨팅을 이용해 새 파일이 도착한 뒤 보통 몇 분 안에 이를 가져옵니다. 이번 출시 전에는 팀이 파일을 직접 확인하고 스토리지 통합, 스테이지, 테이블, 파이프를 만들어야 했습니다. AWS 저장소를 연결하려면 클라우드 팀이 IAM 역할, 신뢰 정책, 파일 도착 알림도 설정해야 했습니다. CoCo는 Amazon S3, Azure Blob Storage, Google Cloud Storage를 연결하고 CSV, JSON, Parquet, Avro, ORC, XML 형식을 감지해 열 이름과 데이터 유형을 제안합니다. 호환되는 기존 통합, 스테이지, 파일 형식은 재사용할 수 있으며, 이미 파일을 처리하는 파이프가 있으면 중복 적재를 막도록 겹치는 항목을 알립니다.

Amazon S3 설정에서는 CoCo가 한 번만 사용할 수 있고 유효 시간이 제한된 AWS IAM 위임을 요청할 수 있습니다. 사용자는 AWS Management Console에서 요청 권한을 검토한 뒤 승인하거나 거부하거나 관리자에게 요청을 보낼 수 있습니다. Snowflake는 승인된 스토리지 역할과 신뢰 정책을 만든 뒤, 사용자가 파이프 생성 SQL을 승인하면 기존 버킷 규칙을 유지하면서 알림 규칙을 추가합니다. AWS CloudTrail은 위임된 역할로 수행한 설정 작업을 기록하고, Snowflake 쿼리 기록은 CoCo의 명령문을 사용자 역할 아래 기록합니다. 임시 접근 권한은 만료되지만 지속적인 적재에 필요한 스토리지 역할과 버킷 알림은 남습니다. AWS IAM 임시 위임은 AWS GovCloud (US)와 중국 리전에서는 사용할 수 없습니다.

팀은 AWS, Azure, Google Cloud에서 Snowflake 객체와 클라우드 리소스를 포함한 전체 파이프라인용 Terraform 코드를 CoCo가 생성하도록 할 수도 있습니다. 팀은 풀 리퀘스트에서 코드를 검토하고 통상적인 절차로 배포할 수 있습니다. 다른 방법으로는 기존 클라우드 접근 권한을 재사용하거나, CoCo가 승인된 Snowflake 객체를 만들고 클라우드 팀을 위해 Terraform, CloudFormation, ARM 템플릿을 생성하게 할 수 있습니다. CoCo Desktop과 CoCo CLI는 사용자 컴퓨터의 자격 증명을 이용해 승인 후 파일을 적용할 수 있으며, Snowsight는 파일을 작업 공간 폴더에 저장합니다. AWS용으로 생성된 Terraform은 기존 버킷 알림 규칙을 유지합니다.

Iceberg를 대상으로 선택하면 CoCo가 Snowflake 관리 Iceberg 테이블과 적재 파이프를 만듭니다. Snowpipe는 데이터를 Parquet 형식으로 기록하며, 적재 중 다른 파일 형식은 변환됩니다. Snowflake가 Iceberg 메타데이터와 테이블 유지 관리를 맡고, Apache Spark 등 Iceberg 호환 엔진은 테이블을 읽을 수 있습니다. CoCo는 파이프 상태, 알림 전달, 적재 기록을 확인하고 오류를 알립니다. 새 파일이 도착하지 않았으면 테스트 파일을 이용한 점검을 안내할 수 있습니다. 지난 7일 동안의 파일을 즉시 적재하는 옵션과 더 오래된 파일을 한 번만 적재하는 기능도 제공합니다. 스키마 변경으로 새 필드를 열로 추가할 수 있으며, 기존 테이블을 변경할 때는 승인을 요청합니다.

CoCo를 이용한 대량 적재도 정식 출시됐습니다. 이미 저장된 파일의 일회성 적재를 요청하면 CoCo가 파일 형식과 테이블을 준비하고, 웨어하우스에서 COPY INTO를 실행한 뒤 결과를 확인합니다. 요청에 일회성 또는 지속적 적재 여부가 명시되지 않으면 CoCo가 원하는 방식을 묻습니다. Snowpipe 사용료는 서버리스 컴퓨팅 기준으로 청구되며, 클라우드 승인과 권한 전파에 따라 설정 시간이 달라질 수 있습니다.