Snowflake、CoCoによるSnowpipe設定自動化を一般提供

Snowflakeは2026年10月27日、Snowflake CoCoによるSnowpipe設定の自動化機能を一般提供しました。チームは自然言語でクラウドストレージのデータソースを指定でき、CoCoがファイルをサンプリングしてスキーマを推定し、パイプラインを構築します。データが標準のSnowflakeテーブルまたはSnowflake管理のApache Icebergテーブルに読み込まれることも確認します。この機能はSnowsight、CoCo Desktop、CoCo CLIで利用できます。初期設定では変更前にユーザーの承認を求め、設定完了後はCoCoのセッション終了後もSnowpipeが読み込みを続けます。

SnowpipeはSnowflakeの継続的なデータ読み込みサービスで、通常、Snowflakeが管理するサーバーレスコンピューティングを使い、新しいファイルの到着から数分以内に取り込みます。今回の提供以前は、チームがファイルを確認し、ストレージ統合、ステージ、テーブル、パイプを作成する必要がありました。AWSのデータソースでは、クラウドチームがIAMロール、信頼ポリシー、ファイル到着通知も設定する必要がありました。CoCoはAmazon S3、Azure Blob Storage、Google Cloud Storageに接続し、CSV、JSON、Parquet、Avro、ORC、XMLを含む形式を検出して、列名とデータ型を提案します。互換性のある既存の統合、ステージ、ファイル形式を再利用でき、既存のパイプが同じファイルを対象としている場合は、二重読み込みを避けるため重複を通知します。

Amazon S3の設定では、CoCoが一度限りの期間限定AWS IAM委任を要求できます。ユーザーはAWS Management Consoleで要求された権限を確認し、承認、拒否、または管理者への申請ができます。承認後、Snowflakeがストレージロールと信頼ポリシーを作成します。パイプを作成するSQLをユーザーが承認すると、Snowflakeは既存のバケット通知ルールを維持したまま通知ルールを追加します。設定操作は委任されたロールのもとでAWS CloudTrailに記録され、CoCoのSQL文はユーザーのロールのもとでSnowflakeのクエリ履歴に記録されます。一時アクセスは期限切れになりますが、継続的な読み込みに使うストレージロールとバケット通知は残ります。AWS IAMの一時委任はAWS GovCloud（US）と中国のリージョンでは利用できません。

チームは代わりに、Snowflakeオブジェクトとクラウドリソースを含むパイプライン全体のTerraformを、AWS、Azure、Google Cloud向けにCoCoで生成できます。チームはプルリクエストでコードを確認し、通常の手順でデプロイできます。ほかに、既存のクラウドアクセスを再利用する方法や、CoCoに承認済みのSnowflakeオブジェクトを作成させ、クラウドチーム向けのTerraform、CloudFormation、ARMテンプレートを出力させる方法もあります。CoCo DesktopとCoCo CLIはユーザーのマシン上の認証情報を使ってファイルを適用でき、適用のたびに承認を求めます。Snowsightではファイルがワークスペースフォルダーに保存されます。AWS向けに生成されるTerraformは、既存のバケット通知ルールを維持します。

Icebergを保存先にする場合、CoCoはSnowflake管理のIcebergテーブルと、その読み込み用パイプを作成します。SnowpipeはデータをParquet形式で書き込み、読み込み中にほかのファイル形式を変換します。SnowflakeがIcebergのメタデータとテーブルの保守を担い、Apache SparkなどIcebergに対応するエンジンからテーブルを読み取れます。CoCoはパイプの状態、通知の配信、読み込み履歴を確認し、エラーを報告します。新しいファイルが届いていない場合は、テストファイルを使った確認を案内できます。また、過去7日間のファイルをすぐに読み込む選択肢を提示し、それより古いファイルには一度限りの読み込みを実行できます。スキーマの進化では、新しいフィールドを列として追加でき、既存テーブルへの変更には承認を求めます。

CoCoによる一括読み込み機能も一般提供されています。すでに配置されているファイルについてユーザーが一度限りの読み込みを依頼すると、CoCoはファイル形式とテーブルを準備し、ウェアハウス上でCOPY INTOを実行して結果を確認します。依頼に一度限りか継続的な読み込みかが明記されていない場合は、どちらを意図するか尋ねます。Snowpipeの利用料金はサーバーレスコンピューティングに基づきます。クラウド側の承認や権限の反映状況によって、設定にかかる時間が変わることがあります。

Snowflakeは2026年10月27日、Snowflake CoCoによるSnowpipe設定の自動化機能を一般提供しました。チームは自然言語でクラウドストレージのデータソースを指定でき、CoCoがファイルをサンプリングしてスキーマを推定し、パイプラインを構築します。データが標準のSnowflakeテーブルまたはSnowflake管理のApache Icebergテーブルに読み込まれることも確認します。この機能はSnowsight、CoCo Desktop、CoCo CLIで利用できます。初期設定では変更前にユーザーの承認を求め、設定完了後はCoCoのセッション終了後もSnowpipeが読み込みを続けます。

SnowpipeはSnowflakeの継続的なデータ読み込みサービスで、通常、Snowflakeが管理するサーバーレスコンピューティングを使い、新しいファイルの到着から数分以内に取り込みます。今回の提供以前は、チームがファイルを確認し、ストレージ統合、ステージ、テーブル、パイプを作成する必要がありました。AWSのデータソースでは、クラウドチームがIAMロール、信頼ポリシー、ファイル到着通知も設定する必要がありました。CoCoはAmazon S3、Azure Blob Storage、Google Cloud Storageに接続し、CSV、JSON、Parquet、Avro、ORC、XMLを含む形式を検出して、列名とデータ型を提案します。互換性のある既存の統合、ステージ、ファイル形式を再利用でき、既存のパイプが同じファイルを対象としている場合は、二重読み込みを避けるため重複を通知します。

Amazon S3の設定では、CoCoが一度限りの期間限定AWS IAM委任を要求できます。ユーザーはAWS Management Consoleで要求された権限を確認し、承認、拒否、または管理者への申請ができます。承認後、Snowflakeがストレージロールと信頼ポリシーを作成します。パイプを作成するSQLをユーザーが承認すると、Snowflakeは既存のバケット通知ルールを維持したまま通知ルールを追加します。設定操作は委任されたロールのもとでAWS CloudTrailに記録され、CoCoのSQL文はユーザーのロールのもとでSnowflakeのクエリ履歴に記録されます。一時アクセスは期限切れになりますが、継続的な読み込みに使うストレージロールとバケット通知は残ります。AWS IAMの一時委任はAWS GovCloud（US）と中国のリージョンでは利用できません。

チームは代わりに、Snowflakeオブジェクトとクラウドリソースを含むパイプライン全体のTerraformを、AWS、Azure、Google Cloud向けにCoCoで生成できます。チームはプルリクエストでコードを確認し、通常の手順でデプロイできます。ほかに、既存のクラウドアクセスを再利用する方法や、CoCoに承認済みのSnowflakeオブジェクトを作成させ、クラウドチーム向けのTerraform、CloudFormation、ARMテンプレートを出力させる方法もあります。CoCo DesktopとCoCo CLIはユーザーのマシン上の認証情報を使ってファイルを適用でき、適用のたびに承認を求めます。Snowsightではファイルがワークスペースフォルダーに保存されます。AWS向けに生成されるTerraformは、既存のバケット通知ルールを維持します。

Icebergを保存先にする場合、CoCoはSnowflake管理のIcebergテーブルと、その読み込み用パイプを作成します。SnowpipeはデータをParquet形式で書き込み、読み込み中にほかのファイル形式を変換します。SnowflakeがIcebergのメタデータとテーブルの保守を担い、Apache SparkなどIcebergに対応するエンジンからテーブルを読み取れます。CoCoはパイプの状態、通知の配信、読み込み履歴を確認し、エラーを報告します。新しいファイルが届いていない場合は、テストファイルを使った確認を案内できます。また、過去7日間のファイルをすぐに読み込む選択肢を提示し、それより古いファイルには一度限りの読み込みを実行できます。スキーマの進化では、新しいフィールドを列として追加でき、既存テーブルへの変更には承認を求めます。

CoCoによる一括読み込み機能も一般提供されています。すでに配置されているファイルについてユーザーが一度限りの読み込みを依頼すると、CoCoはファイル形式とテーブルを準備し、ウェアハウス上でCOPY INTOを実行して結果を確認します。依頼に一度限りか継続的な読み込みかが明記されていない場合は、どちらを意図するか尋ねます。Snowpipeの利用料金はサーバーレスコンピューティングに基づきます。クラウド側の承認や権限の反映状況によって、設定にかかる時間が変わることがあります。