Azure Databricks ノートブックとパイプラインを理解する
Azure Databricks では、ノートブックを使用して、Python、Scala、SQL やその他の言語で記述されたコードを実行して、データを取り込んで処理できます。 ノートブックには、個々のコード セルを実行し、Markdown を使用してメモと注釈を含めることができる対話型インターフェイスが用意されています。
多くの Data Engineering ソリューションでは、対話形式で記述およびテストされるコードを、後で自動化されたデータ処理ワークロードに組み込むことができます。 Azure では、このようなワークロードは多くの場合、Azure Data Factory の "パイプライン" として実装されます。この場合、1 つ以上の "アクティビティ" を使用して、オンデマンドで、スケジュールされた間隔で、またはイベントに応答して実行できる一連のタスク (データ レイク内のフォルダーに新しいデータが読み込まれるなど) を調整します。 Azure Data Factory では、Azure Databricks ワークスペースでのノートブックの無人実行を自動化するために使用できるノートブックアクティビティがサポートされています。
Note
Azure Synapse Analytics に組み込まれているパイプラインでも、同じノートブックアクティビティを使用できます。