Azure Databricks のノートブックとパイプラインについて
Azure Databricks では、ノートブックを使用して、Python、Scala、SQL、およびその他の言語で記述されたコードを実行して、データの取り込みと処理を行うことができます。 ノートブックには、個々のコード セルを実行し、Markdown を使用してメモや注釈を含めることができる対話型インターフェイスが用意されています。
多くのデータ エンジニアリング ソリューションでは、対話形式で記述およびテストされるコードを、後で自動化されたデータ処理ワークロードに組み込むことができます。 Azure では、このようなワークロードは多くの場合、Azure Data Factory に パイプラインとして実装されます。この場合、1 つ以上の アクティビティ を使用して、オンデマンドで、スケジュールされた間隔で、またはイベントに応答して実行できる一連のタスク (データ レイク内のフォルダーに読み込まれる新しいデータなど) を調整します。 Azure Data Factory では、Azure Databricks ワークスペースでのノートブックの自動実行を自動化するために使用できる、Notebook アクティビティがサポートされています。
注
Azure Synapse Analytics に組み込まれているパイプラインでは、同じ Notebook アクティビティを使用できます。