Azure Data Factory（二）复制数据

705 0 0

作者:Grant_Allen

一，引言

　　上一篇主要只讲了Azure Data Factory的一些主要概念，今天开始新的内容，我们开始通过Azure DevOps 或者 git 管理 Azure Data Factory 中的源代码，同时创建 Pipleline 将 Azure Blob1 的 Container 的数据通过 Copy Data 复制到 Azure Blob2的 Container中。我选择的是Azure DevOps 作为代码管理的工具

--------------------我是分割线--------------------

1，Azure Data Factory（一）入门简介

2，Azure Data Factory（二）复制数据

3，Azure Data Factory（三）集成 Azure Devops 实现CI/CD

二，正文

1，Azure DevOps 创建项目

首先我们得在Azure DevOps 上创建一个项目

Azure DevOps 地址：dev.azure.com，点击 “Sign in to Azure DevOps” 进行登陆，首次登陆的话，需要新创建一个组织，这里我就不过多演示了。

输入项目名称 “CnBateBlogWeb_Proj”，选择项目的是否 “公开/私有”，点击 “+ Create project” 进行创建项目。

我们可以看到项目的Repos信息，复制当前项目的Git仓库地址链接备用

2，创建 Azure Blob 存储和Azure Data Factory

Azure Portal 中点击 “Create a resource”，选择 “Storage Account” 进行创建数据源以及目标源

Storage account name：“cnbateblogwebaccount1dev”

Location：“East Aisa”

"Performance"：“Standard”

Account kind：“BlobStorage”

其他的选择默认，点击 “Review + create” 进行创建预校验。

校验成功后，点击 “Create” 进行创建操作

接下来，使用同样的步骤创建目标源Storage Account----- "cnbateblogweb2dev"

cnbateblogweb1dev 的 Azure Blob Storage 初始化数据，选择 “Blob service =》Containers” ，点击“+ Container” 添加 Container

Name 输入 “resformfoler” 其他选择默认，点击 “Create” 进行创建。

点击进去当前 “resformfolder” 容器

选择上传，我这里只是作为演示上传一个 txt 文本文件，实际项目中当前数据应该为 Azure Factory 的数据源。

以下是我上传的文件----“AZ-300考试说明.txt”

回到 ”cnbateblogwebaccount2dev“ 中，新建容器-----”restofolder“

最后，创建搜索 “Data Factory”

Resource group 选择：“Web_Test_DF_RG”

Region ：‘East Asia“

Name：”ADF-CnBateBlogWeb-Dev“

其他选择默认，点击 ”Next：Git configuration“ 配置 git 代码管理信息

选择 “Configure Git later”，稍后进行配置，点击 ”Review+create“ 进行创建预校验

建议完成后，点击 ”Create“ 进行创建

3，配置 Azure Data Factory

配置 Azure DevOps

点击进去新创建的叫 ”ADF-CnBateBlogWeb-Dev“，点击图中圈起来的 ”Author & Montor“ 跳转到作业和监控页面

点击图中箭头指向的地方，进行先配置代码管理设置

选择 ”Source control =》Git configuration“ ，点击 ”Set up code repository“ 进行配置

选择 ”Azure DevOps Git“

选择Azure DevOps 所在目录

选择账号 ”allenMaster“

选择项目 ”CnBateBlogWeb_Proj“

Git repository name 选择：”Use existing“（使用现有），也就是”CnBateBlogWeb_Proj“

Collaboration branch（协作分支）：”master“

Publish branch（发布分支）：”adf_publish“

其他选择默认后，点击 ”Apply“ 进行应用

设置完毕后，会弹出，需要让我们设置 Azure Data Factory 的工作分支，我们选择 ”Use existing“，选择 ”master“ 进行保持操作

配置 Data Factory Pipeline

首选，我们需要新建分支，就如同我们写代码一样，都新建自己的 ”feature branch“。经开发，测试完成后，再 "merge" 到 "master" 分支。Azure Data Factor 也是一样，我们需要有一个很规范的操作流程。

点击 "+ New branch"，进行新创建分支

输入分支名称 ”allen/Feature-1“，点击 ”Save“ 进行保存操作。

可以看到当前工作环境在我们自己的”allen/Feature-1“ 开发分支上

点击图中的 ”+“ ，先添加 pipeline 信息

可以看到图中，我们可以更改 pipeline 的名称，我这里就不再进行修改，继续使用默认的名称 ”pipeline1“，在 ”Activities（活动）“ 下的搜索框搜索 ”Copy Data“ 具体的活动，然后将 ”Copy Data“ 拖拽到 pipeline 设计器的图中。关于Name,我们可以进行改名操作。这里我也不进行改名操作。