ToB企服应用市场:ToB评测及商务社交产业平台

标题: 隐私计算FATE-模型训练 [打印本页]
作者: 十念    时间: 2022-6-23 14:28
标题: 隐私计算FATE-模型训练

一、说明

本文分享基于 Fate 自带的测试样例，进行 纵向逻辑回归 算法的模型训练，并且通过 FATE Board 可视化查看结果。
本文的内容为基于 《隐私计算FATE-概念与单机部署指南》中部署的环境。
 
二、进入容器

执行以下命令，进入 Fate 的容器中：
  1. docker exec -it $(docker ps -aqf "name=standalone_fate") bash
复制代码

可以看到其中有一个 examples 的目录，里面包含各种算法的测试样例，以及测试的数据。
进入到 examples 后，创建一个 my_test 的目录：
  1. cd examples
  3. mkdir my_test
复制代码
注意：后面所有的操作都默认在该目录下执行。
 
三、上传数据

第一步需要准备好训练要用的数据，我们可以通过 csv文件 把数据上传到 Fate 里面；
自带的测试数据都在容器里的 /data/projects/fate/examples/data 目录中：

可以看到每种算法都分别提供了 guest 和 host 两方的数据。
 
3.1. 准备guest方配置

在 my_test 目录下，执行以下命令：
  1. vi upload_hetero_guest.json
复制代码
内容如下：
  1. {
  2.   "file": "/data/projects/fate/examples/data/breast_hetero_guest.csv",
  3.   "head": 1,
  4.   "partition": 10,
  5.         "work_mode": 0,
  6.   "namespace": "experiment",
  7.   "table_name": "breast_hetero_guest"
  8. }
复制代码
 
3.2. 准备host方配置

在 my_test 目录下，执行以下命令：
  1. vi upload_hetero_host.json
复制代码
内容如下：
  1. {
  2.   "file": "/data/projects/fate/examples/data/breast_hetero_host.csv",
  3.   "head": 1,
  4.   "partition": 10,
  5.         "work_mode": 0,
  6.   "namespace": "experiment",
  7.   "table_name": "breast_hetero_host"
  8. }
复制代码
注意文件名与表名是和guest方不一样的。
 
3.3. 执行上传

执行以下两个命令，分别上传 guest 和 host 方的数据：
  1. flow data upload -c upload_hetero_guest.json
  3. flow data upload -c upload_hetero_host.json
复制代码
通过 -c 来指定配置文件。
成功后返回上传任务的相关信息：
  1. {
  2.     "data": {
  3.         "board_url": "http://127.0.0.1:8080/index.html#/dashboard?job_id=202205070640371260700&role=local&party_id=0",
  4.         "code": 0,
  5.         "dsl_path": "/data/projects/fate/fateflow/jobs/202205070640371260700/job_dsl.json",
  6.         "job_id": "202205070640371260700",
  7.         "logs_directory": "/data/projects/fate/fateflow/logs/202205070640371260700",
  8.         "message": "success",
  9.         "model_info": {
  10.             "model_id": "local-0#model",
  11.             "model_version": "202205070640371260700"
  12.         },
  13.         "namespace": "experiment",
  14.         "pipeline_dsl_path": "/data/projects/fate/fateflow/jobs/202205070640371260700/pipeline_dsl.json",
  15.         "runtime_conf_on_party_path": "/data/projects/fate/fateflow/jobs/202205070640371260700/local/0/job_runtime_on_party_conf.json",
  16.         "runtime_conf_path": "/data/projects/fate/fateflow/jobs/202205070640371260700/job_runtime_conf.json",
  17.         "table_name": "breast_hetero_guest",
  18.         "train_runtime_conf_path": "/data/projects/fate/fateflow/jobs/202205070640371260700/train_runtime_conf.json"
  19.     },
  20.     "jobId": "202205070640371260700",
  21.     "retcode": 0,
  22.     "retmsg": "success"
  23. }
复制代码
 
3.4. 检查数据

执行以下命令，查看表的相关信息：
  1. flow table info -t breast_hetero_guest -n experiment
复制代码
执行后返回：
  1. {
  2.     "data": {
  3.         "address": {
  4.             "home": null,
  5.             "name": "breast_hetero_guest",
  6.             "namespace": "experiment",
  7.             "storage_type": "LMDB"
  8.         },
  9.         "count": 569,
  10.         "exist": 1,
  11.         "namespace": "experiment",
  12.         "partition": 10,
  13.         "schema": {
  14.             "header": "y,x0,x1,x2,x3,x4,x5,x6,x7,x8,x9",
  15.             "sid": "id"
  16.         },
  17.         "table_name": "breast_hetero_guest"
  18.     },
  19.     "retcode": 0,
  20.     "retmsg": "success"
  21. }
复制代码
 
四、模型训练

接下来我们就开始进行建模任务，需要准备两个配置文件，流程配置文件 dsl 和参数配置文件 conf。
4.1. 准备dsl文件

执行以下命令：
  1. cp /data/projects/fate/examples/dsl/v2/hetero_logistic_regression/hetero_lr_normal_dsl.json /data/projects/fate/examples/my_test/
复制代码
直接把 Fate 自带的纵向逻辑回归算法样例，复制到我们的 my_test 目录下。
Fate 把各种算法实现了组件化，dsl 文件主要配置整个建模流程是由哪些 component 组成的：

比如第一个模块 Reader 就是用于读取刚刚上传的训练数据，然后是 DataTransform 模块，把训练数据转换为实例对象，一般所有的建模流程都需要有前面这两个模块；
总的来说配置一个 component 需要以下内容：
  1. - module：模型组件，Fate 当前支持 37 个模型组件
  2. - input：
  3.         - date：数据输入
  4.         - module：模型输入
  5. - output：
  6.         - date：数据输出
  7.         - module：模型输出
复制代码
module 是定义这个组件的类型，当前 Fate 已经自带 37 个组件可以使用，当然我们也可以自己开发新增算法组件进去；
input 和 output 就是分别设置组件的输入输出，两个同时都支持两种类型，分别是数据和模型输入输出。
详细的配置说明可参考官方文档：https://github.com/FederatedAI/FATE/blob/master/doc/tutorial/dsl_conf/dsl_conf_v2_setting_guide.zh.md
 
4.2. 准备conf文件

执行以下命令：
  1. cp /data/projects/fate/examples/dsl/v2/hetero_logistic_regression/hetero_lr_normal_conf.json /data/projects/fate/examples/my_test/
复制代码
直接把 Fate 自带的纵向逻辑回归算法样例，复制到我们的 my_test 目录下。

从上图可以看到在 component_parameters 元素下，配置 Reader 组件所读取的表名。
该配置主要是配置以下内容：
关于组件清单以及每一个组件的详细配置参数可参考官方文档：https://fate.readthedocs.io/en/latest/zh/federatedml_component/
 
4.3. 提交任务

执行以下命令：
  1. flow job submit -d hetero_lr_normal_dsl.json -c hetero_lr_normal_conf.json
复制代码
通过 -d 和 -c 来分别指定 dsl 和 conf 配置文件。
成功后返回训练任务的相关信息：
  1. {
  2.     "data": {
  3.         "board_url": "http://127.0.0.1:8080/index.html#/dashboard?job_id=202205070226373055640&role=guest&party_id=9999",
  4.         "code": 0,
  5.         "dsl_path": "/data/projects/fate/fateflow/jobs/202205070226373055640/job_dsl.json",
  6.         "job_id": "202205070226373055640",
  7.         "logs_directory": "/data/projects/fate/fateflow/logs/202205070226373055640",
  8.         "message": "success",
  9.         "model_info": {
  10.             "model_id": "arbiter-10000#guest-9999#host-10000#model",
  11.             "model_version": "202205070226373055640"
  12.         },
  13.         "pipeline_dsl_path": "/data/projects/fate/fateflow/jobs/202205070226373055640/pipeline_dsl.json",
  14.         "runtime_conf_on_party_path": "/data/projects/fate/fateflow/jobs/202205070226373055640/guest/9999/job_runtime_on_party_conf.json",
  15.         "runtime_conf_path": "/data/projects/fate/fateflow/jobs/202205070226373055640/job_runtime_conf.json",
  16.         "train_runtime_conf_path": "/data/projects/fate/fateflow/jobs/202205070226373055640/train_runtime_conf.json"
  17.     },
  18.     "jobId": "202205070226373055640",
  19.     "retcode": 0,
  20.     "retmsg": "success"
  21. }
复制代码
其中有几个属性需要关注：
 
五、可视化

5.1. 任务概览

通过上面返回信息中 board_url 的地址，在浏览器访问即可进入任务的概览页面：
http://127.0.0.1:8080/index.html#/dashboard?job_id=202205070226373055640&role=guest&party_id=9999
需要注意的是：因为是在容器里面执行的，所以 IP 地址需要按照实际情况进行修改。
登录的用户名和密码都为 admin

左边 Dataset info 是各个参与方的信息，中间呢是任务的运行情况显示运行的进度条以及耗时，右边是整个任务流程的组件 DAG 图，下方是任务日志信息。
 
5.2. 组件输出

点击中间的 view this job 按钮，进入任务的详细信息：

DAG 图中的每个组件都是可以点击的，选中 hetero_lr_0 组件，点击右下角的 view the outputs 按钮，进入 逻辑回归 组件的输出页面：

左上角有三个 TAG 分别为：
 
扫码关注有惊喜！


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4