DatabricksでMLflowを使う④ – モデルの呼び出し –

はじめに

以下の記事で、Databricks のマネージド型MLflowを使ってモデルのトレーニング、ライフサイクル管理を行いました。

DatabricksでMLflowを使う① – ノートブック上での実験トラッキング –

DatabricksでMLflowを使う② – 実験パラメータとメトリクスの可視化 –

DatabricksでMLflowを使う③ – モデルのライフサイクル管理 –

今回はトレーニングとステージングを行ったモデルを別のノートブックから読み込みたいと思います。

イメージとしてはトレーニングしたモデルを Pyspark ユーザー定義関数として読み込み、 pyspark のデータフレームに対して分散処理をかけるという流れになります。

セットアップ

呼び出したいモデルに対して “Run ID” を読み込みます。

1# run_id = ""
2run_id = "d35dff588112486fa1684f38******"
3model_uri = "runs:/" + run_id + "/model"

scikit-learn モデルをロードする

実験済みのトレーニングモデルを MLflow API を利用してロードします。

1import mlflow.sklearn
2model = mlflow.sklearn.load_model(model_uri=model_uri)
3model.coef_

次にトレーニングにも利用した糖尿病データセットを読み込んで”progression”のカラムを落とします。

そして、読み込んだ pandas データフレームを pyspark データフレームに変換しておきます。

1# Import various libraries including sklearn, mlflow, numpy, pandas
2
3from sklearn import datasets
4import numpy as np
5import pandas as pd
6
7# Load Diabetes datasets
8diabetes = datasets.load_diabetes()
9X = diabetes.data
10y = diabetes.target
11
12# Create pandas DataFrame for sklearn ElasticNet linear_model
13Y = np.array([y]).transpose()
14d = np.concatenate((X, Y), axis=1)
15cols = ['age', 'sex', 'bmi', 'bp', 's1', 's2', 's3', 's4', 's5', 's6', 'progression']
16data = pd.DataFrame(d, columns=cols)
17dataframe = spark.createDataFrame(data.drop(["progression"], axis=1))

MLflow モデルの呼び出し

MLflow API を使って Pyspark ユーザー定義関数としてトレーニング済みのモデルを呼び出します。

1import mlflow.pyfunc
2pyfunc_udf = mlflow.pyfunc.spark_udf(spark, model_uri=model_uri)

ユーザー定義関数を使って予測を行います。

1predicted_df = dataframe.withColumn("prediction", pyfunc_udf('age', 'sex', 'bmi', 'bp', 's1', 's2', 's3', 's4', 's5', 's6'))
2display(predicted_df)

Pyspark モデルを使って分散処理することができました。

2020-11-05_10h45_19.png

おわりに

今回はトレーニング済みのモデルを MLflow API を使って呼び出し、Pyspark で分散処理させることができました。

Databricks では日々新しい機能がアップデートされており、どんどん使いやすくなっています。

これからも新しい機能がでたら追いかけていきたいと思います。

この記事を書いた人

azure-recipe-user