はじめに
以下の記事で、Databricks のマネージド型MLflowを使ってモデルのトレーニング、ライフサイクル管理を行いました。
DatabricksでMLflowを使う① – ノートブック上での実験トラッキング –
DatabricksでMLflowを使う② – 実験パラメータとメトリクスの可視化 –
DatabricksでMLflowを使う③ – モデルのライフサイクル管理 –
今回はトレーニングとステージングを行ったモデルを別のノートブックから読み込みたいと思います。
イメージとしてはトレーニングしたモデルを Pyspark ユーザー定義関数として読み込み、 pyspark のデータフレームに対して分散処理をかけるという流れになります。
セットアップ
呼び出したいモデルに対して “Run ID” を読み込みます。
1# run_id = ""
2run_id = "d35dff588112486fa1684f38******"
3model_uri = "runs:/" + run_id + "/model"scikit-learn モデルをロードする
実験済みのトレーニングモデルを MLflow API を利用してロードします。
1import mlflow.sklearn
2model = mlflow.sklearn.load_model(model_uri=model_uri)
3model.coef_次にトレーニングにも利用した糖尿病データセットを読み込んで”progression”のカラムを落とします。
そして、読み込んだ pandas データフレームを pyspark データフレームに変換しておきます。
1# Import various libraries including sklearn, mlflow, numpy, pandas
2
3from sklearn import datasets
4import numpy as np
5import pandas as pd
6
7# Load Diabetes datasets
8diabetes = datasets.load_diabetes()
9X = diabetes.data
10y = diabetes.target
11
12# Create pandas DataFrame for sklearn ElasticNet linear_model
13Y = np.array([y]).transpose()
14d = np.concatenate((X, Y), axis=1)
15cols = ['age', 'sex', 'bmi', 'bp', 's1', 's2', 's3', 's4', 's5', 's6', 'progression']
16data = pd.DataFrame(d, columns=cols)
17dataframe = spark.createDataFrame(data.drop(["progression"], axis=1))MLflow モデルの呼び出し
MLflow API を使って Pyspark ユーザー定義関数としてトレーニング済みのモデルを呼び出します。
1import mlflow.pyfunc
2pyfunc_udf = mlflow.pyfunc.spark_udf(spark, model_uri=model_uri)ユーザー定義関数を使って予測を行います。
1predicted_df = dataframe.withColumn("prediction", pyfunc_udf('age', 'sex', 'bmi', 'bp', 's1', 's2', 's3', 's4', 's5', 's6'))
2display(predicted_df)Pyspark モデルを使って分散処理することができました。
おわりに
今回はトレーニング済みのモデルを MLflow API を使って呼び出し、Pyspark で分散処理させることができました。
Databricks では日々新しい機能がアップデートされており、どんどん使いやすくなっています。
これからも新しい機能がでたら追いかけていきたいと思います。