실습 5 — 모델 레지스트리로 배포하고 되돌리기

import mlflow
import mlflow.sklearn
import numpy as np
import pandas as pd
from mlflow import MlflowClient
from sentence_transformers import SentenceTransformer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import f1_score, recall_score

mlflow.set_tracking_uri("sqlite:///out_mlflow.db")   # 실습 4의 기록
mlflow.set_experiment("문의분류")
client = MlflowClient()
emb = SentenceTransformer("intfloat/multilingual-e5-small", device="cpu")


def embed(texts):
    return emb.encode(["query: " + t for t in texts], normalize_embeddings=True)


test = pd.read_csv("inquiries.csv")
E_test = embed(test["문의"])
# 서비스처럼 버전 번호가 아니라 별칭으로 부른다
champion = mlflow.sklearn.load_model("models:/inquiry-clf@champion")
mv = client.get_model_version_by_alias("inquiry-clf", "champion")
champ_C = float(client.get_run(mv.run_id).data.params["C"])     # 챔피언을 만든 실행의 설정을 읽는다
champ_acc = (champion.predict(E_test) == test["분류"]).mean()
# 결과: 챔피언의 버전, 설정, 시험 정확도
print("챔피언 버전", mv.version, "· C", champ_C, f"· 정확도 {champ_acc:.3f}")

train = pd.concat([pd.read_csv("inquiry_train.csv"), pd.read_csv("inquiry_oct.csv")], ignore_index=True)
# 챔피언과 같은 설정(C)으로, 데이터만 늘려 학습한다. 무엇이 달라졌는지 하나로 좁히기 위해서다
with mlflow.start_run(run_name="e5-oct"):
    challenger = LogisticRegression(C=champ_C, max_iter=1000).fit(embed(train["문의"]), train["분류"])
    pred = challenger.predict(E_test)
    mlflow.log_params({"features": "e5", "C": champ_C, "train_rows": len(train), "batches": "inquiry_oct.csv"})
    mlflow.log_metrics({"accuracy": (pred == test["분류"]).mean(), "macro_f1": f1_score(test["분류"], pred, average="macro")})
    info = mlflow.sklearn.log_model(challenger, name="model", registered_model_name="inquiry-clf",
                                    pip_requirements=["scikit-learn==1.9.1"])
new_version = info.registered_model_version
client.set_registered_model_alias("inquiry-clf", "challenger", new_version)
# 결과: 도전자의 학습 행 수와 버전
print("도전자 버전", new_version, "· 학습", len(train), "행")

labels = sorted(test["분류"].unique())
compare = pd.DataFrame({
    "챔피언": recall_score(test["분류"], champion.predict(E_test), labels=labels, average=None),
    "도전자": recall_score(test["분류"], challenger.predict(E_test), labels=labels, average=None),
}, index=labels)
# 결과: 분류마다의 재현율(그 분류의 문의를 몇 할 맞혔나)과 전체 정확도
print(compare.round(3))
chal_acc = (challenger.predict(E_test) == test["분류"]).mean()
print(f"정확도  챔피언 {champ_acc:.3f} · 도전자 {chal_acc:.3f}")

if chal_acc >= champ_acc:                      # 낮지 않으면 올린다(실습 6에서 이 판단을 게이트로 묶는다)
    client.set_registered_model_alias("inquiry-clf", "previous", mv.version)
    client.set_registered_model_alias("inquiry-clf", "champion", new_version)
    client.delete_registered_model_alias("inquiry-clf", "challenger")
print("별칭:", client.get_registered_model("inquiry-clf").aliases)

# 새 챔피언을 내보낸 뒤 문제가 생겼다고 가정한다: champion 을 previous 가 가리키는 버전으로 옮긴다
prev = client.get_model_version_by_alias("inquiry-clf", "previous").version
client.set_registered_model_alias("inquiry-clf", "champion", prev)
# 서비스 코드는 그대로 '@champion' 을 부르는데, 받는 모델이 바뀐다
again = mlflow.sklearn.load_model("models:/inquiry-clf@champion")
print("되돌린 뒤 champion →", client.get_model_version_by_alias("inquiry-clf", "champion").version,
      f"· 정확도 {(again.predict(E_test) == test['분류']).mean():.3f}")

# 확인이 끝나 다시 새 버전으로 돌려 둔다(실습 6이 이 상태에서 시작한다)
client.set_registered_model_alias("inquiry-clf", "champion", new_version)
print("별칭:", client.get_registered_model("inquiry-clf").aliases)