실습 5 — 기준선과 모델 채점하기

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split

plt.rcParams["font.family"] = "Malgun Gothic"
plt.rcParams["axes.unicode_minus"] = False

# 실습 4와 똑같이 준비한다. random_state 가 같아서 똑같이 나뉜다
df = pd.read_csv("out_delivery_clean.csv")
df["주말"] = (pd.to_datetime(df["주문일"]).dt.day_of_week >= 5).astype(int)
features = ["주문시각", "거리km", "무게kg", "주말", "지역", "상품분류", "날씨", "택배사"]
X = pd.get_dummies(df[features], dtype=int)
y = df["지연"]
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, random_state=42, stratify=y
)
print(X_train.shape, X_test.shape)

from sklearn.dummy import DummyClassifier
from sklearn.metrics import accuracy_score

# DummyClassifier(strategy="most_frequent"): 학습용에서 가장 많은 답('정시')만 늘 말하는 모델
base = DummyClassifier(strategy="most_frequent")
base.fit(X_train, y_train)

# 시험용으로 채점한다. 이 점수가 넘어야 할 기준선이다
print("기준선 정확도:", round(accuracy_score(y_test, base.predict(X_test)), 3))

from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report

# 만들기 → 학습(fit). 학습에는 학습용만 쓴다
model = LogisticRegression(max_iter=1000)
model.fit(X_train, y_train)

# 예측(predict)과 채점은 시험용으로 한다
pred = model.predict(X_test)
print("모델 정확도:", round(accuracy_score(y_test, pred), 3))

# 답마다 정밀도, 재현율, F1 을 한 표로 본다. digits=3 은 소수 셋째 자리까지
print(classification_report(y_test, pred, target_names=["정시", "지연"], digits=3))

# predict_proba 는 [정시일 확률, 지연일 확률] 을 낸다. [:, 1] 로 지연일 확률만 꺼낸다
proba = model.predict_proba(X_test)[:, 1]
# 시험용 주문의 거리·날씨·주문시각 옆에 지연 확률, 예측, 실제 답을 붙인다
look = df.loc[X_test.index, ["거리km", "날씨", "주문시각"]].assign(
    지연확률=proba.round(3), 예측=pred, 실제=y_test.values
)
look = look.sort_values("지연확률", ascending=False)
# 결과: 지연 확률이 가장 높은 3건과 가장 낮은 2건
print(pd.concat([look.head(3), look.tail(2)]))

from sklearn.metrics import ConfusionMatrixDisplay

# 실제(y_test)와 예측(pred)으로 혼동행렬을 그린다
# 세로가 실제(True label), 가로가 예측(Predicted label)이다
ConfusionMatrixDisplay.from_predictions(y_test, pred, display_labels=["정시", "지연"])
plt.title("혼동행렬 (기준값 0.5)")
plt.show()