실습 6 — 기준값 바꾸고 과적합 확인하기

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression

# 실습 4, 5와 똑같이 준비하고 같은 모델을 학습한다
df = pd.read_csv("out_delivery_clean.csv")
df["주말"] = (pd.to_datetime(df["주문일"]).dt.day_of_week >= 5).astype(int)
features = ["주문시각", "거리km", "무게kg", "주말", "지역", "상품분류", "날씨", "택배사"]
X = pd.get_dummies(df[features], dtype=int)
y = df["지연"]
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, random_state=42, stratify=y
)
model = LogisticRegression(max_iter=1000).fit(X_train, y_train)
print("시험용 정확도:", round(model.score(X_test, y_test), 3))

from sklearn.metrics import precision_score, recall_score

# predict_proba 는 [정시일 확률, 지연일 확률] 두 열을 돌려준다
# [:, 1] 은 둘째 열, 곧 지연일 확률만 뽑는다
proba = model.predict_proba(X_test)[:, 1]

for t in [0.5, 0.4, 0.3, 0.2]:
    # 지연 확률이 기준값 t 이상이면 1(지연)
    p = (proba >= t).astype(int)
    print(f"기준값 {t}: 정밀도 {precision_score(y_test, p):.3f}  "
          f"재현율 {recall_score(y_test, p):.3f}  지연으로 본 주문 {p.sum()}건")

from sklearn.tree import DecisionTreeClassifier

# 같은 데이터로 모델만 의사결정나무로 바꿔 끼운다(만들기 → fit → score 는 그대로)
# max_depth: 질문을 몇 번까지 이어 갈지. None 은 제한 없음
for depth in [2, 4, 8, None]:
    tree = DecisionTreeClassifier(max_depth=depth, random_state=42).fit(X_train, y_train)
    # 학습용 점수와 시험용 점수를 나란히 찍어 벌어지는지 본다
    print(f"깊이 {depth}: 학습 {tree.score(X_train, y_train):.3f}  시험 {tree.score(X_test, y_test):.3f}")