프로젝트 1 — 쇼핑몰 리뷰 긍정·부정 분류하기

쇼핑몰 고객센터에서 리뷰 800건을 받았습니다. 부정 리뷰를 빨리 찾아 답을 달고 싶습니다. 리뷰 글을 보고 긍정(1)인지 부정(0)인지 맞히는 모델을 만들어 보세요. 파일은 reviews.csv 이고, 문장 조각을 이어 붙여 만든 연습용 가상 데이터입니다. 별점을 잘못 누른 것처럼 표시가 뒤바뀐 리뷰도 조금 섞여 있습니다.

요구사항은 다섯 가지입니다.

1. 긍정과 부정의 비율을 세고, 기준선 정확도를 구합니다.
2. 학습용 75%, 시험용 25% 로 나눕니다. 긍정 비율을 맞춰 나눕니다.
3. 리뷰 글을 숫자로 바꾸고, 로지스틱 회귀로 학습합니다.
4. 시험용으로 정확도, 그리고 부정 리뷰의 정밀도와 재현율을 구합니다.
5. 틀린 리뷰를 읽어 보고, 새 리뷰 세 문장을 판정합니다.

단계별 힌트입니다.

1. 기준선은 df["긍정"].value_counts(normalize=True) 에서 큰 쪽의 비율입니다. normalize=True 는 개수 대신 비율로 보여 줍니다.
2. 나누기는 실습 4와 같습니다. 특성이 df["리뷰"], 레이블이 df["긍정"] 이고, stratify=df["긍정"] 을 줍니다.
3. 글자를 숫자로 바꾸는 도구는 from sklearn.feature_extraction.text import TfidfVectorizer 의 TfidfVectorizer(analyzer="char_wb", ngram_range=(2, 3)) 를 그대로 씁니다. 리뷰를 두세 글자 조각으로 잘라, 조각마다 얼마나 눈에 띄는지를 숫자로 적은 표를 만들어 줍니다. 글을 숫자로 바꾸는 원리는 3장에서 토큰과 임베딩으로 자세히 다룹니다.
4. 바꾸는 도구도 fit 은 학습용에만 합니다. 학습용은 fit_transform, 시험용은 transform 을 씁니다. 시험용으로 fit 하면 시험 문제를 미리 본 셈입니다.
5. 부정 리뷰의 재현율은 recall_score(y_test, pred, pos_label=0) 처럼 pos_label 로 구합니다.
6. 틀린 리뷰는 y_test != pred 로 골라 냅니다.

확인할 것: 다 풀었으면 항목마다 스스로 확인해 체크해 보세요.

• 기준선 정확도를 구하고 모델 점수와 견주었다
• stratify 로 나누고, 바꾸는 도구를 학습용에만 fit 했다
• 부정 리뷰의 정밀도와 재현율을 따로 구했다
• 틀린 리뷰를 읽고 까닭을 한두 문장으로 적었다

코드의 흐름

예시 풀이의 코드가 어떤 차례로 흘러가는지 한 장으로 그렸습니다. 풀기 전에 큰 줄기를 먼저 보고, 풀다가 막히면 지금 어느 상자에 있는지 확인해 보세요.

주황 화살표를 따라가면 실행 차례입니다. 상자 왼쪽 위의 "1단계"~"4단계"는 예시 풀이의 단계 이름과 같고, 상자 아래의 글은 그 상자에서 쓰는 핵심 코드입니다. 맨 윗줄(청록)에서 데이터를 읽고 기준선을 구한 뒤 학습용 600건과 시험용 200건으로 나눕니다. 여기서 길이 두 갈래로 갈라집니다. 가운데 줄(마젠타)이 학습용 갈래로, 글을 숫자로 바꾸는 조각 목록을 만들고(fit_transform) 모델을 학습합니다(fit). 그 아래 줄(다홍)이 시험용 갈래로, 숫자로 바꾸기만 하고(transform) 예측만 합니다(predict). 회색 점선은 학습용 갈래에서 만든 조각 목록과 학습한 모델을 시험용 갈래가 그대로 가져다 쓴다는 뜻입니다. 시험용으로는 아무것도 새로 배우지 않으므로, 시험 문제를 미리 보는 일이 생기지 않습니다(힌트 4). 맨 아랫줄(짙은 청록)에서 시험용으로 채점하고, 틀린 리뷰를 골라 읽고, 새 리뷰를 판정합니다. 새 리뷰도 학습용에서 만든 vec 으로 바꾼 뒤 판정합니다.

실제 데이터로 해 보려면

같은 코드를 실제 리뷰에 그대로 돌려 볼 수 있습니다. 내려받기 쉬운 순서로 적었습니다. 내려받기 전에 자료마다 이용 약관과 출처 표기 조건을 확인하세요.

NSMC 파일을 읽는 모양은 아래와 같습니다. 이 PC 에서 실행하지 않은 안내 코드입니다. 열 이름이 document(글), label(긍정 1, 부정 0)이므로 아래 풀이의 열 이름만 바꾸면 됩니다.

df = pd.read_csv("ratings_train.txt", sep="\t").dropna()
df = df.rename(columns={"document": "리뷰", "label": "긍정"})

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, precision_score, recall_score

df = pd.read_csv("reviews.csv")

# 긍정(1)과 부정(0)이 몇 건씩인지 센다
print(df["긍정"].value_counts())
# 큰 쪽의 비율이 "늘 그 답만 말하는 모델"의 정확도, 곧 기준선이다
print("기준선 정확도:", round(df["긍정"].value_counts(normalize=True).max(), 3))

긍정
1    474
0    326
Name: count, dtype: int64
기준선 정확도: 0.592

# 긍정 비율을 맞춰 학습용 75%, 시험용 25% 로 나눈다
X_train, X_test, y_train, y_test = train_test_split(
    df["리뷰"], df["긍정"], test_size=0.25, random_state=42, stratify=df["긍정"]
)

# char_wb: 낱말 안에서 글자 조각을 만든다. ngram_range=(2, 3): 두 글자, 세 글자 조각
vec = TfidfVectorizer(analyzer="char_wb", ngram_range=(2, 3))
# 학습용으로 조각 목록을 만들고(fit) 바로 숫자 표로 바꾼다(transform)
X_train_vec = vec.fit_transform(X_train)
# 시험용은 학습용에서 만든 조각 목록으로 바꾸기만 한다
X_test_vec = vec.transform(X_test)
# 결과: (리뷰 수, 글자 조각 수)
print(X_train_vec.shape)

model = LogisticRegression(max_iter=1000).fit(X_train_vec, y_train)
pred = model.predict(X_test_vec)

(600, 470)

print("정확도:", round(accuracy_score(y_test, pred), 3))
# pos_label=0: 부정(0) 리뷰를 기준으로 정밀도와 재현율을 계산한다
print("부정 정밀도:", round(precision_score(y_test, pred, pos_label=0), 3))
print("부정 재현율:", round(recall_score(y_test, pred, pos_label=0), 3))

정확도: 0.98
부정 정밀도: 0.976
부정 재현율: 0.976

# 리뷰, 정답, 예측을 한 표로 모은 뒤 정답과 예측이 다른 행만 남긴다
wrong = pd.DataFrame({"리뷰": X_test, "정답": y_test, "예측": pred})[y_test != pred]
print(len(wrong), "건 틀림")
print(wrong.to_string(index=False))

# 새 리뷰도 학습용에서 만든 vec 으로 바꾼 뒤 긍정일 확률을 구한다
new = ["포장이 꼼꼼하고 배송도 빨랐어요", "색이 사진과 너무 달라서 실망이에요", "가격은 비싸지만 품질은 좋아요"]
for text, p in zip(new, model.predict_proba(vec.transform(new))[:, 1]):
    print(f"{p:.3f}  {'긍정' if p >= 0.5 else '부정'}  {text}")

4 건 틀림
                리뷰  정답  예측
  맛있어서 또 시켰어요 추천해요   0   1
설명과 다르게 작동합니다 아쉬워요   1   0
       가격에 비해 별로네요   1   0
  가격 대비 만족합니다 추천해요   0   1
0.851  긍정  포장이 꼼꼼하고 배송도 빨랐어요
0.239  부정  색이 사진과 너무 달라서 실망이에요
0.724  긍정  가격은 비싸지만 품질은 좋아요