실습 1 — 오프라인으로 돌아가는지 확인하기

from pathlib import Path

# 모든 실습이 첫머리에서 불러 쓸 모듈을 파일로 만든다
Path("out_offline.py").write_text('''"""폐쇄망 흉내: localhost 밖으로 나가는 연결을 막고, 막은 주소를 적어 둔다."""
import os
import socket

BLOCKED = []                                   # 막은 주소를 차례로 적는다
LOCAL = {"localhost", "127.0.0.1", "::1", None}
_real = socket.getaddrinfo                     # 주소를 IP 로 바꾸는 원래 함수


def _only_local(host, *args, **kwargs):
    if host not in LOCAL:
        BLOCKED.append(host)
        raise OSError(f"폐쇄망: {host} 로 나가는 연결을 막았습니다")
    return _real(host, *args, **kwargs)


def guard():
    """라이브러리의 오프라인 설정을 켜고, 바깥 연결을 막는다. 라이브러리를 import 하기 전에 부른다."""
    os.environ["HF_HUB_OFFLINE"] = "1"          # Hugging Face: 허브에 묻지 않고 캐시만 쓴다
    os.environ["TRANSFORMERS_OFFLINE"] = "1"
    os.environ["ANONYMIZED_TELEMETRY"] = "False"   # Chroma: 사용 통계를 보내지 않는다
    socket.getaddrinfo = _only_local


def release():
    """막기를 푼다."""
    socket.getaddrinfo = _real
''', encoding="utf-8")

import sys
sys.path.insert(0, ".")                        # 작업 폴더(data)에 만든 out_offline.py 를 찾게 한다
import out_offline
out_offline.guard()
# 결과: 막기가 켜졌는지(바꿔 끼운 함수인지)
import socket
print("막기 켜짐:", socket.getaddrinfo is not out_offline._real)

import urllib.request

# 바깥 주소: 연결하기 전에 막혀야 한다(실제로 인터넷에 나가지 않는다)
try:
    urllib.request.urlopen("https://huggingface.co", timeout=5)
except Exception as e:
    print("바깥:", type(e).__name__, e)

# 사내 주소(이 PC 의 Ollama): 열려 있어야 한다
print("안쪽:", urllib.request.urlopen("http://localhost:11434/api/version").read().decode())
print("막은 주소:", out_offline.BLOCKED)

from sentence_transformers import SentenceTransformer
import chromadb
from chromadb.config import Settings

# 캐시에 있는 임베딩 모델을 부른다. 오프라인 설정 덕에 허브에 묻지 않는다
emb = SentenceTransformer("intfloat/multilingual-e5-small", device="cpu")
v = emb.encode("query: 반차는 언제까지 신청하나요?", normalize_embeddings=True)
print("임베딩:", v.shape)

# Chroma 를 통계 없이 연다. anonymized_telemetry=False 가 통계 보내기를 끈다
client = chromadb.EphemeralClient(settings=Settings(anonymized_telemetry=False))
print("Chroma 컬렉션 수:", len(client.list_collections()))

# 결과: 여기까지 새로 막힌 주소가 없으면, 모델과 DB 가 바깥을 찾지 않은 것이다
print("막은 주소:", out_offline.BLOCKED)

import json
import pandas as pd
from huggingface_hub import scan_cache_dir

rows = []
# Hugging Face 캐시에 든 모델(이 과정에서 내려받은 것)과 크기
for repo in scan_cache_dir().repos:
    rows.append({"종류": "HF", "이름": repo.repo_id, "크기MB": round(repo.size_on_disk / 1e6)})
# Ollama 에 든 모델과 크기(사내 주소이므로 열린다)
tags = json.loads(urllib.request.urlopen("http://localhost:11434/api/tags").read())
for m in tags["models"]:
    rows.append({"종류": "Ollama", "이름": m["name"], "크기MB": round(m["size"] / 1e6)})

carry = pd.DataFrame(rows).sort_values(["종류", "크기MB"], ascending=[True, False])
carry.to_csv("out_carry_list.csv", index=False, encoding="utf-8-sig")
print(carry.to_string(index=False))
print("합계:", f"{carry['크기MB'].sum():,}MB")