18장. Project 03. 내 서버에서 일하는 AI Agent

정리

• 온프레미스 에이전트는 API, 에이전트, 도구, LLM 서빙, 기록의 다섯 층을 회사 안에서 잇습니다.
• 도구는 읽기와 쓰기로 나누고, 허용 목록에 있는 도구만 실행합니다.
• 누구의 데이터를 다룰지는 서버가 로그인 정보로 도구에 묶습니다. 도구의 인자에 사용자 칸을 두지 않습니다.
• 쓰기 도구는 조건을 코드로 검사한 뒤 "확인 대기" 작업만 만들고, 주인이 확인해야 실행합니다.
• 요청마다 걸음, 도구, 인자, 결과, 시간을 기록해 실패를 따라갈 수 있게 합니다.
• 모델 크기, 미리 계산, 캐시, 걸음 한도로 가볍게 만들되, 끝 상태 성공과 안전 위반으로 함께 잽니다.