18장. Project 03. 내 서버에서 일하는 AI Agent

용어 짚고 가기

프라이빗 에이전트(private agent)회사 안의 서버에서 공개 모델로 도는 AI 에이전트입니다. 질문과 업무 데이터가 회사 밖으로 나가지 않습니다. private 는 "사적인, 내부의", agent 는 "대신 일을 맡아 하는 사람, 대리인"이라는 뜻입니다.
End-to-End(끝에서 끝까지)사용자의 요청을 받는 곳부터 모델, 도구, 기록까지 한 줄로 이어 실제로 돌아가게 만드는 것입니다. "한쪽 끝에서 다른 쪽 끝까지"라는 뜻이고, 줄여서 E2E 라고도 씁니다.
읽기 도구(read tool)정보를 찾아 돌려주기만 하는 도구입니다. 규정 검색, 주문 조회가 여기에 듭니다. read 는 "읽다"라는 뜻으로, 데이터를 바꾸지 않고 읽기만 한다는 말입니다.
쓰기 도구(write tool)시스템의 상태를 바꾸는 도구입니다. 휴가 신청, 반품 접수처럼 되돌리기 어려운 일을 합니다. write 는 "쓰다"라는 뜻으로, 데이터에 새로 적거나 고친다는 말입니다.
사용자 묶기(user binding)도구가 누구의 데이터를 다룰지를 LLM 이 아니라 서버가 로그인 정보로 정해 두는 것입니다. bind 는 "묶다, 매다"라는 뜻입니다.
확인 대기(pending confirmation)쓰기 도구가 바로 실행하지 않고 "이렇게 할까요?"라는 작업만 만들어 두는 상태입니다. 사람이 확인하면 실행됩니다. pending 은 "결정을 기다리는 중", confirmation 은 "확인"이라는 뜻입니다.
실행 기록(trace)에이전트가 요청 하나를 처리하며 부른 도구, 인자, 결과, 걸린 시간을 차례로 남긴 것입니다. trace 는 "발자국, 자취"라는 뜻입니다.
끝 상태 채점(end-state evaluation)에이전트의 말이 아니라, 일을 마친 뒤 시스템에 남은 결과(만든 신청, 접수한 반품)로 성공을 가리는 채점입니다. end state 는 "마지막에 남은 상태", evaluation 은 "평가"라는 뜻입니다.
프롬프트 인젝션(prompt injection)사용자의 말에 "이전 지시를 무시해"처럼 에이전트의 지시를 바꾸려는 문장을 섞는 공격입니다. 21장에서 자세히 다룹니다. injection 은 "주사, 주입"이라는 뜻으로, 지시를 몰래 밀어 넣는다는 말입니다.
상담원 넘기기(handoff)에이전트가 처리하지 않고 사람 상담원에게 대화를 넘기는 것입니다. hand off 는 "손에서 손으로 넘겨주다"라는 뜻입니다.