OpenAI의 어시스턴트 API는 개발자가 다양한 작업을 수행할 수 있는 강력한 AI 어시스턴트를 구축할 수 있도록 설계되었으며, 현재 베타 단계에 있습니다. 이 API를 통해 어시스턴트는 대화 스레드를 관리하고, 실행 단계를 통해 다양한 도구를 호출하며, 메시지에 주석을 달 수 있습니다. 하지만 베타 기간 동안 스트리밍 출력, 폴링 없는 알림, DALL·E 도구 사용, 이미지를 포함한 메시지 생성 등의 기능에 대한 제한이 있으며, 이러한 기능들은 향후 지원될 예정입니다.
어시스턴트 API는 여러분의 애플리케이션 내에서 AI 어시스턴트를 구축할 수 있게 해줍니다. 어시스턴트는 지시사항을 가지고 있으며, 모델, 도구, 지식을 활용하여 사용자의 질문에 답변할 수 있습니다. 현재 어시스턴트 API는 세 가지 유형의 도구를 지원합니다:
RAG(Retrieval Augmented Generation) 모델링은 문서 기반의 질문 응답 시스템을 제공하여, 사용자의 질문에 대해 관련 문서를 찾아내고 이를 바탕으로 답변을 생성합니다. 그러나 이러한 시스템은 상업적 측면에서 비용, 환상(hallucinations), 규칙 적용, 그리고 캐싱과 같은 여러 문제점을 안고 있어, 이를 해결하기 위한 다양한 기술적 접근법과 개선 방안이 제시되고 있습니다. 특히, 스마트 캐시와 두 단계 응답 시스템은 비용을 줄이고 답변의 정확성을 높이며, 이는 고객 지원 또는 새로운 직원 온보딩과 같은 비즈니스 환경에서 특히 유용할 수 있습니다.
LangChain은 스터핑, 맵리듀스, 리파인, 그리고 맵 리랭크와 같은 다양한 청킹 및 처리 전략을 사용하여 문서를 분석하고 요약합니다. 스터핑 전략은 직접적인 입력 처리를, 맵리듀스는 병렬 처리와 누적을, 리파인은 반복적인 정제를 통해, 그리고 맵 리랭크는 초기 프롬프트 실행과 점수 기반 재정렬을 통해 문서 처리를 최적화합니다. 이러한 전략들은 서로 다른 문서 분석 및 요약 요구 사항에 따라 LangChain에서 효율적으로 사용될 수 있습니다.
