생성형 AI
생성형 AI는 데이터를 학습하여 새로운 정보나 콘텐츠를 생성하는 인공지능 기술입니다.
프롬프트 엔지니어링: 실용적인 예시
텍스트 프롬프트는 LLM의 응답을 지시하는 역할을 하기 때문에 조금만 변경해도 완전히 다른 결과를 얻을 수 있습니다. 이 튜토리얼에서는 실제 사례에 여러 프롬프트 엔지니어링 기술을 적용해 보겠습니다. 이를 통해 반복적인 과정으로 진행되는 프롬프트 엔지니어링을 직접 경험하고, 다양한 기술을 적용하는 효과를 확인하며 머신 러닝 및 데이터 엔지니어링과 관련된 개념을 배울 수 있습니다.
OpenAI 어시스턴트의 작동 방식
OpenAI의 어시스턴트 API는 개발자가 다양한 작업을 수행할 수 있는 강력한 AI 어시스턴트를 구축할 수 있도록 설계되었으며, 현재 베타 단계에 있습니다. 이 API를 통해 어시스턴트는 대화 스레드를 관리하고, 실행 단계를 통해 다양한 도구를 호출하며, 메시지에 주석을 달 수 있습니다. 하지만 베타 기간 동안 스트리밍 출력, 폴링 없는 알림, DALL·E 도구 사용, 이미지를 포함한 메시지 생성 등의 기능에 대한 제한이 있으며, 이러한 기능들은 향후 지원될 예정입니다.
OpenAI Developer Day Keynote: 어시스턴트 API 베타
어시스턴트 API는 여러분의 애플리케이션 내에서 AI 어시스턴트를 구축할 수 있게 해줍니다. 어시스턴트는 지시사항을 가지고 있으며, 모델, 도구, 지식을 활용하여 사용자의 질문에 답변할 수 있습니다. 현재 어시스턴트 API는 세 가지 유형의 도구를 지원합니다:
RAG(Retrieval-Augmented Generation) 파이프라인 모델링
RAG(Retrieval Augmented Generation) 모델링은 문서 기반의 질문 응답 시스템을 제공하여, 사용자의 질문에 대해 관련 문서를 찾아내고 이를 바탕으로 답변을 생성합니다. 그러나 이러한 시스템은 상업적 측면에서 비용, 환상(hallucinations), 규칙 적용, 그리고 캐싱과 같은 여러 문제점을 안고 있어, 이를 해결하기 위한 다양한 기술적 접근법과 개선 방안이 제시되고 있습니다. 특히, 스마트 캐시와 두 단계 응답 시스템은 비용을 줄이고 답변의 정확성을 높이며, 이는 고객 지원 또는 새로운 직원 온보딩과 같은 비즈니스 환경에서 특히 유용할 수 있습니다.
LangChain의 문서 처리 전략: 스터핑, 맵리듀스, 리파인, 맵 리랭크
LangChain은 스터핑, 맵리듀스, 리파인, 그리고 맵 리랭크와 같은 다양한 청킹 및 처리 전략을 사용하여 문서를 분석하고 요약합니다. 스터핑 전략은 직접적인 입력 처리를, 맵리듀스는 병렬 처리와 누적을, 리파인은 반복적인 정제를 통해, 그리고 맵 리랭크는 초기 프롬프트 실행과 점수 기반 재정렬을 통해 문서 처리를 최적화합니다. 이러한 전략들은 서로 다른 문서 분석 및 요약 요구 사항에 따라 LangChain에서 효율적으로 사용될 수 있습니다.
개발자를 위한 벡터 임베딩: 기초
벡터 임베딩은 검색부터 AI 어시스턴트에 이르기까지 다양한 애플리케이션에서 사용되는 많은 머신 러닝 및 딥 러닝 알고리즘의 기본 구성 요소입니다. 이 분야에서 자신만의 애플리케이션을 구축하려고 한다면 어느 시점에는 벡터 임베딩에 부딪힐 것입니다.
Chroma DB 임베딩
크로마(Chroma)는 인기 있는 임베딩 제공자들에 대한 경량 래퍼를 제공하므로, 앱에서 이들을 쉽게 사용할 수 있게 해줍니다. 크로마 컬렉션을 생성할 때 임베딩 함수를 설정할 수 있으며, 이 함수는 자동으로 사용되거나, 직접 호출하여 사용할 수 있습니다.
Chroma DB 사용자 가이드 : Python
Chroma DB는 벡터 데이터베이스로, 임베딩을 관리하고 검색할 수 있는 기능을 제공합니다. 이 데이터베이스는 컬렉션을 생성, 검색, 업데이트, 삭제하는 기능과 메타데이터 및 문서 내용에 대한 필터링, 기본 인증 및 정적 API 토큰 인증과 같은 인증 옵션을 포함하여 다양한 방법으로 데이터를 쿼리하고 관리할 수 있습니다. 클라이언트와 서버 설정을 통해 인증을 구성하고, 서버 실행 및 클라이언트 연결을 쉽게 설정하여 Chroma DB의 기능을 활용할 수 있습니다.
ChromaDB 개요: 벡터 데이터베이스
Chroma DB는 벡터 임베딩을 저장하고 검색하는 데 사용되는 오픈 소스 벡터 저장소입니다. 주요 용도는 대규모 언어 모델에 의해 나중에 사용될 메타데이터와 함께 임베딩을 저장하는 것입니다. 또한 텍스트 데이터에 대한 의미론적 검색 엔진으로도 사용할 수 있습니다.
PromptLayer: 프롬프트 엔지니어링을 위한 플랫폼
PromptLayer는 프롬프트 엔지니어링을 위한 플랫폼으로, OpenAI의 대형 언어 모델(Large Language Model, LLM)과 같은 언어 모델에 대한 요청을 추적, 관리, 공유할 수 있게 돕습니다. 프롬프트 엔지니어링은 언어 모델에게 특정 작업을 수행하도록 지시하는 프롬프트를 생성하고 최적화하는 과정을 의미합니다.