생성형 AI
생성형 AI는 데이터를 학습하여 새로운 정보나 콘텐츠를 생성하는 인공지능 기술입니다.
소형 언어 모델 (SLM)을 로컬 및 오프라인으로 실행하기
소형 언어 모델 (SLM)은 높은 활용성으로 유명합니다. 이 모델들은 로컬 환경이나 오프라인에서도 실행될 수 있어, 사용자에게 데이터 통제권을 부여하고 프라이버시를 보장합니다.
생성형 AI 드림팀을 구성하는 방법
생성적 인공지능(AI) 꿈의 팀 구성에는 프로젝트 매니저, 데이터 과학자, 머신러닝 엔지니어, AI 연구원, 소프트웨어 개발자, UX/UI 디자이너, 도메인 전문가, 윤리 전문가 등 다양한 역할이 포함됩니다. 각 역할은 프로젝트의 성공을 위해 중요하며, 전문 지식과 기술을 바탕으로 팀 내에서 협력합니다. 이들은 AI 솔루션의 개발과 배포 과정에서 윤리적 가이드라인을 준수하며, 사용자 중심의 접근 방식으로 문제를 해결하는 데 기여합니다.
프롬프트 엔지니어링: 실용적인 예시
텍스트 프롬프트는 LLM의 응답을 지시하는 역할을 하기 때문에 조금만 변경해도 완전히 다른 결과를 얻을 수 있습니다. 이 튜토리얼에서는 실제 사례에 여러 프롬프트 엔지니어링 기술을 적용해 보겠습니다. 이를 통해 반복적인 과정으로 진행되는 프롬프트 엔지니어링을 직접 경험하고, 다양한 기술을 적용하는 효과를 확인하며 머신 러닝 및 데이터 엔지니어링과 관련된 개념을 배울 수 있습니다.
OpenAI 어시스턴트의 작동 방식
OpenAI의 어시스턴트 API는 개발자가 다양한 작업을 수행할 수 있는 강력한 AI 어시스턴트를 구축할 수 있도록 설계되었으며, 현재 베타 단계에 있습니다. 이 API를 통해 어시스턴트는 대화 스레드를 관리하고, 실행 단계를 통해 다양한 도구를 호출하며, 메시지에 주석을 달 수 있습니다. 하지만 베타 기간 동안 스트리밍 출력, 폴링 없는 알림, DALL·E 도구 사용, 이미지를 포함한 메시지 생성 등의 기능에 대한 제한이 있으며, 이러한 기능들은 향후 지원될 예정입니다.
OpenAI Developer Day Keynote: 어시스턴트 API 베타
어시스턴트 API는 여러분의 애플리케이션 내에서 AI 어시스턴트를 구축할 수 있게 해줍니다. 어시스턴트는 지시사항을 가지고 있으며, 모델, 도구, 지식을 활용하여 사용자의 질문에 답변할 수 있습니다. 현재 어시스턴트 API는 세 가지 유형의 도구를 지원합니다:
RAG(Retrieval-Augmented Generation) 파이프라인 모델링
RAG(Retrieval Augmented Generation) 모델링은 문서 기반의 질문 응답 시스템을 제공하여, 사용자의 질문에 대해 관련 문서를 찾아내고 이를 바탕으로 답변을 생성합니다. 그러나 이러한 시스템은 상업적 측면에서 비용, 환상(hallucinations), 규칙 적용, 그리고 캐싱과 같은 여러 문제점을 안고 있어, 이를 해결하기 위한 다양한 기술적 접근법과 개선 방안이 제시되고 있습니다. 특히, 스마트 캐시와 두 단계 응답 시스템은 비용을 줄이고 답변의 정확성을 높이며, 이는 고객 지원 또는 새로운 직원 온보딩과 같은 비즈니스 환경에서 특히 유용할 수 있습니다.
LangChain의 문서 처리 전략: 스터핑, 맵리듀스, 리파인, 맵 리랭크
LangChain은 스터핑, 맵리듀스, 리파인, 그리고 맵 리랭크와 같은 다양한 청킹 및 처리 전략을 사용하여 문서를 분석하고 요약합니다. 스터핑 전략은 직접적인 입력 처리를, 맵리듀스는 병렬 처리와 누적을, 리파인은 반복적인 정제를 통해, 그리고 맵 리랭크는 초기 프롬프트 실행과 점수 기반 재정렬을 통해 문서 처리를 최적화합니다. 이러한 전략들은 서로 다른 문서 분석 및 요약 요구 사항에 따라 LangChain에서 효율적으로 사용될 수 있습니다.
개발자를 위한 벡터 임베딩: 기초
벡터 임베딩은 검색부터 AI 어시스턴트에 이르기까지 다양한 애플리케이션에서 사용되는 많은 머신 러닝 및 딥 러닝 알고리즘의 기본 구성 요소입니다. 이 분야에서 자신만의 애플리케이션을 구축하려고 한다면 어느 시점에는 벡터 임베딩에 부딪힐 것입니다.
Chroma DB 임베딩
크로마(Chroma)는 인기 있는 임베딩 제공자들에 대한 경량 래퍼를 제공하므로, 앱에서 이들을 쉽게 사용할 수 있게 해줍니다. 크로마 컬렉션을 생성할 때 임베딩 함수를 설정할 수 있으며, 이 함수는 자동으로 사용되거나, 직접 호출하여 사용할 수 있습니다.
Chroma DB 사용자 가이드 : Python
Chroma DB는 벡터 데이터베이스로, 임베딩을 관리하고 검색할 수 있는 기능을 제공합니다. 이 데이터베이스는 컬렉션을 생성, 검색, 업데이트, 삭제하는 기능과 메타데이터 및 문서 내용에 대한 필터링, 기본 인증 및 정적 API 토큰 인증과 같은 인증 옵션을 포함하여 다양한 방법으로 데이터를 쿼리하고 관리할 수 있습니다. 클라이언트와 서버 설정을 통해 인증을 구성하고, 서버 실행 및 클라이언트 연결을 쉽게 설정하여 Chroma DB의 기능을 활용할 수 있습니다.