사용자 정의 데이터와 LLM의 결합: LlamaIndex의 고수준 개념 탐색

LlamaIndex는 다양한 데이터 소스와 포맷에서 데이터를 취득하고 구조화하여, 대규모 언어 모델(LLM) 기반의 응용 프로그램(예: Q&A, 챗봇, 에이전트)을 사용자 정의 데이터로 향상시키는 데 필요한 도구를 제공합니다. 이 프레임워크는 검색 증강 생성(RAG) 패러다임을 통해 사용자의 쿼리에 대한 응답을 생성하기 위해 쿼리 단계에서 관련 컨텍스트를 검색하고 LLM에 전달하는 데 중점을 둡니다. LlamaIndex는 검색기, 노드 포스트프로세서, 응답 합성기와 같은 구성 요소를 제공하여, 사용자가 쿼리 엔진, 채팅 엔진 또는 에이전트와 같은 다양한 RAG 파이프라인을 구축하고 통합할 수 있도록 지원합니다.

Read More

LlamaIndex 초보자 튜토리얼

LlamaIndex는 Llama 모델을 로컬 환경에서 실행하고 인덱스를 구축하여 텍스트 데이터를 쿼리할 수 있는 도구를 제공합니다. 사용자는 Python 스크립트 또는 Jupyter 노트북을 통해 문서를 인덱스화하고, 특정 키워드 또는 질문에 대한 쿼리를 실행하여 관련 정보를 검색할 수 있습니다. 또한, 사용자는 로깅을 설정하여 쿼리 및 이벤트를 확인하고, 인덱스를 디스크에 저장하거나 디스크에서 다시 로드할 수 있는 기능도 제공합니다.

Read More

자동 생성된 에이전트 채팅: 웹 정보가 필요한 작업 해결

AutoGen 프레임워크에서, AssistantAgent는 사용자의 요구 사항에 따라 Python 코드를 작성하는 역할을 하며, UserProxyAgent는 이 코드를 실행하는 프록시 역할을 합니다. 예를 들어, 사용자가 10대 기술 회사의 올해 수익 정보를 요청하면, AssistantAgent는 이 작업을 수행하기 위한 코드를 작성합니다. 그 후, UserProxyAgent는 이 코드를 실행하여 웹에서 필요한 정보를 획득하고 사용자에게 제공합니다.

Read More

2023년을 위한 벡터 데이터베이스 선택: 비교 및 안내

세맨틱 검색(Semantic search)과 검색 증강 생성(Retrieval-augmented generation, RAG)이 온라인 상호 작용을 재정의하는 시대에, 이런 발전의 기반이 되는 핵심 구성요소인 벡터 데이터베이스는 종종 간과됩니다. 대규모 언어 모델, RAG 또는 세맨틱 검색을 활용하는 어떤 플랫폼을 찾고 계신다면 이 글이 도움이 될 것입니다.

Read More

Microsoft의 AutoGen 프레임워크는 AI 에이전트가 서로 대화하고 작업을 완료할 수 있게 합니다.

자율 에이전트는 현재 생성형 AI의 가장 핫한 트렌드 중 하나로 빠르게 부상하고 있습니다. 그것이 완전히 해결된 문제나 주류 트렌드는 아니지만, 자율 에이전트는 기반 모델 영역에서의 새로운 전선으로 널리 인정받고 있습니다. 이 영역에서의 연구와 프레임워크가 계속해서 등장하고 있고, 그 중에서도 최근에 발표된 가장 주목할만한 작업은 Microsoft Research의 AutoGen 프로젝트입니다.

Read More

로컬 컴퓨터에서 LLAMA 2를 이용한 Youtube Q&A 봇 만들기

LLAMA-2와 같은 오픈 소스 모델을 사용하여 YouTube 동영상 관련 질문을 처리하는 챗봇 개발합니다. 미리 학습된 LLM은 유용하지만, 연속적인 학습 기능이 없어서 때로는 부정확한 정보(환상,hallucinations)를 제공할 수 있다는 한계가 있습니다. 이 문제를 해결하기 위해 질문 프롬프트에 상황 정보를 포함시키는 방법이 중요합니다. 이렇게 하면 오픈 소스 모델을 효과적으로 활용하면서 동시에 사용자의 개별적이거나 전용 데이터 소스와 함께 사용할…

Read More

[논문]다중 모달 모델 GPT-4V의 탐구: 기능, 응용 및 미래 연구 방향

The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision) PDF Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models 초록 대형 다중 모달 모델(LMM, Large multimodal models)은 시각적 이해와 같은 다중 감각 능력을 가진 대형 언어 모델(LLMs, large language models)을 확장하여 더욱 강력한 일반 지능을 달성합니다. 이 논문에서는 GPT-4V(ision)1과 같은 최신 모델을 분석하여 LMM에 대한…

Read More

ChatGPT Vision을 사용하여 프롬프트에 이미지를 사용할 수 있습니다

OpenAI의 제목은 인간화된 표현을 사용하지만, ChatGPT Vision은 실제로 볼 수 없습니다. 그러나 이는 이미지 입력을 처리하고 분석할 수 있어, 이런 능력이 인간의 두뇌가 할 수 있는 것과 상당히 유사하다고 느낄 수 있게 합니다. ChatGPT Vision은 OpenAI의 최신 발표로서, 생성적 AI 챗봇에 멀티모달(다양한 모드의) 능력을 부여합니다. ChatGPT Plus 구독자들은 iOS 또는 Android의 ChatGPT 앱에 이미지를 업로드할…

Read More