오픈소스 LLMs인 Llama 2와 Falcon을 사용하여 챗봇을 만드는 방법

이 블로그에서는 오픈소스 LLMs를 사용하여 챗봇을 만드는 방법을 배울 것입니다. 우리는 Lit-GPT와 LangChain을 사용할 것입니다. Lit-GPT는 튜닝과 추론을 위한 오픈소스 LLMs의 최적화된 모음입니다. 이는 Falcon, Llama 2, Vicuna, LongChat 및 기타 성능이 뛰어난 오픈소스 대형 언어 모델을 지원합니다.

Read More

Generative AI project lifecycle

Generative AI 프로젝트의 수명 주기는 사용 사례를 정의하는 범위 설정, 기존 모델 선택 또는 자체 모델의 사전 훈련, 모델의 적응 및 조정, 그리고 응용 프로그램 통합으로 구성됩니다. 이 과정에서는 모델의 프롬프트 엔지니어링, 미세 조정, 인간의 피드백과 조정 및 성능 평가를 포함합니다. 마지막으로, 모델을 실제 환경에 배포하고, LLM 기술을 활용한 응용 프로그램을 개발합니다.

Read More

Generative AI의 새로운 패러다임

기술적 발전에 따라 인공 지능, 특히 대규모 언어 모델과 생성적 AI는 비즈니스 문제 해결에서 중요한 역할을 하고 있습니다. OpenAI와 같은 기업들은 AI의 상용화와 이용을 단순화하고 확장시켰습니다. 그러나 이러한 AI 기술은 도덕적, 법적 문제와 데이터 보안 문제를 일으킬 수 있습니다. 이러한 위험에도 불구하고, 기업들은 AI의 잠재력을 탐구하며, 적절한 관리와 실행을 통해 그 장점을 활용하고 있습니다.

Read More

LLM fine-tuning에 대한 완전한 가이드

대규모 언어 모델 (LLM)의 미세 조정에 대한 글입니다. LLM은 기본적으로 광범위한 데이터셋으로 훈련되었지만 특정 애플리케이션에 적합하게 만들기 위해서는 종종 세밀 조정이 필요합니다. 세밀 조정은 모델을 새로운 데이터에 다시 훈련시키는 과정입니다. 이 글에서는 다양한 LLM 세밀 조정 기술과 그 사용 시점, 그리고 그것을 사용하지 않아야 할 시점에 대해 다루고 있습니다.

Read More

ChatGPT 프롬프트를 더 잘 작성하여 최상의 생성 AI 결과 얻는 방법

How to write better ChatGPT prompts for the best generative AI results 최상의 결과를 얻기 위해 효과적인 챗봇 프롬프트를 작성하는 것은 한 종류의 예술입니다. 여러분의 프롬프트 작성 능력을 향상시키는 방법은 다음과 같습니다. GIGO. 이는 1957년에 미국 육군의 윌리엄 멜린이 신문 기자에게 컴퓨터는 입력된 데이터에 따라 한계를 가진다고 설명했을 때부터 사용된 약어입니다. “Garbage In, Garbage Out”…

Read More

ChainForge: LLM Evaluation Tool

ChainForge는 프롬프트 엔지니어링, LLM 평가 및 실험을 위한 오픈소스 시각 프로그래밍 환경입니다. ChainForge를 사용하면 코딩이 거의 필요하지 않거나 전혀 필요하지 않은 상태에서 프롬프트와 텍스트 생성 모델의 견고성을 평가할 수 있습니다. 기능은 다음과 같습니다: UI 개요 이 페이지는 ChainForge의 사용자 인터페이스를 설명하며 툴바의 모든 버튼을 포함합니다. 아래에는 인터페이스의 스크린샷이 있습니다. 이 인터페이스는 사용자가 잘못되었다고 알려주면 채팅…

Read More

[논문]대규모 언어 모델에서의 추론을 유도하는 사고의 연쇄(Chain-of-Thought) 프롬프팅

체인 오브 써트 프롬프팅은 복잡한 문제를 중간 단계로 분해하고 각 단계를 해결함으로써 문제의 최종 답변을 도출하는 사람의 생각 과정을 모방하는 기법이다. 이 연구에서는, 체인 오브 써트 프롬프팅이 언어 모델의 연산 능력을 향상시키며, 모델이 제공하는 답변의 행동을 해석하는 창을 제공한다는 것을 보여준다. 특히, 큰 언어 모델에서는 체인 오브 써트 프롬프팅이 성능을 크게 향상시키며, 일부 벤치마크에서는 최신 기술을 초월하는 성과를 달성한다.

Read More

생각의 뼈대(Skeleton-of-Thought): 새로운 프롬프트 엔지니어링 기법 탐색

생각의 뼈대(Skeleton-of-Thought, SoT)는 대화형 AI 응용 프로그램에서 질문에 대한 응답을 속도 높게 생성하기 위한 새로운 프롬프트 엔지니어링 방식입니다. SoT는 먼저 대답의 뼈대나 개요를 생성한 다음, 이 개요에 따라 자세한 내용을 병렬적으로 확장합니다. 이 방법은 특히 복잡하고 다양한 질문에 대한 응답을 구성할 때 시간을 절약할 수 있으며, 여러 테스트 케이스에서 효과적이라는 것이 연구에서 밝혀졌습니다.

Read More