[논문]Vicuna: GPT-4를 90%* ChatGPT 품질로 감동시키는 오픈소스 챗봇
Vicuna-13B는 사용자가 공유한 대화를 통해 LLaMA 모델을 미세조정하여 개발된 오픈 소스 챗봇입니다. 초기 평가에서는 GPT-4를 기준으로 Vicuna-13B가 OpenAI ChatGPT와 Google Bard의 품질의 90% 이상을 달성하며, 다른 모델들보다 90% 이상의 경우에서 더 나은 성능을 보였습니다. Vicuna의 훈련 비용은 대략 $300입니다.
LMQL, Python의 상위 집합인 방법으로 개발자가 LLM을 사용하는 데 어떻게 도움을 주는가
How LMQL, a Superset of Python, Helps Developers Use LLMs 이 블로그는 대규모 언어 모델(Large Language Models, LLMs)과의 상호작용에 있어 자연어의 한계에 대해 논의하고 있습니다. ETH Zürich의 박사과정 학생인 루카 부어러-켈너(Luca Beurer-Kellner)에 따르면, 자연어는 본질적으로 비공식적이고 덜 정확하다는 단점이 있습니다. 이 문제를 해결하기 위해 부어러-켈너와 그의 동료들은 Language Model Query Language (LMQL)이라는 새로운 프로그래밍 언어를…
생성형 AI를 활용한 콘크리트 구조물 균열 분석: 가능성과 한계
생성형 AI의 활용 가능성을 확인하기 위해 ChatGPT와 Claude AI에 교량, 벽 등 콘크리트 구조물의 균열 사진을 제공하고 분석을 요청하였습니다. 제공된 사진만으로는 균열의 존재 여부를 확인하기 어려웠으나, 근접 촬영된 사진에서는 균열의 위치, 크기, 형태, 심각도를 비교적 정확하게 파악할 수 있었습니다. 생성형 AI는 균열 분석에 활용 가능성이 있으나, 정확한 판단을 위해서는 고해상도의 근접 사진이 필요할 것으로 보입니다.
Generative AI with Large Language Models
Generative AI & LLMs 이번 강의에서는 큰 틀을 설정해 보려고 합니다. 대규모 언어 모델(LLM), LLM의 사용 사례, 모델이 어떻게 작동하는지, 프롬프트 엔지니어링, 창의적인 텍스트 출력을 만드는 방법, 그리고 생성 AI 프로젝트의 생명주기를 개요화하는 것에 대해 이야기할 것입니다. 이 강의에 관심이 있다면, 아마도 이미 생성 AI 도구를 시도해 보았거나, 시도해 보고 싶다는 것을 의미할 것입니다. 챗봇이든…
Prompting, RAG 또는 Fine-tuning을 사용해야 할까요?
언어 모델 응용 프로그램(LLM)을 구축할 때 선택할 수 있는 여러 접근 방식에는 프롬프트 엔지니어링, 검색 증강 생성(RAG), 그리고 파인 튜닝이 있습니다. 각 접근 방식은 특정 작업의 성격, 훈련 데이터의 유무, 그리고 품질, 비용, 지연 시간 등에 따라 장단점이 있습니다. 일련의 질문을 통해 사용 사례에 가장 적합한 방법을 결정할 수 있으며, 이러한 방법들은 상호 보완적으로도 작동할 수 있습니다.
Large Language Models and Where to Use Them: Part 2
지난 몇 년 동안, 대규모 언어 모델(Large Language Models, LLMs)은 떠오르는 기술에서 주류 기술로 성장했습니다. 이 블로그 게시물에서는 이러한 모델들이 해결할 수 있는 가장 일반적인 자연어 처리(NLP) 사용 사례들에 대해 탐구할 것입니다. 이것은 두 부분으로 이루어진 시리즈의 두 번째 부분입니다.
Generative AI 모델의 훈련 과정과 선택 가이드
생성적 AI 프로젝트 라이프 사이클에서는 기존 모델을 활용하거나 새로운 모델을 훈련시키는 선택 사이에서 시작합니다. 여러 기반 모델을 이용할 수 있고, Hugging Face와 PyTorch 같은 플랫폼에서 모델 선택을 돕는 허브를 제공합니다. 이 글은 언어 모델 훈련 방법에 대해 이야기하며, 특정 작업에 어떤 모델을 선택할지에 대한 가이드를 제공합니다. 대형 모델 훈련에 연관된 도전과 어려움도 짚고 넘어갑니다.
OpenAI 어시스턴트의 작동 방식
OpenAI의 어시스턴트 API는 개발자가 다양한 작업을 수행할 수 있는 강력한 AI 어시스턴트를 구축할 수 있도록 설계되었으며, 현재 베타 단계에 있습니다. 이 API를 통해 어시스턴트는 대화 스레드를 관리하고, 실행 단계를 통해 다양한 도구를 호출하며, 메시지에 주석을 달 수 있습니다. 하지만 베타 기간 동안 스트리밍 출력, 폴링 없는 알림, DALL·E 도구 사용, 이미지를 포함한 메시지 생성 등의 기능에 대한 제한이 있으며, 이러한 기능들은 향후 지원될 예정입니다.