지니코딩랩

지난 몇 년 동안, 대규모 언어 모델(Large Language Models, LLMs)은 떠오르는 기술에서 주류 기술로 성장했습니다. 이 블로그 게시물에서는 이러한 모델들이 해결할 수 있는 가장 일반적인 자연어 처리(NLP) 사용 사례들에 대해 탐구할 것입니다. 이것은 두 부분으로 이루어진 시리즈의 첫 번째 부분입니다.

여기서는 ‘BLOOM’이라는 대형 언어 모델(LLM)에 대한 개요를 찾을 수 있습니다. BLOOM에 대한 실용적인 구현체들과 여러 가지 방법으로 접근하는 방법, 그리고 그것이 얼마나 비용이 드는지에 대해 알아보겠습니다.

거대 언어 모델의 지시사항 조정(instruction tuning)에 대해 더욱 깊이 있게 다룰 예정입니다. 그리고 효율적인 방법으로 미세 조정(fine-tuning)하는 방법에 대해서도 나중에 알아볼 것입니다. 우선 지시사항 미세조정(instruction fine-tuning)에 대해 살펴봅시다. 기본 모델은 세상에 대한 많은 정보를 미리 학습하게 됩니다. 그러나 우리의 프롬프트나 질문에 반응하는 방법은 반드시 알지 못합니다. 따라서 특정 작업을 수행하도록 지시할 때에는 반드시 반응하는 방법을…

Generative AI & LLMs 이번 강의에서는 큰 틀을 설정해 보려고 합니다. 대규모 언어 모델(LLM), LLM의 사용 사례, 모델이 어떻게 작동하는지, 프롬프트 엔지니어링, 창의적인 텍스트 출력을 만드는 방법, 그리고 생성 AI 프로젝트의 생명주기를 개요화하는 것에 대해 이야기할 것입니다. 이 강의에 관심이 있다면, 아마도 이미 생성 AI 도구를 시도해 보았거나, 시도해 보고 싶다는 것을 의미할 것입니다. 챗봇이든…

모델이 다음 단어 생성에 대한 최종 결정을 내리는 방식에 영향을 미치는 방법과 관련 구성 매개변수들을 살펴보겠습니다. Hugging Face 웹사이트나 AWS에서 LLM을 사용해 보셨다면, LLM이 어떻게 작동하는지 조정할 수 있는 이러한 컨트롤들을 접해 보셨을 것입니다. 각 모델은 추론 중에 모델의 출력에 영향을 미칠 수 있는 일련의 구성 매개변수를 제공합니다. 이것들은 학습 시간 동안 학습되는 학습 매개변수와는…

제목: 대화형 언어 모델의 이해와 활용 모델에 입력하는 텍스트를 ‘프롬프트’, 텍스트를 생성하는 것을 ‘추론(inference)’, 출력 텍스트를 ‘완성(completion)’이라 부릅니다. 프롬프트로 사용할 수 있는 텍스트 전체 또는 사용 가능한 메모리는 ‘컨텍스트 윈도우’라고 부릅니다. 이 모델이 뛰어난 성과를 보여주는 예시를 보셨겠지만, 모델이 원하는 결과를 처음에 바로 출력하지 못하는 경우가 종종 있습니다. 프롬프트의 언어나 작성 방식을 여러 번 수정하여…

트랜스포머 아키텍처는 주로 어텐션 메커니즘을 활용하여 시퀀스 데이터를 처리합니다. 이 모델은 인코더와 디코더로 구성되어 있으며, 각각은 여러 개의 층으로 이루어져 있습니다. 어텐션 메커니즘을 통해 입력 시퀀스의 중요한 부분에 더 많은 집중을 하여, 문제에 따라 다양한 NLP 작업에 효과적으로 적용될 수 있습니다.