이 과정의 나머지 부분에서는 LLM 기반 어플리케이션을 개발하고 배포하기 위해 필요한 기법들을 배우게 됩니다. 이 동영상에서는 이 작업을 안내해 줄 수 있는 생성적 AI 프로젝트 생명 주기를 거치게 됩니다.
이 프레임워크는 프로젝트를 개념부터 론칭까지 이끄는데 필요한 작업을 설계해냅니다. 이 과정을 마치면, 여러분은 중요한 결정을 내려야 하는 지점, 만날 수 있는 잠재적인 어려움, 그리고 애플리케이션을 개발하고 배포하기 위해 필요한 인프라에 대해 좋은 직관을 얻을 수 있어야 합니다. 이것이 전체 생명 주기의 다이어그램입니다. 우리는 단계별로 이를 설명할 것입니다.
어떤 프로젝트에서든 가장 중요한 단계는 가능한 정확하고 세밀하게 범위를 정의하는 것입니다. 지금까지 이 과정에서 본 것처럼, LLM들은 많은 작업을 수행할 수 있지만, 모델의 성능은 모델의 크기와 구조에 크게 의존합니다.
여러분은 LLM이 여러분의 특정 어플리케이션에서 어떤 기능을 할 것인지 생각해야 합니다. 여러분은 모델이 장문의 텍스트 생성 등 많은 다른 작업을 수행할 수 있어야 하는지, 아니면 작업이 훨씬 더 구체적인 것, 예를 들어 명명된 개체 인식처럼, 모델이 하나의 작업에만 잘 맞게 해야 하는지를 결정해야 합니다. 이 과정의 나머지 부분에서 보게 될 것처럼, 여러분이 모델이 해야 할 일에 대해 정말 구체적이게 되면 시간을 절약하고, 아마 더 중요한 것은, 컴퓨팅 비용을 줄일 수 있습니다. 만족스럽게 범위를 정의하였다면 개발을 시작할 수 있습니다.
여러분의 첫번째 결정은 자체 모델을 처음부터 훈련시킬 것인지, 아니면 기존의 기본 모델을 활용할 것인지입니다. 대체로, 여러분은 기존 모델로 시작할 것이지만, 어떤 경우에는 처음부터 모델을 훈련시키는 것이 필요하다고 생각할 수 있습니다. 이 주 후반에, 이 결정 뒤에 있는 고려사항들에 대해 더 알아보게 될 것이며, 여러분의 모델을 훈련시키는 것이 실현 가능한지 추정하는데 도움이 될 수 있는 일부 기준도 알려드리겠습니다. 모델을 가지고 나면, 다음 단계는 성능을 평가하고, 어플리케이션에 필요한 경우 추가 훈련을 하는 것입니다.
이번 주에 이전에 보셨던 것처럼, 프롬프트 엔지니어링이 때로는 모델이 잘 수행되게 하는데 충분할 수 있으므로, 여러분은 아마 작업과 사용 사례에 맞는 예제를 사용한 인-컨텍스트 학습부터 시작하게 될 것입니다. 그러나 여전히 모델이 한번이나 몇번의 짧은 추론만으로도 여러분이 필요로 하는 만큼 잘 수행되지 않는 경우가 있을 수 있고, 그런 경우에는 모델을 미세 조정해볼 수 있습니다. 이 감독 학습 과정은 2주차에 자세히 다루어질 것이며, 2주차 랩에서 여러분은 모델을 직접 미세 조정해 보는 기회를 갖게 될 것입니다. 모델이 더욱 성능이 좋아짐에 따라, 배포 시 인간의 선호와 일치하는 방식으로 잘 동작하도록 하는 것이 점점 더 중요해지고 있습니다. 3주차에는 인간의 피드백을 활용한 강화 학습이라는 추가 미세조정 기법에 대해 배우게 됩니다. 이는 여러분의 모델이 잘 동작하도록 보장하는 데 도움이 될 수 있습니다.
이 기법들의 중요한 측면 중 하나는 평가입니다. 다음 주에는 모델이 얼마나 잘 수행되고 있는지, 또는 얼마나 여러분의 선호에 잘 맞추어져 있는지를 판단하는데 사용될 수 있는 일부 지표와 벤치마크에 대해 알아보게 됩니다. 이 어플리케이션 개발의 ‘적응하고 조정하기’ 단계는 반복적일 수 있습니다. 프롬프트 엔지니어링을 시도하고 출력을 평가한 다음, 성능을 향상시키기 위해 미세 조정을 사용하고, 다시 필요한 성능을 얻기 위해 프롬프트 엔지니어링을 한 번 더 확인하고 평가할 수 있습니다. 마지막으로, 성능 요구 사항을 충족시키고 잘 조정된 모델을 가지고 있다면, 이를 여러분의 인프라에 배포하고 어플리케이션과 통합할 수 있습니다.
이 단계에서 중요한 과정은 배포를 위해 모델을 최적화하는 것입니다. 이것은 여러분이 컴퓨팅 리소스를 최대한 잘 활용하고 어플리케이션 사용자에게 최상의 경험을 제공하도록 보장할 수 있습니다. 마지막이지만 매우 중요한 단계는 어플리케이션이 잘 동작하기 위해 필요한 추가 인프라를 고려하는 것입니다. 훈련만으로는 극복하기 어려운 LLM의 일부 근본적인 한계들이 있습니다. 예를 들어, 답을 모르는 경우 정보를 창작하려는 경향이 있거나, 복잡한 추론과 수학을 수행하는 능력이 제한적인 것입니다. 이 과정의 마지막 부분에서는 이러한 한계를 극복하는데 사용할 수 있는 강력한 기법들을 배우게 될 것입니다. 여기서 생각해야 할 것이 많다는 것을 알고 있습니다. 하지만 지금 당장 모든 것을 이해하려고 고민하지 않아도 됩니다. 각 단계의 세부 사항을 탐구하면서 이 그림을 계속 볼 수 있을 것입니다.
