https://www.cloudbooklet.com/connect-llama-2-api/
How to build a Llama 2 chatbot
Llama 2 is here – get it on Hugging Face
Meta의 Llama 2와 데이터브릭스로 생성형 AI앱 구축하기
다양한 소스들로부터 데이터에 접근하고 조작할 수 있는 강력하면서도 사용하기 쉬운 API를 찾고 있다면, Llama 2에 관심이 있을 수 있습니다. Llama 2 API는 쿼리, 필터, 정렬, 집계, 그리고 데이터를 변형하는데 있어서 일반적인 구문과 인터페이스를 사용하는 간단하고 직관적인 방법을 제공합니다.
이 글에서는 Python, Java, Node.js, React와 같은 다양한 프로그래밍 언어와 프레임워크를 사용하여 Llama 2 API에 연결하는 방법을 배울 수 있습니다.
What is Llama 2?
Llama 2는 프롬프트에 대응하여 텍스트와 코드를 생성할 수 있는 모델의 집합체로, 다른 챗봇 같은 시스템과 비교할 수 있습니다. 이는 대형 언어 모델 (LLM)로, 이전 모델들보다 더 강력하고 효율적입니다. Llama 2는 공개적으로 이용 가능한 온라인 데이터 소스에서 2조 개의 토큰에 대해 훈련되었으며, Llama 1에 비해 두 배의 컨텍스트 길이를 가지고 있습니다. 또한 100만 개 이상의 인간 주석에 대해 훈련된 미세조정 모델들을 갖추고 있습니다.
Why use Llama 2?
Llama 2는 다른 오픈 소스 언어 모델들에 비해 많은 장점을 가지고 있습니다:
- 추론, 코딩, 숙련도, 지식 테스트를 포함한 많은 외부 벤치마크에서 다른 모델들을 능가합니다.
- 연구 및 상업적 용도로 무료로 사용할 수 있습니다.
- 개발자와 조직이 생성 AI 기반 도구와 경험을 구축할 수 있도록 설계되었습니다.
- Windows, AWS, Azure, Hugging Face, Qualcomm Snapdragon과 같은 다양한 플랫폼과 호환됩니다.
- 환영, 오정보, 해로운 관점 (hallucinations, misinformation, and harmful perspectives)등의 문제를 피하기 위해 안전과 책임을 염두에 두고 개발되었습니다.
How to get Llama 2?
Llama 2를 얻으려면 Meta의 웹사이트를 통해 다운로드 양식을 작성해야 합니다. 이 양식을 제출함으로써 Meta의 개인정보 보호 정책에 동의하게 됩니다. 그런 다음 이메일을 통해 모델 가중치와 사전 훈련된 Llama 언어 모델 및 미세조정된 모델의 시작 코드를 다운로드 할 수 있는 링크를 받게 됩니다. 이 모델들은 7B(70억)에서 70B(700억)까지의 매개변수를 가집니다.
Connecting to the Llama 2 API
To connect to the Llama 2 API, you need to follow these steps:
- A Meta account with access to the Llama 2 download link
- A Python environment with version 3.6 or higher
- An internet connection
Setting up the environment
To set up your Python environment, you can use virtualenv or conda. For example, using virtualenv, you can create a new environment called llama_env with this command:
Then, activate the environment with this command:
Installing the dependencies
To install the dependencies for using Llama 2 API, you can use pip or conda. For example, using pip, you can install them with this command:
- torch
- transformers
- requests
- tqdm
Authenticating with the API
To authenticate with the Llama 2 API, you need to provide your Meta account credentials. You can do this by setting the following environment variables:
Alternatively, you can pass them as arguments to the API functions.
Exploring the Llama 2 Features
Once you have connected to the Llama 2 API, you can start exploring some of its features, such as:
Generating text and code
Llama 2 API의 주요 기능 중 하나는 프롬프트에 대응하여 텍스트와 코드를 생성하는 것입니다. 자연어, 프로그래밍, 또는 음악과 같은 다양한 도메인에 대해 다른 모델들을 사용할 수 있습니다. 예를 들어, 자연어 텍스트를 생성하기 위해 대화 데이터에 미세 조정된 Llama-2-chat 모델을 사용할 수 있습니다. 코드를 생성하기 위해서는 프로그래밍 데이터에 미세 조정된 Llama-2-code 모델을 사용할 수 있습니다.
Llama 2 API로 텍스트나 코드를 생성하기 위해서는 API에서 제공하는 generate 함수를 사용해야 합니다. 이 함수는 프롬프트를 입력으로 받아 생성된 출력을 반환합니다. 예를 들어, Llama-2-chat을 사용하여 인사 메시지를 생성하기 위해 다음의 코드를 사용할 수 있습니다:
To generate a Python function that prints “Hello World” with Llama-2-code, you can use this code:
Using prompts and parameters
You can use different types of prompts and parameters to control the generation process. For example, to generate a poem about love with Llama-2-chat, you can use this code:
To generate HTML code for a website for a bakery with Llama-2-code, you can use this code:
Evaluating the results
To evaluate the results of the generation process, you can use different metrics and methods. For example, to calculate the perplexity and burstiness of the generated poem about love with Llama-2-chat, you can use this code:
Fine-tuning the model
Llama 2 API의 또 다른 특징은 특정 작업에 대해 모델을 미세조정하는 것입니다. 다양한 데이터셋과 작업을 사용하여 모델을 자신의 요구에 맞게 커스터마이즈 할 수 있습니다. Llama 2를 이용하여 모델을 미세 조정하기 위해서는 API에서 제공하는 finetune 함수를 사용해야 합니다. 이 함수는 데이터셋과 작업을 입력으로 받아 미세 조정된 모델을 반환합니다. 예를 들어, CNN/Daily Mail 데이터셋을 사용하여 텍스트 요약 작업에 대해 모델을 미세 조정하기 위해 다음의 코드를 사용할 수 있습니다:
이 코드를 사용하면 CNN/Daily Mail 데이터셋(뉴스 기사와 그 요약을 포함한)에 모델을 훈련시키고 Llama-2-cnn_dailymail로 저장합니다.
Choosing a dataset and a task
모델을 미세 조정하기 위해 다양한 데이터셋과 작업을 선택할 수 있습니다. 예를 들어, 영화 리뷰와 평점에 대한 자체 데이터셋으로 텍스트 분류를 위한 모델을 미세 조정하려면 이 코드를 사용할 수 있습니다:
이것은 1부터 5까지 별 등급의 영화 리뷰와 평점을 포함하는 데이터셋에서 모델을 학습시키고, 그것을 Llama-2-my_movie_reviews라는 이름으로 저장할 것입니다.
Training and testing the model
Llama 2 API를 사용하여 모델을 학습시키고 테스트하려면, API의 train 및 test 함수를 사용해야 합니다. 이 함수들은 미세 조정된 모델을 입력으로 받아서 손실, 정확도 또는 F1-점수와 같은 지표를 출력으로 반환합니다. 예를 들어, CNN/Daily Mail 데이터셋을 이용하여 텍스트 요약을 위한 모델을 학습시키고 테스트하려면, 이 코드를 사용할 수 있습니다:
이것은 CNN/Daily Mail 데이터셋의 80%에서 모델을 학습시키고 남은 20%에서 테스트할 것입니다. 이것은 학습과 테스트 세트에 대한 손실, ROUGE, BLEU 등의 지표를 출력할 것입니다.
Deploying the model
Llama 2의 또 다른 기능은 클라우드 플랫폼에 모델을 배포하는 것입니다. AWS, Azure, 또는 Hugging Face와 같은 다양한 플랫폼을 사용하여 모델을 호스팅하고 다른 사용자 또는 애플리케이션에 접근 가능하게 할 수 있습니다.
Llama 2 API를 사용하여 모델을 배포하려면, API의 deploy 함수를 사용해야 합니다. 이 함수는 미세 조정된 모델과 플랫폼을 입력으로 받아서 URL 또는 엔드포인트를 출력으로 반환합니다. 예를 들어, CNN/Daily Mail 데이터셋을 이용하여 텍스트 요약을 위한 모델을 Hugging Face에 배포하려면, 이 코드를 사용할 수 있습니다:
이것은 모델을 Hugging Face의 모델 허브에 업로드하고 모델에 접근하기 위해 사용할 수 있는 URL을 반환합니다. 예를 들면:
Exporting the model weights and code
모델 가중치와 코드 내보내기
Llama 2를 사용하여 모델 가중치와 코드를 내보내려면, API의 export 함수를 사용해야 합니다. 이 함수는 미세 조정된 모델을 입력으로 받아서 zip 파일을 출력으로 반환합니다. 예를 들어, 영화 리뷰와 평점에 대한 자체 데이터셋으로 텍스트 분류를 위한 모델을 내보내려면 이 코드를 사용할 수 있습니다:
이것은 모델 가중치와 모델 사용을 위한 코드가 포함된 zip 파일을 생성할 것입니다. 예를 들면:
Hosting the model on a cloud platform
클라우드 플랫폼에서 모델 호스팅하기
Llama 2를 사용하여 클라우드 플랫폼에서 모델을 호스팅하려면, API의 host 함수를 사용해야 합니다. 이 함수는 미세 조정된 모델과 플랫폼을 입력으로 받아서 엔드포인트를 출력으로 반환합니다. 예를 들어, WMT 데이터셋을 이용하여 텍스트 번역을 위한 모델을 Azure에 호스팅하려면, 이 코드를 사용할 수 있습니다:
This will create an endpoint that you can use to access the model on Azure. For example:
자주 묻는 질문들
Llama 2는 무엇인가요?
Llama 2는 프롬프트에 대한 텍스트와 코드를 생성할 수 있는 모델들의 모음입니다. 이는 이전 모델들보다 더 강력하고 효율적인 대형 언어 모델(LLM)입니다.
Llama 2를 어떻게 얻을 수 있나요?
Llama 2를 얻기 위해서는 Meta의 웹사이트를 통해 다운로드 양식을 완성해야 합니다. 이 양식을 제출함으로써, Meta의 개인정보 정책에 동의하게 됩니다. 그러면 사전 훈련된 Llama 언어 모델 및 미세 조정된 Llama 언어 모델에 대한 시작 코드와 모델 가중치를 다운로드할 수 있는 링크가 포함된 이메일을 받게 됩니다.
Llama 2를 어떻게 사용할 수 있나요?
Llama 2를 사용하려면 Llama 2 API에 연결하고, 텍스트와 코드 생성, 특정 작업에 대한 모델 미세 조정, 클라우드 플랫폼에서의 모델 배포와 같은 그 기능들을 탐색해야 합니다.
Llama 2의 장점은 무엇인가요?
Apple GPT는 다른 모델들을 능가하며, 무료이고 호환성이 좋고 안전합니다. 이는 생성적인 AI-구동 도구와 경험을 가능하게 합니다.
결론
이 글에서, 우리는 여러분에게 어떻게 Llama 2 API에 연결하고, 텍스트와 코드 생성, 특정 작업에 대한 모델 미세 조정, 클라우드 플랫폼에서의 모델 배포 등의 기능들을 탐색하는지 보여주었습니다.
