영어에 비해 다른 언어에서는 AI 이용료가 최대 15배 더 비싸다
한글의 토큰 수 계산
오픈AI의 언어 모델에는 여러 모델이 있으며, 각각 다른 능력과 가격 포인트를 가지고 있습니다. 가격은 1,000 토큰당입니다. 토큰을 단어의 조각으로 생각할 수 있으며, 1,000 토큰은 대략 750단어입니다. 이 문단은 35 토큰입니다. (*영어기준)
오픈AI의 토큰나이저를 사용하여 다음 영어 문장을 분석하면, 토큰 수는 39개이고 글자 수는 179개로 나타납니다. 이 방법은 단어와 일부 특수 문자를 개별 토큰으로 간주합니다.
*오픈AI의 토큰나이저가 업데이트되어 GPT-3.5와 GPT-4 모델이 추가되었습니다. 아래 내용은 레거시 GPT-3 및 Codex 모델에서 테스트하였습니다. 추가된 GPT-3.5와 GPT-4 모델에서 한글을 다시 테스트해보시길 권장드립니다.(2023년 10월 24일 수정)
오픈AI의 토큰나이저를 사용해 다음 한글 문장을 분석하면, 104글자가 197토큰으로 계산됩니다. 이는 글자 수의 거의 두 배에 가깝습니다. 한글은 자음과 모음이 결합하여 하나의 음절을 형성합니다. 오픈AI의 토큰나이저는 이러한 음절, 그리고 공백과 특수 문자를 각각 하나의 토큰으로 취급할 수 있습니다. 따라서 한글 문장에서는 글자 수보다 토큰 수가 더 많을 수 있습니다. 이는 토큰화 알고리즘과 한글의 언어 구조가 복합적으로 작용하기 때문에 발생하는 현상입니다.
“ㄱㄴㄷㄹㅁ”은 15토큰, “가나다라마”는 14토큰, “각난닫랄맘”은 14토큰으로 계산되며, 이는 공백이 없는 한글 문자열에서 글자 수의 거의 3배에 해당합니다.
GPT-3.5 Turbo와 GPT-4 비용
한글의 토큰 수와 글자 수의 비율을 2.5배로 가정하면, 4K 모델은 1600자, 8K 모델은 3200자, 16K 모델은 6400자까지 입력할 수 있습니다. 이 글자 수는 입력(프롬프트)과 출력을 합친 것입니다. 따라서 2000자의 출력을 원한다면, 4K 모델은 사용할 수 없습니다. 8K 모델에서는 1200자, 16K 모델에서는 4400자까지 입력할 수 있습니다.
한글의 토큰 수와 글자 수의 비율을 2.5배로 가정하면, 입력과 출력의 토큰 수는 다음과 같이 계산됩니다:
- 입력 글자수 1200자 → 1200 * 2.5 = 3000 토큰
- 출력 글자수 2000자 → 2000 * 2.5 = 5000 토큰
- 총 토큰 수 = 3000 (입력) + 5000 (출력) = 8000 토큰
GPT-3.5 Turbo 16K의 비용 계산
- 입력 비용: 3000 토큰 * $0.003 / 1000 = $0.009
- 출력 비용: 5000 토큰 * $0.004 / 1000 = $0.02
- 총 비용: $0.009 (입력) + $0.02 (출력) = $0.029
GPT-4 8K의 비용 계산
- 입력 비용: 3000 토큰 * $0.03 / 1000 = $0.09
- 출력 비용: 5000 토큰 * $0.06 / 1000 = $0.3
- 총 비용: $0.09 (입력) + $0.3 (출력) = $0.39
따라서, GPT-3.5 Turbo 16K를 사용할 경우 총 비용은 $0.029이고, GPT-4 8K를 사용할 경우 총 비용은 $0.39입니다.
OpenAI의 토큰나이저
OpenAI의 토큰나이저는 텍스트를 작은 단위인 토큰으로 분리하는 역할을 수행합니다. 토큰은 주로 단어, 구두점, 또는 다른 의미 있는 문자 시퀀스로 구성됩니다. 토큰화는 언어 모델이 텍스트를 이해하고 처리할 수 있도록 해주는 중요한 전처리 단계입니다.
- 토큰화 프로세스:
- 토큰나이저는 먼저 텍스트를 개별 단어, 구두점 또는 특정 문자 시퀀스로 분리합니다.
- 이 분리 작업은 일반적으로 띄어쓰기, 구두점, 또는 특정 구분 기호를 기반으로 수행됩니다.
- 토큰의 역할:
- 토큰은 언어 모델이 텍스트의 구조와 의미를 이해하는 데 도움을 줍니다.
- 모델은 각 토큰과 토큰 간의 관계를 분석하여 텍스트의 의미를 파악하고, 예측, 분류, 변환 등의 다양한 NLP 작업을 수행합니다.
- 모델별 토큰화 차이:
- OpenAI의 서로 다른 언어 모델은 서로 다른 토큰나이저를 사용할 수 있습니다.
- 예를 들어, GPT-3.5와 GPT-4는 GPT-3 또는 Codex 모델과 달리 다른 토큰나이저를 사용할 수 있으며, 이로 인해 동일한 입력 텍스트에 대해 다른 토큰을 생성할 수 있습니다.
토큰나이저는 언어 모델이 텍스트 데이터를 효과적으로 처리하고 분석할 수 있도록 돕는 중요한 도구입니다.
ChatGPT를 사용하여 이력서, 채용공고를 입력하고 3.5, 4버전의 결과를 비교
ChatGPT에 이력서와 채용공고를 입력하고 지원동기, 성장과정등을 작성하는 작업을 수행했습니다. 이 과정에서 GPT-3.5와 GPT-4 두 버전의 결과를 비교해보려고 했습니다. 하지만 GPT-4 버전에서는 프롬프트 입력 글자 수가 5700자로 제한되어 있다는 것을 알게 되었고, 이 제한 때문에 오류가 발생했습니다. 그래서 내용을 축소하여 다시 시도했습니다.
추가로, GPT-4 버전이 이력서에서 성격의 장단점 부분을 빼먹은 것을 발견했습니다. 이에 따라 다시 작성을 요청하였고, GPT-4는 요청에 응하여 성격의 장단점을 추가로 작성해 주었습니다.
ChatGPT 3.5에 이력서, 채용공고 5700자를 입력하여 지원동기, 성장과정, 입사 후 포부, 성격의 장단점 작성
지원동기 (글자수: 1000자):
저는 정보보안 분야에서 경력을 쌓아온 개발자로, 펜타시큐리티시스템(주)에서의 서버/백엔드 개발자로서의 경험과 노력을 통해 더욱 전문성을 높이고 싶습니다. 펜타시큐리티시스템(주)은 글로벌 정보보안 기업으로써, 그 동안의 경험을 바탕으로 클라우드 환경에서도 최고의 보안을 제공하려는 열정을 가지고 있습니다. 이러한 비전과 함께 함께 하고자 하는 욕구로 인해, 제 지식과 경험을 기업에 기여하고, 팀 내에서 협력하며 성장하는 것에 대한 열망이 큽니다. 특히 제 전문성과 열정을 통해 글로벌 서비스의 신규 시스템 설계와 개발에 기여하고, 보안을 효과적으로 확보하여 고객들의 데이터를 안전하게 보호하는 일에 참여하고 싶습니다.
성장과정 (글자수: 1000자):
제가 개발자로서 성장해 온 과정은 다양한 프로젝트를 경험하며 전문성과 커뮤니케이션 능력을 키워왔습니다. 인하대학교 전자공학과를 졸업한 후, BIT컴퓨터에서 연구원으로 일하며 웹 개발 및 데이터베이스 역량을 키웠습니다. 이후, ㈜녹십자와 디지턀조선일보에서의 경력을 통해 뉴미디어 기술 및 데이터베이스 설계에 대한 실무 경험을 쌓았습니다.
(주)온누리넷에서 대표로 일하면서 웹 기반의 설계와 개발 분야에서의 리더십을 발휘하며 팀을 이끌었습니다. 프리렌서로 활동하면서는 프로그램 개발과 교육 분야에서 다양한 경험을 얻었습니다. 이를 통해 전문성과 문제 해결 능력을 키웠으며, 클라우드 환경과의 연계 경험도 쌓았습니다. 이러한 성장 과정을 바탕으로, 펜타시큐리티시스템(주)에서는 안전한 시스템 개발과 보안 강화에 기여하고 싶습니다.
입사 후 포부 (글자수: 1000자):
펜타시큐리티시스템(주)에서의 입사 후, 저는 먼저 보안 강화와 데이터 안전을 최우선으로 하는 개발자로써 역량을 발휘하고 싶습니다. 클라우드 환경에서의 신규 시스템 설계와 개발, 기존 시스템의 보안 강화 등 다양한 프로젝트에 참여하여 기술적으로 더욱 성장하며, 팀의 성과 향상을 위해 최선을 다하겠습니다. 또한, 제가 갖고 있는 다양한 경험과 지식을 공유하며 팀원들과 협력하여 협업 능력을 높이고, 지속적인 개선과 혁신을 추구하겠습니다. 제가 가진 긍정적인 태도와 끈기를 통해 회사의 성장과 고객 만족을 도모하는 데 기여하고자 합니다.
성격의 장단점 (글자수: 1000자):
제 성격의 장점으로는 문제 해결 능력과 적응력이 있습니다. 다양한 프로젝트 경험을 통해 문제 상황에서도 냉정하게 분석하여 해결 방안을 모색하며, 빠른 변화에도 능동적으로 대응할 수 있는 능력을 가지고 있습니다. 또한, 높은 책임감과 협력 능력을 바탕으로 팀원들과 함께 목표를 달성하는 데 기여할 수 있습니다.
하지만 때로는 세부적인 작업에 너무 집중하여 큰 그림을 간과할 때가 있습니다. 이로 인해 전략적인 관점이 부족할 수 있으며, 이를 보완하기 위해 항상 큰 그림을 염두에 두고 행동하려고 노력하고 있습니다. 또한, 너무 완벽주의적으로 일을 처리하려는 경향이 있어 시간 관리에 유의하며 업무를 수행하고 있습니다.
펜타시큐리티시스템(주)에서 제 역량을 최대한 발휘하고, 성장하면서 더 나은 보안 솔루션을 제공하고 고객의 신뢰를 얻는 데 기여하겠습니다.
ChatGPT 4에 이력서, 채용공고 4300자를 입력하여 지원동기, 성장과정, 입사 후 포부, 성격의 장단점 작성
지원동기 (1000자)
안녕하십니까, 정영진입니다. 다양한 웹 및 서버 개발 프로젝트에 대한 광범위한 경험을 가진 개발자로, 펜타시큐리티에서의 새로운 도전에 큰 기대와 열정을 갖고 지원합니다. 펜타시큐리티의 25년 이상의 정보보안 경험과 데이터 암호화, 웹 보안, 통합 인증 솔루션 분야에서의 리더십은 매우 인상적입니다.
이전 경력 중, 보안과 데이터 관리에 관련된 다양한 프로젝트를 수행했습니다. 특히, 연세대학교와 고려대학교에서의 연구업적 관리 시스템 개발에서도 보안 측면을 철저히 고려한 개발을 진행했습니다. 펜타시큐리티의 전문성과 제 경험이 잘 맞을 것이라고 판단됩니다.
또한, 펜타시큐리티의 글로벌 역량에 큰 관심을 갖고 있습니다. 지난 20여 년간 다양한 업체와 협업을 통해 국내외 프로젝트를 수행했습니다. 펜타시큐리티와 함께라면 이러한 경험을 바탕으로 더 넓은 무대에서 역량을 발휘할 수 있을 것으로 생각됩니다.
성장과정 (1000자)
인하대학교 전자공학과를 졸업한 후, BIT컴퓨터에서 처음으로 기술연구를 시작했습니다. 그 후, 녹십자, 디지틀조선일보 등에서 정보통신과 인터넷 기술에 대한 연구와 개발을 진행했습니다. (주)온누리넷에서 대표로 일하며 실질적인 비즈니스와 기술 개발의 매칭 경험을 쌓았습니다.
그 후 프리랜서로 전환하여 다양한 업체와 프로젝트를 수행하며 넓은 시야와 다양한 기술 스택을 얻을 수 있었습니다. 특히, 최근에는 Python과 Django를 활용한 웹사이트 개발에 주력하며 최신 기술 트렌드에 민감하게 반응해왔습니다.
입사 후 포부 (1000자)
펜타시큐리티에 입사한다면, 첫 번째 목표는 기존의 보안 솔루션을 더욱 강화하는 것입니다. 제가 이전에 다룬 다양한 프로젝트 경험을 통해 회사의 기술력 향상에 기여할 수 있을 것입니다.
두 번째로, 펜타시큐리티의 글로벌 비즈니스 확장에 동참하고 싶습니다. 다양한 국내외 프로젝트 경험을 바탕으로, 펜타시큐리티의 글로벌 경쟁력을 높이는 데 기여하고 싶습니다.
세 번째로, 팀의 성장을 위해 내부 교육 프로그램을 강화하고, 신입 개발자들에게 제 지식을 전수하려고 합니다. 이를 통해 전체 팀의 역량을 향상시
키고, 펜타시큐리티를 더욱 강력한 기업으로 만들고 싶습니다.
저는 펜타시큐리티에서의 도전을 통해 지속적으로 성장하고, 회사가 추구하는 가치와 목표를 함께 실현할 수 있는 기회를 갖고 싶습니다. 감사합니다.
