이 가이드에서는 Supabase와 OpenAI를 이용해 벡터와 임베딩을 관리하고 처리하는 방법을 살펴보았습니다. 벡터와 임베딩은 유사성 검색, 군집화, 추천 시스템 등 다양한 응용 분야에서 중요한 역할을 하며, PostgreSQL 확장인 pgvector를 통해 데이터베이스에서도 이를 쉽게 다룰 수 있습니다. 이 도구들을 활용하면 지능적이고 문맥에 맞는 애플리케이션을 개발할 수 있습니다.
AskIt은 대규모 언어 모델(Large Language Models, LLMs)을 소프트웨어 개발에 통합하기 위한 도메인 특화 언어입니다. 이는 타입 가이드된 출력, 템플릿 기반 함수 정의, 예시를 통한 프로그래밍 등 다양한 기능을 제공하여 LLMs의 사용을 간소화합니다. 이러한 기능들은 자연어 처리, 문제 해결, 코드 생성 등 다양한 작업에 LLMs를 더 효과적으로 활용할 수 있도록 도와줍니다.
New ChatGPT Prompt Engineering Technique: Program Simulation 프롬프트 엔지니어링 분야는 다양한 레벨에서 매우 흥미로운 것들을 제공합니다. Chain-of-Thought (CoT), Instruction-Based, N-shot, Few-shot, 그리고 Flattery/Role Assignment 같은 창의적인 전략을 포함하여, 이러한 기술은 다양한 요구에 맞게 프롬프트를 맞춤화하는 데 사용됩니다. 이러한 메서드들은 각각 다양한 장점과 한계를 가지고 있지만, 대화형 에이전트로부터 더 신뢰할 수 있거나 전문화된 출력을 생성하는 공통의…
영어에 비해 다른 언어에서는 AI 이용료가 최대 15배 더 비싸다 OpenAI 비용 페이지 (2023년 9월 3일) 한글의 토큰 수 계산 오픈AI의 언어 모델에는 여러 모델이 있으며, 각각 다른 능력과 가격 포인트를 가지고 있습니다. 가격은 1,000 토큰당입니다. 토큰을 단어의 조각으로 생각할 수 있으며, 1,000 토큰은 대략 750단어입니다. 이 문단은 35 토큰입니다. (*영어기준) 오픈AI의 토큰나이저를 사용하여 다음…
언어 모델 응용 프로그램(LLM)을 구축할 때 선택할 수 있는 여러 접근 방식에는 프롬프트 엔지니어링, 검색 증강 생성(RAG), 그리고 파인 튜닝이 있습니다. 각 접근 방식은 특정 작업의 성격, 훈련 데이터의 유무, 그리고 품질, 비용, 지연 시간 등에 따라 장단점이 있습니다. 일련의 질문을 통해 사용 사례에 가장 적합한 방법을 결정할 수 있으며, 이러한 방법들은 상호 보완적으로도 작동할 수 있습니다.
Fine-tuning LLMs Tasks to finetune Before Fine-tuning (base or pretrained model) Fine-turning 지도 학습 과정은 지시 프롬프트(instruction prompts)를 사용하여 언어 모델(LLM)을 미세 조정하는 것을 포함합니다. 지도 학습(supervised learning)은 머신 러닝의 한 분야로, 모델이 레이블이 지정된 데이터 세트에서 학습하는 방법입니다. 이러한 과정에서 모델은 입력 데이터와 해당 레이블 사이의 관계를 학습하려고 시도합니다. “언어 모델(LLM)”은 텍스트 데이터를 처리하고…
Advanced AI prompt writing framework’s to improve your results 고급 엔지니어링 프레임워크를 사용하여 AI 프롬프트의 출력을 제어하는 것은 프롬프트 작성에 어려움을 겪고 있거나 프롬프트를 더욱 세밀하게 조정하고 싶을 때 매우 유용할 수 있습니다. 이 가이드는 Guidance와 같은 이러한 프레임워크를 어떻게 사용할 수 있는지에 대한 개요를 제공합니다. 최초로 Microsoft에 의해 소개된 Guidance는 사용자가 특정 출력을 생성하기…
