2023년 09월 28일

RAG는 LLMs를 보강하고 그들의 고유한 제한 사항 중 일부를 극복하기 위한 상대적으로 저렴하고 간단한 방법입니다. 그러나 실제로 RAG를 활용한 모델들은 정확하게 평가하기 어려울 수 있습니다. UI와 UX에 많은 주의를 기울여 사용자들에게 충분한 문맥을 제공하여 RAG를 활용한 모델이 그들에게 합리적인 답변을 제공하는지 판별할 수 있도록 해야 합니다.

LlamaIndex를 사용하여 로컬 문서에 대한 개인 QA 애플리케이션을 구축할 수 있습니다. 이 시스템은 문서를 인덱싱하여 사용자의 질문에 실시간으로 응답하며, 모든 데이터는 사용자의 기기에서 개인적으로 처리되어 보안이 강화됩니다. 그러나 이 방식의 한계는 정확도와 데이터 공유의 어려움이며, 더 큰 모델과 최적화를 통해 성능을 향상시킬 수 있습니다.