admin

위키피디아 웹 스크래핑: LLM 에이전트와 도구를 활용한 효율적인 정보 추출

LLM 에이전트, 도구, 함수 호출을 활용하여 위키피디아에서 노래 메타데이터를 추출하는 방법을 단계별로 살펴보았습니다. LangChain 프레임워크를 통해 GPT 3.5 Turbo 모델과 위키피디아 API를 연결하고, 사용자 정의 프롬프트와 출력 파서를 정의하여 원하는 정보를 구조화된 형식으로 추출할 수 있었습니다. 이 접근 방식은 유연성과 확장성이 높아 다양한 데이터 소스와 추출 태스크에 적용할 수 있는 강력한 도구이지만, LLM의 한계와 비용 등의 고려 사항도 존재합니다.

Read More

Fine-tuning으로 GPT 모델 커스터마이징하기

OpenAI의 GPT 모델은 방대한 데이터로 사전 학습되어 있지만, fine-tuning을 통해 특정 도메인이나 태스크에 최적화할 수 있습니다. Fine-tuning을 위해서는 고품질의 데이터셋 준비, 적절한 하이퍼파라미터 설정, 그리고 체계적인 평가와 반복 개선이 필요합니다. OpenAI는 fine-tuning 워크플로우를 간소화한 API와 다양한 GPT 모델을 제공하고 있어, 개발자는 이를 활용해 자신만의 최적화된 AI 어시스턴트를 만들어갈 수 있습니다.

Read More

Cognita – 사용자 정의 가능한 강력한 RAG 프레임워크

제목: Cognita – 사용자 정의 가능한 강력한 RAG 프레임워크
Cognita는 RAG 시스템을 구축하고 사용자 정의할 수 있는 강력하고 유연한 오픈소스 프레임워크입니다. 데이터 소스, 파서, 임베더, 벡터 DB, 재순위 모델 등 다양한 구성 요소를 모듈화하여 쉽게 확장하고 커스터마이징할 수 있습니다. 또한 직관적인 UI를 통해 데이터 소스 관리, 컬렉션 생성, 쿼리 입력 등의 작업을 간편하게 수행할 수 있어 개발자와 사용자 모두가 효과적으로 RAG 시스템을 활용할 수 있습니다.

Read More

ChatGPT 활용 주식 투자 비법: 똑똑한 거래 프롬프트 설계하기

전문가이든 새로운 주식 트레이더이든, 방대한 정보의 양은 종종 부담스러울 수 있습니다. 이때 ChatGPT가 유용하게 쓰일 수 있습니다. 이 도구는 복잡한 금융 용어를 단순화하고, 주식 거래 기초에 대한 통찰을 제공하며, 상세한 거래 전략을 명확히 설명해줍니다. 비록 경험 많은 트레이더나 금융 컨설턴트를 대체할 수는 없지만, ChatGPT는 훌륭한 동반자가 될 수 있습니다. 이를 통해 트레이더는 대화형으로 정보를 얻어 복잡한 주제의 이해를 돕거나 알고 있는 개념을 새롭게 정리할 수 있습니다.

Read More

금융에서 ChatGPT를 사용하는 10가지 방법

ChatGPT와 같은 AI 언어 모델의 등장은 금융을 포함한 많은 분야에서 혁명적인 변화를 일으키고 있습니다. 이러한 모델들은 인간과 유사한 텍스트를 생성하여 통찰력을 제공할 수 있으며, 다양한 애플리케이션에서 활용될 수 있습니다.

이 글에서는 금융 운영 및 서비스를 개선하기 위해 ChatGPT를 사용할 수 있는 열 가지 방법과 ChatGPT를 비즈니스에 구현하는 방법에 대해 탐구합니다.

Read More

생성형 AI를 활용한 콘크리트 구조물 균열 분석: 가능성과 한계

생성형 AI의 활용 가능성을 확인하기 위해 ChatGPT와 Claude AI에 교량, 벽 등 콘크리트 구조물의 균열 사진을 제공하고 분석을 요청하였습니다. 제공된 사진만으로는 균열의 존재 여부를 확인하기 어려웠으나, 근접 촬영된 사진에서는 균열의 위치, 크기, 형태, 심각도를 비교적 정확하게 파악할 수 있었습니다. 생성형 AI는 균열 분석에 활용 가능성이 있으나, 정확한 판단을 위해서는 고해상도의 근접 사진이 필요할 것으로 보입니다.

Read More

PDF 파일에서 파이썬으로 텍스트 추출하기: 종합 가이드

PDF 문서에서 텍스트를 추출하기 위해 Python의 다양한 라이브러리를 활용하여 문서의 레이아웃을 분석하고, 텍스트 블록, 이미지, 테이블 등 각 구성 요소에 적합한 방식으로 텍스트를 추출하는 방법을 살펴보았습니다. 특히 테이블의 경우 pdfplumber 라이브러리를 사용하여 셀을 식별하고 내용을 추출한 후 적절한 형식의 문자열로 변환하는 과정을 통해, 데이터의 세분성을 유지하면서 텍스트를 추출할 수 있었습니다.

Read More