MachineLearning

AWS SageMaker는 머신러닝 모델을 쉽게 구축, 훈련 및 배포할 수 있게 해주는 완전 관리형 기계 학습 플랫폼입니다. 이 튜토리얼에서는 SageMaker 노트북 인스턴스를 생성하고 사용하는 방법을 단계별로 안내합니다.#1. SageMaker 노트북 인스턴스 생성하기1) AWS Management Console에 로그인하고 SageMaker 서비스로 이동합니다.2) 왼쪽 메뉴에서 "Notebooks"을 선택합니다.3) "노트북 인스턴스 생성" 버튼을 클릭합니다.4) 노트북 인스턴스의 이름을 입력합니다. 인스턴스 타입을 선택합니다. 시작하는 경우 `ml.t2.medium`이 적당합니다. IAM 역할을 선택하거나 새로 생성합니다. 이 역할은 SageMaker가 다른 AWS 서비스에 접근할 수 있게 해줍..

인공지능 기술의 발전으로 대규모 언어 모델(LLM) 이 놀라운 성능을 보여주고 있지만, 여전히 최신 정보 반영이나 특정 도메인 지식 활용에 한계가 있습니다. 이러한 문제를 해결하기 위해 등장한 기술이 바로 RAG(Retrieval-Augmented Generation)입니다.  RAG는 '검색 증강 생성'이라고 번역할 수 있으며, LLM의 광범위한 일반 지식과 외부 데이터베이스의 특정 정보를 결합하여 더 정확하고 맥락에 맞는 응답을 생성하는 AI 기술입니다. 이 기술은 최신 정보 반영, 특정 도메인 지식 보강, 환각(Hallucination) 문제 감소 등의 장점을 제공합니다.이 글에서는 RAG의 기본 원리를 이해하고 테스트해 볼 수 있는 간단한 RAG 프로그램을 만들어보겠습니다. 우리가 만들 프로그램은..

머신러닝이란 데이터를 분석/학습 한 정보를 기반으로 예측이나 결정을 하기 위해 적용하는 알고리즘이라고 할 수 있습니다. 머신러닝과 유사한 의미의 용어로 AI, 딥러닝, 데이터마이닝, 패턴인식, 통계학 등도 사용되고 있는데 관련 전공자가 아니면 무슨 차이가 있는지 알기 어렵고, 또 무엇이 다른지 쉽게 이해가 되지 않습니다. 결론적으로는 약간의 차이는 있으나 교집합이 매우 큰 거의 유사한 의미라고 생각하면 됩니다. 비슷한 의미이지만 여러 용어가 사용하는 이유는 과학이나 기술분야도 이전과 큰 차이가 없으면서도 의도적으로 새로운 용어를 만들어서 좀 더 트렌디하게 보이고 좀 더 잘 팔리게 하려는 전략적인 목적이 있습니다. 데이타의 시대 스마트 폰은 우리의 위치와 패턴을 시시각각 기록하고 웹사이트는 모든 사용자의 ..

OCR은 입력, 손글씨 또는 인쇄 된 이미지 형태의 텍스트를 조작 할 수있는 기계 인코딩 텍스트 데이터로 치환하는 것입니다. 최근 AI, 자동화(RPA 등) 도입으로 많은 관심을 받고 있습니다. OCR의 품질 OCR에 대한 관심이 높아지면서 연구와 투자가 활발해지면서 인식률이 많이 올라간 상황이지만 여전히 OCR에서 한글의 인식률은 매우 저조합니다. 영어의 경우 글자의 수는 26자(A, B, C….)이지만 한글의 경우 완성형으로 2,350자, 조합형으로는 11,172자이니 학습의 양이 많을 뿐 아니라 결과 또한 오인식 될 확률이 높기 때문입니다. 한 줄로 쓰는 영어, 서유럽 언어와는 달리 받침이 존재하고 문자 모양이 복잡한 한글의 경우는 이미지 조금만 틀어져도 두 줄로 인식될 수 있어 한글의 인식률은 매..