RLHF

2024년 6월 27일, OpenAI가 발표한 CriticGPT는 AI 개발 과정에서 중요한 변화를 제시합니다. 개발자들은 항상 더 나은 AI 모델을 만들기 위해 노력하며, 그 과정에서 가장 중요한 것 중 하나는 모델의 실수를 찾아내고 개선하는 것입니다. 지금까지 이 작업은 주로 사람의 몫이었습니다.ChatGPT 개발 과정을 돌이켜보면, 데이터 선별부터 모델의 답변 평가, 그리고 최종 성능 평가까지 모든 단계에서 사람의 개입이 필수적이었습니다. 특히 RLHF(Reinforcement Learning from Human Feedback) 과정에서는 사람이 직접 모델의 답변을 평가하고, 그 피드백을 바탕으로 모델을 개선했습니다. 이는 시간과 노력이 많이 들뿐만 아니라, 평가자의 주관성과 편향이 모델에 영향을..