text-generation-webui 설치 및 활용 가이드

text-generation-webui는 텍스트 생성을 위한 웹 기반 인터페이스입니다. 이 인터페이스를 사용하면 다양한 텍스트 생성 모델과 파라미터를 쉽게 선택하고, 키워드나 톤 등을 지정하여 원하는 텍스트를 생성할 수 있습니다. 이 글에서는 text-generation-webui를 이용하는 방법에 대해 설명드리려고 합니다.

GitHub - oobabooga/text-generation-webui: A gradio web UI for running Large Language Models like LLaMA, llama.cpp, GPT-J, OPT, a

---

text-generation-webui 설치방법

Step 1 : 새로운 conda 환경 만들기

Conda 환경은 프로젝트에 필요한 패키지 및 의존성을 관리할 수 있는 독립된 공간을 제공합니다. 이 단계에서는 새로운 환경을 만들고 활성화합니다.

conda create -n textgen python=3.10
conda activate textgen

Step 2: 필요한 패키지 설치

pip install torch torchvision torchaudio

Step 3: webui 설치

git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
pip install -r requirements.txt

Step 4: 모델 다운로드

아래 스크립트를 사용하면 모델을 자동으로 다운로드하며 다운로드한 모델은 models/ 폴더 안에 있습니다. 저는 Facebook 1.3B OPT (Open Pretrained Transformer) Language model을 다운로드하기 위해 아래의 명령어를 수행하였습니다.

python download-model.py facebook/opt-1.3b

---

webui 사용하기

Step 1: webui 시작

python server.py 를 수행하면 됩니다. 시작 시 조금 시간이 걸릴 수도 있는데 Running on local URL:  http://127.0.0.1:7860 문구가 나오면 자동으로 팝업이 활성화 되거나 브라우저 주소창에 http://127.0.0.1:7860 을 입력하면 됩니다.

conda activate textgen
cd text-generation-webui
python server.py

위 스크린샷과 같이 text-generation-webui가 보여야 합니다.

Step 2: Model 선택

webui를 사용하기 전에 Model 선택이 필요합니다. Model 탭을 선택하여 페이지를 이동합니다. Model 영역에서 facebook_opt-1.3b를 선택합니다. 그리고 [ Load ] 버튼을 클릭합니다. "Successfully loaded facebook_opt-1.3b" 라는 문구가 나왔다면 성공적으로 Model Load가 된 것입니다.

Step 3: Prompt 작성

다시 Text generation 탭을 선택하고 정상적으로 작동하는 지 확인합니다. 예를 들어, "Question: " 다음에 "Do you know Mark Zuckerberg?" 라고 입력하고 [ Generate ] 버튼을 클릭합니다.

우측 Output 영역에 응답 내용을 확인할 수 있습니다. 만약 RuntimeError: MPS does not support cumsum op with int64 input 라는 오류가 발생한다면 이 글을 참고하시기 바랍니다.

---

HuggingFace로부터 다른 모델을 쉽게 다운로드할 수 있습니다. 아래는 GUI에서 사용할 수 있는 일부 모델입니다.

• Pythia
• OPT
• GALACTICA
• GPT-J 6B