GPT-3 davinci모델 파인튜닝 시키기

이번글은 아예 학습이 안된 davinci모델을 가지고 더하기를 할 수 있게 학습시켜보겠습니다. 저도 지금 배우면서 하고있는글이라 정확하지않을 수 있으며,  더 효율적인 방법이 있을 수 있습니다. 혹시나 더 나으신 방법을 알고 계시면 알려주시면 감사하겠습니다....^_^;;;

 

 

일단 먼저 초기버전의 gpt 3 davinci모델을 실행 시켜보겠습니다.

보시다싶이 2+6을 물어봤음에도 알맞은 대답을 전혀 하지않는 걸 볼수 있습니다.  질문 마지막에 '->'를 붙여야 더 정확하게 답변을 합니다. 공식 설명서에 나와있는데 정확한 이유는 잘모르겠습니다.

 

아무튼, 이제 파인튜닝을 시켜서 학습시켜보겠습니다. 다음은 학습시킬 데이터셋입니다.

기초적인 더하기 연산 데이터셋입니다. 다양한 숫자의 더하기를 학습시키기 위해 12개정도의 데이터를 입력하였고,  이를 기반으로 gpt가 학습을 하기 시작해서 더하기 연산에 대해서 배울 것입니다. 정확히는 더하기 연산을 이미 다 학습하였는데, 저희의 질문을 이해를 못하고 있는것 같습니다. 그래서 gpt가 학습했던 데이터들을 알맞게 꺼내올 수 있게 데이터를 유사한 형식으로 여러가지를 입력하여 "이러한 질문에는 이런 대답이 나와야해"라고 알려주는 과정입니다.

 

이제 위의 명령어를 통해 gpt davinci모델을 파인튜닝할 겁니다. dataset_preparer.jsonl은 해당 데이터 파일이고 davinci는 모델 이름입니다.

 

파인튜닝중에 대기열이 너무많으면 중간에 끊길 수도 있습니다 그럴시엔 맨아래 알려주는 명령어를 쳐서 다시 실행을 하면됩니다. 

openai api fine_tunes.follow -i ft-ulAoVXKcKUAmNZFoqnFk5qEF 이 명령어는 중간에 중단되었던 파인튜닝을 계속 실행하게 만드는 명령으로 대기열이 많다면 몇번정도 반복할 수도 있습니다.

 

 

 

 

 

이 파인튜닝과정이 끝나면 다음과같은 succeeded문이 나옵니다. 이제 파인튜닝이 완료되었다는 뜻이고, 해당모델을 쓸 수 있다는 뜻입니다 이제 완료된 모델의 이름을 세팅하여 쓸 수 있습니다.
여기서는 파인튜닝된 모델의 이름이  davinci:ft-tioon-2023-05-10-12-56-47 입니다.

이 모델의 이름을 gpt model 적는 코드에 옮겨 적으시면됩니다. 저 같은 경우는 davinci코드라고 적혀있었는데  davinci:ft-tioon-2023-05-10-12-56-47 이코드로 바꿔서 적었습니다.

 

 

 

 

이제 학습된 gpt 모델을 돌려보겠습니다 결과는 다음과같습니다. 12개의 데이터를 학습시켜 gpt에게 +가 무엇인지 학습시키고 gpt에게 이를 기반으로 더하기 연산을 하도록 시켰습니다. 

 

아까 맨 처음에 아무것도 모를때와는다르게 +연산을 잘 수행하는 것을 알 수 있습니다. 여기서 주목해야 할 점은 저희가 따로 학습시키지않았던 숫자까지 gpt가 잘 계산한다는점입니다. 이를 특성을 활용하여 gpt에게 다양한 학습을 시켜 강화할 수 있습니다.