GPT-2
From CS Wiki
Generative Pre Training of a language model 2
GPT-2는 OpenAI가 개발한 GPT-1의 후속작이다.
GPT의 2번째 버전이자 오픈소스로 공개된 마지막 버전. 2019년 2월 14일에 출시되었다. 연구용으로 활용할 가치는 있으나 초기버전이라 그런지 매개변수가 15억 개로 너무 적어 답변의 정확도가 매우 떨어져서 상용성은 기대하기 어렵다. 가끔 심각하게 틀린 답변을 하기 때문이다. 쉽게 말해 빅스비나 시리 수준을 생각하면 된다. 또한 2019년까지의 지식만 학습되어 있다. 이 문제는 매개변수는 1,750억 개로 늘린 GPT-3에서 일부 해결되었다.
다만 학계에서는 매우 큰 충격을 준 모델이다. 이전에 이 정도 수준을 자랑하는 언어모델을 찾아보기 힘들었기 때문이다. 제프리 힌튼 교수는 ChatGPT를 접하고도 딱히 놀라진 않았지만, GPT-2를 처음 접할 당시에는 큰 놀라움을 받았다고 언급했다.
