torn flag of norway billowing in the wind

언어 모델 독립을 향한 노르웨이의 노력

Posted by

·

ㅇ 오슬로 대학 정보학과의 Erik Velldal 교수는 투명성 부족 및 잠재적인 데이터 개인 정보 보호 문제와 같은 문제를 언급하면서 OpenAI와 Google과 같은 거대 기술 기업이 개발한 언어 모델에 대한 노르웨이어 대안이 필요하다고 강조함

– UiO의 언어 기술 그룹(LTG / Language Technology Group)은 유럽에서 가장 강력한 컴퓨터인 핀란드의 LUMI를 활용하여 ChatGPT에 대응하는 노르웨이어를 개발하기 위해 Sigma2로부터 컴퓨팅 시간을 받았음

– 이를 통해 노르웨이어 데이터에 대한 대규모 언어 모델을 훈련할 수 있었고, 그 결과 각각 약 70억 개의 매개변수가 있고 300억 개가 넘는 단어에 대해 훈련된 세 가지 노르웨이어 모델이 생성되었음

ㅇ Velldal은 노르웨이의 기술 독립이 얼마나 중요한지 강조하며 특히 의료와 같은 민감한 상황에서 개발자가 자신의 컴퓨터에서 실행할 수 있는 개방형 무료 모델을 옹호함

– 일부 노르웨이 공공 기관이 ChatGPT에 대한 액세스 권한을 구매했음에도 불구하고 개방형 노르웨이 모델을 대안으로 개발하려는 노력이 진행 중임

ㅇ Andrey Kutuzov 부교수는 기존 언어 모델이 미국의 가치관과 문화를 반영하여 노르웨이 사회와 일치하지 않는 고정관념과 언어적 영향을 초래한다고 지적함. 노르웨이어 모델은 노르웨이어 가치와 문화를 더 잘 반영하여 이러한 격차를 해결하는 것을 목표로 함

ㅇ 노르웨이 모델은 수천 명의 사용자가 출시하고 다운로드했지만 주로 연구원과 개발자를 대상으로 하며 현재 상용 모델의 사용자 친화적인 인터페이스가 부족함. 다양한 작업을 해결할 수 있는 모델의 능력을 향상시키기 위해서는 추가 개발이 필요하며 지속적인 훈련과 업데이트가 필요함

※ 출처: https://www.nora.ai/news/2024/big-steps-towards-a-norwegian-answer-to-chatgpt.html

Discover more from KNTEC AB

Subscribe now to keep reading and get access to the full archive.

Continue reading