PaLM(진로 언어 모델)이란 무엇입니까?

Pathways 언어 모델은 Google이 개발한 AI 대규모 언어 모델 제품군의 이름입니다. 이러한 노력은 여러 사용 사례의 기반이 될 수 있는 강력한 단일 모델을 구축하도록 설계된 접근 방식으로 연구자들이 경로라고 부르는 것을 만들기 위한 Google 연구 이니셔티브에서 그 이름을 얻었습니다.

PaLM(Pathways Language Model)에는 여러 버전이 있습니다. PaLM 2 버전 중에는 생명 과학 및 의료 정보에 맞게 조정된 Med-PaLM 2가 있습니다. 위협 분석을 촉진하기 위해 사이버 보안 배포에 사용하는 데 중점을 둔 Sec-PaLM.

2023년 5월 Google은 Bard 대화형 AI 기술이 PaLM 2를 기반으로 한다고 공개적으로 밝혔습니다. PaLM 2 LLM(대형 언어 모델)은 Gmail 및 Docs를 포함한 Google Workspace 애플리케이션 제품군에서도 생성 AI 기능을 지원합니다. Duet AI라는 기술을 사용하여 Google Cloud로 활용합니다.

PaLM, 특히 PaLM 2는 다음을 포함한 다양한 기능을 제공할 수 있습니다.

PaLM은 일반적으로 변환기라고 불리는 변환기 신경망 기반 모델을 사용합니다. 기본 수준에서 PaLM은 OpenAI의 GPT-3 및 GPT-4 모델을 포함한 경쟁 변압기 기반 모델과 유사합니다.

PaLM은 Google에서 개발한 Pathways 머신러닝 시스템을 사용하여 텐서 처리 장치의 여러 포드에 걸쳐 모델을 교육합니다. 이 모델은 제한된 수의 레이블이 지정된 예제(또는 샷)에서 학습할 수 있는 소수 샷 학습이라는 기술을 사용하여 최소한의 데이터 레이블 지정으로 새로운 작업이나 클래스를 신속하게 조정하고 일반화하는 데 도움을 줍니다.

변환기 네트워크로서 PaLM은 텍스트와 코드를 포함한 콘텐츠 전반에 걸쳐 패턴을 이해하고 생성합니다. 변환기 모델은 포괄적인 학습 과정을 거쳐 콘텐츠 내 단어와 구문 사이에 존재하는 통계적 패턴과 연결을 찾아냅니다. 이렇게 습득한 지식을 통해 PaLM은 다양한 맥락에서 일관되고 관련성이 있는 응답을 생성할 수 있습니다.

PaLM은 강력하지만 사용, 기능 및 기타 우려 사항에 대해 다음과 같은 제한 사항이 있습니다.

Google 연구원들은 "PaLM 2 기술 보고서"에서 "PaLM 2로 구축된 프롬프트 대화 시스템은 계속해서 유해한 언어 피해를 일으키고 이러한 피해가 언어 및 신원 용어와 관련된 쿼리에 따라 어떻게 달라지는지에 대한 편견 패턴을 나타냅니다."라고 썼습니다.

PaLM과 OpenAI의 GPT-3, 그리고 최신 GPT-4 LLM 사이에는 많은 유사점과 차이점이 있습니다. 두 기술 세트 모두 일반적으로 생성 AI라고 하며 둘 다 딥 러닝을 위한 변환기 모델을 사용하면 이점을 얻을 수 있습니다. 두 기술 모두 텍스트를 생성, 요약 및 이해할 수도 있습니다.

개발자

구글 딥마인드

오픈AI

챗봇 인터페이스

음유 시인

채팅GPT

코드 생성

완전히 통합된 모델

OpenAI Codex LLM의 데이터를 활용합니다.

다국어 기능

PaLM 2는 현재 40개 이상의 언어를 지원합니다.

GPT-4는 현재 26개 언어를 지원합니다.

Google은 2022년 4월에 5,400억 개의 매개변수를 제공하는 언어 모델의 초기 버전과 함께 PaLM을 발표했습니다.

Google 연구자들은 "PaLM: Scaling Language Modeling with Pathways"라는 제목의 연구 논문에서 모델이 도입하는 혁신을 설명하는 전체 세부정보를 포함하여 PaLM 성능에 대한 초기 측정항목을 제공했습니다. 이 모델은 개발자가 모델을 시험해 볼 수 있도록 Google이 초기 공개 API 세트를 제공한 2023년 3월 17일까지 비공개로 유지되었습니다. 2023년 5월 10일 Google I/O 컨퍼런스에서 PaLM 2가 공개적으로 발표되었습니다.

PaLM 2 출시 당시 Google은 모델의 매개변수 측면에서 모델의 크기를 공개적으로 공개하지 않았지만 모델이 초기 모델보다 더 크고 성능이 뛰어나며 전반적으로 더 나은 성능을 제공한다는 주장을 많이 했습니다.

Google은 PaLM 2가 Bard를 포함한 많은 생성 AI 노력의 기반이 되는 AI로 사용되고 있음을 공개했습니다.

앞으로 PaLM 3 모델이 나올지는 불분명합니다. Google I/O 2023 행사에서 회사 경영진은 조직에서 개발 중인 차세대 LLM을 Gemini라고 말했습니다. Gemini가 PaLM 기반 접근 방식과 어떤 관계가 있는지는 확실하지 않습니다.