banner
뉴스 센터
영업 및 생산에 대한 폭넓은 지식

Zettascale과 양자 컴퓨팅으로 향하는 길은 멀고 구불구불합니다

Apr 04, 2023

미국에서는 엑사급 HPC 시스템을 향한 첫 단계가 2007년 일련의 워크숍에서 시작되었습니다. 15년이 지나서야 Oak Ridge 국립 연구소의 1,686페타플롭스 "Frontier" 시스템이 온라인에 출시되었습니다. . 올해 아르곤 국립연구소는 로렌스의 '엘 캐피탄(El Capitan)' 시스템 도입 시기에 따라 미국에서 두 번째 또는 세 번째 엑사스케일 기계가 될 '오로라(Aurora)'의 스위치 ON을 준비하고 있다. 리버모어 국립 연구소.

이러한 모든 기계의 엑사스케일을 ​​향한 길에는 기술 변화, 중국과의 지속적인 경쟁 및 기타 과제뿐만 아니라 지연과 좌절이 있었습니다. 그러나 Argonne의 환경 및 생명 과학 컴퓨팅 부문 부소장인 Rick Stevens에 따르면 제타스케일 또는 양자 컴퓨팅으로의 다음 도약이 이보다 더 빠를 것이라고 기대하지 마십시오. 두 가지 모두 15~20년 이상이 걸릴 수 있습니다.

이것이 HPC의 본질입니다.

Stevens는 최근 웹 세미나에서 HPC 컴퓨팅의 가깝고 먼 미래에 대해 "이것은 장기적인 게임입니다."라고 말했습니다. "내년에 무슨 일이 일어날지 관심이 있다면 HPC는 당신을 위한 게임이 아닙니다. 10년 또는 20년의 관점에서 생각하고 싶다면 HPC가 당신을 위한 게임입니다. 왜냐하면 우리는 천년 궤도에 있기 때문입니다. 다른 항성계나 뭐든지 가려면 아직은 초기 단계에 불과합니다. 예, 우리는 무어의 법칙을 훌륭히 이행해 왔습니다. 인류는 내일 끝나지 않습니다. 갈 길이 멀기 때문에 우리는 그렇게 해야 합니다. 고성능 컴퓨팅이 지금으로부터 10년 후에 무엇을 의미하는지, 지금으로부터 20년 후에는 무엇을 의미하는지, 같은 것을 의미하는 것이 아닙니다. 지금 당장은 다른 것을 의미할 것입니다."

Stevens가 한 강연의 핵심이었던 "지금" 부분은 AI입니다. 이 기술의 혜택을 받을 수 있는 AI 강화 HPC 애플리케이션 및 연구 영역뿐만 아니라 AI 관리 시뮬레이션 및 대리자, 전용 AI 가속기, 대형 시스템 개발에서 AI가 수행할 역할도 포함됩니다. 그는 2019년부터 2022년 사이에 AI 분야에서 코로나19 팬데믹에 많은 시간을 소비한 사건이 폭발적으로 증가했다는 점에 주목했습니다.

널리 사용되는 ChatGPT 및 기타 생성 AI 챗봇과 같은 도구의 핵심인 대규모 언어 모델과 Stable Diffusion 텍스트-이미지 딥 러닝이 시작되면서 AI 기술을 사용하여 10억 개의 단백질을 접고 개방형 수학을 개선했습니다. 문제가 발생했으며 HPC 개발자들 사이에서 AI가 대규모로 채택되었습니다. AI는 HPC 애플리케이션을 가속화하는 데 사용되었습니다. 무엇보다도 엑사스케일 시스템이 등장하기 시작했습니다.

Stevens는 "대규모 모델을 구축하는 그룹이 점점 더 많아지고 이러한 모델의 거의 모두가 민간 부문에 속한다는 측면에서 이러한 폭발적인 증가가 계속되고 있습니다."라고 말했습니다. "비영리 단체가 수행하는 작업은 소수에 불과하며 그 중 대부분은 현재 최고의 성능을 자랑하는 GPT-4를 포함해 비공개 소스입니다. 이는 추세가 수백만 개의 작은 모델을 지향하지 않는다는 것을 말해줍니다. , 상대적으로 소수의 매우 강력한 모델을 향한 것입니다. 그것은 현재 진행되고 있는 중요한 종류의 메타 작업입니다."

시뮬레이션과 대리모, 새로운 AI 애플리케이션, AI 사용 사례 등 이 모든 것에는 앞으로 훨씬 더 많은 컴퓨팅 성능이 필요할 것입니다. 일리노이주에 있는 ALCF(Argonne Leadership Computing Facility)는 오로라 이후의 머신과 그 이상의 머신을 계획하면서 이에 대해 고민하기 시작했습니다. Stevens와 그의 동료들은 2024년 가을에 제안 요청을 받고 2028년이나 2029년에 설치를 완료하여 Aurora보다 8배 더 강력한 시스템을 구상하고 있습니다. 정밀도가 낮은 작업의 경우 절반의 제타플롭에 접근하고 있습니다. 지금부터 2~3번의 스핀오프가 발생합니다."라고 Stevens는 말했습니다.

한 가지 질문은 그러한 시스템의 가속기에 관한 것입니다. 현재 사용되는 범용 GPU의 최신 버전일까요, AI 시뮬레이션에 좀 더 구체적인 기능을 추가한 GPU일까요, 아니면 AI에 최적화된 완전히 새로운 엔진일까요?