newsare.net
지난 몇 년간 AI 개발 환경은 극단적으로 양분되어 있었다. 소비자 시장에서는 엔비디아 RTX 이외의 선택지가 없어 고정밀 추론, 모델 고도화(파인 튜닝) 등의 작업에는 명백한 한계가 있었다. 70B 매
[리뷰] 책상 위의 슈퍼컴퓨터, 엔비디아 DGX 스파크
지난 몇 년간 AI 개발 환경은 극단적으로 양분되어 있었다. 소비자 시장에서는 엔비디아 RTX 이외의 선택지가 없어 고정밀 추론, 모델 고도화(파인 튜닝) 등의 작업에는 명백한 한계가 있었다. 70B 매개변수 모델만 하더라도 권장 메모리가 INT8 기준 80~90GB로 현존 최고 사양 제품인 RTX 5090 세 장을 병렬로 연결해야 한다. 감당 불가능한 가격은 아니지만 개발 환경에서 사용하기엔 전력 효율이나 유지보수 등이 비효율적이다.그렇다고 데이터센터 DGX 플랫폼 같은 엔터프라이즈급 AI 인프라를 선택하기도 곤란하다. DGX 플랫폼이 있다면 본격적인 AI 개발이나 연구는 가능하나 도입 단가부터 유지 보수, 전력 수급, 사후 관리를 모두 신경써야 한다. 우리나라를 포함해 거의 모든 전 세계 개발 인력은 하드웨어를 직접 구축하기보다는 AWS, MS 애저 등 클라우드 기업의 가상 인스턴스를 임대에서 활용하며, 이는 선택이 아닌 선택 불가능한 기본 전제라 할 수 있다.엔비디아 역시 Read more
03:45
03:24
15:50
