스타트업 Taalas는 AI 모델을 실리콘에 효과적으로 ‘하드웨어화’하는 전용 하드웨어를 독자적으로 개발하여 대규모 언어 모델(LLM)과 관련된 응답 지연 및 성능 문제를 해결하는 데 앞장서고 있습니다.
LLM 성과 및 비용 효율성의 획기적인 개선
현재 AI 컴퓨팅 환경에서 지연 시간은 서비스 제공업체에게 중요한 제약 요소가 되었습니다.신속한 작업 완료를 위해서는 초당 토큰 처리량(TPS) 효율성이 무엇보다 중요하기 때문입니다. Cerebras와 Groq 같은 회사들이 SRAM 통합을 하나의 잠재적 접근 방식으로 검토하고 있지만, Taalas는 다른 길을 택했습니다.범용 컴퓨팅에서 벗어나 LLM(Layer-by-Layer)에 특화된 ASIC 활용에 집중하고 있는 것입니다.
2년 반 전에 설립된 Taalas는 모든 AI 모델을 맞춤형 실리콘으로 변환하는 플랫폼을 개발했습니다.이전에는 존재하지 않았던 모델을 입력받는 순간부터 단 두 달 만에 하드웨어로 구현할 수 있습니다.이렇게 만들어진 하드코어 모델은 소프트웨어 기반 구현보다 속도가 훨씬 빠르고, 비용도 저렴하며, 전력 소모도 적습니다.
– 탈라스
Taalas의 전략은 두 가지 핵심 원칙에 기반합니다.첫째, 하드웨어 수준에서 AI 워크로드의 특화에 집중합니다.즉, LLM(로멀티미디어 모델)에서 특정 신경망을 직접 실리콘에 매핑하여 각 모델에 최적화된 인프라를 구축하는 것입니다.둘째, “저장 공간과 연산 능력의 통합”을 통해 메모리 제약을 해결하고 범용 시스템에서 흔히 발생하는 데이터 통신 오버헤드를 줄이는 것을 목표로 합니다.
탈라스(Taalas)가 채택한 혁신적인 접근 방식 덕분에 모든 연산은 “DRAM 수준”의 밀도로 실행되어 통신 속도가 크게 향상됩니다.이러한 혁신은 탈라스가 LLM에서 발생했던 지연 시간 문제를 효과적으로 해결한 핵심적인 이유입니다.고급 냉각 기술, 고대역폭 메모리(HBM), 복잡한 통합 기술에 의존하는 기존 방식과는 달리, 탈라스의 혁신은 실리콘 엔지니어링에 깊이 뿌리내리고 있습니다.
이 회사는 Meta의 Llama 3.1 8B LLM을 통합한 첫 번째 제품인 HC1을 출시했습니다.이 모델이 보여주는 성능 지표는 매우 인상적이며, Taalas는 기존 고급 인프라 대비 10배 높은 TPS(초당 처리량)를 달성하는 동시에 생산 비용을 20배 절감하는 놀라운 성과를 보여줍니다.
이러한 발전이 지연 시간과 성능 문제를 해결하는 것처럼 보이지만, HC1의 기술 사양을 면밀히 검토하는 것이 중요합니다.이 칩은 TSMC의 6nm 공정으로 제작되었으며 크기는 최대 815mm²로 NVIDIA의 H100 칩과 유사합니다.80억 개의 파라미터 모델을 지원하지만, 현재 최고의 LLM(Layered Leadership Machine)은 1조 개의 파라미터를 향해 확장되고 있습니다.따라서 Taalas는 실리콘 전략을 더욱 정교하게 다듬어야 할 필요성이 여전히 절실합니다.
성능을 효과적으로 확장하려면 클러스터 기반 접근 방식이 필요할 것으로 보입니다. Taalas는 DeepSeek의 R1을 사용하여 30개 칩 구성에서 사용자당 12, 000 TPS라는 인상적인 성능을 달성하며 이를 성공적으로 구현한 것으로 알려져 있습니다.그러나 향후 주요 과제는 시장 채택과 자사의 고유한 하드웨어 전략에 부합하는 실행 가능한 비즈니스 모델 개발에 있습니다.하드웨어 솔루션의 특수성으로 인해 다양한 LLM(Learning Leadership Management) 환경에 대한 유연성이 제한될 수 있지만, 속도 및 성능 향상은 Taalas의 야심찬 전략을 정당화합니다.
답글 남기기