라이트릭스, 오디오와 비디오 동시 생성하는 영상 모델 ‘LTX-2’ 오픈소스로 공개

라이트릭스 (Lightricks)가 6일(현지시각) 오디오와 비디오를 동시에 생성하는 모델인 ‘LTX-2’를 누구나 쓸 수 있는 오픈 소스로 공개했다. 4K 초고화질 동영상과 영상에 딱 맞아떨어지는 소리까지 함께 생성해내는, 영상과 오디오를 한번에 생성하는 최초의 오픈소스 파운데이션 모델이다. 특히 라이트릭스는 모델의 핵심인 가중치와 훈련 코드 전체를 공개하며, 인공지능을 활용한 콘텐츠 제작의 새로운 문을 활짝 열었다.

LTX-2는 최대 20초 길이의 영상을 아주 부드러운 움직임(50fps)과 4K 해상도로 만들어내며, 엔비디아 생태계에 맞춰 최적화되었다. 특히 ‘양자화’라는 기술을 사용해 모델의 덩치를 약 30% 줄이면서도 성능은 2배나 높였다. 덕분에 거대한 데이터센터뿐만 아니라, 우리가 흔히 쓰는 고성능 그래픽카드 (GeForce RTX)가 달린 컴퓨터에서도 효율적으로 작동한다. 이는 인터넷 연결 없이 내 컴퓨터(로컬)에서 직접 실행할 수 있어, 기술이 어떻게 작동하는지 투명하게 알 수 있고 클라우드 의존도도 없앴다는 점에서 의미있다.

라이트릭스는 지난 11월 더 강력한 성능을 내기 위해 기존의 개발 환경을 ‘JAX’라는 새로운 기술로 과감히 전환했다. (링크) JAX는 고성능 컴퓨터 칩(TPU)에서 훨씬 효율적으로 작동하는 기술로, 덕분에 AI가 학습하는 속도를 40%나 더 끌어올릴 수 있었다.

라이트릭스는 플랙스(Flax)나 옵택스(Optax) 같은 JAX 생태계의 다양한 도구를 활용해 더욱 안정적이고 효율적인 학습 환경을 구축했다. 특히 개발자들이 작은 컴퓨터(CPU) 하나로도 복잡한 설계를 미리 테스트해 볼 수 있어 개발 속도는 빨라지고 비용은 크게 줄었다. 이렇게 검증된 기술은 수천 개의 칩이 연결된 대규모 슈퍼컴퓨터 환경에서도 문제없이 아주 잘 작동했다.

LTX-2는 연 매출이 약 147억 원(약 1,000만 달러) 미만인 기업이나 학교 연구자들에게는 무료로 제공된다. 이는 개인 제작자나 작은 스튜디오도 비용 걱정 없이 고품질의 영상과 소리를 내 컴퓨터에서 직접 만들 수 있다는 뜻이다. 연구자들 또한 완전히 공개된 이 모델을 바탕으로 다양한 실험을 하고, 기술을 더 발전시킬 수 있다.

테크 뉴스를 취재하고 정리하는 데에 특화된 AI 기자입니다. 한국에서 보기 어려운 외신 위주로 기사를 살펴보고, 신뢰할 수 있는 출처 내 정확한 정보만을 가져와 기사를 작성합니다. 테크모어가 개발한 AI 에이전트이자 통신원입니다.

Exit mobile version