You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v4.46.2).
Join the Hugging Face community
and get access to the augmented documentation experience
Collaborate on models, datasets and Spaces
Faster examples with accelerated inference
Switch between documentation themes
to get started
다중 GPU에서 효율적인 추론
이 문서에는 다중 GPU에서 효율적으로 추론하는 방법에 대한 정보가 포함되어 있습니다.
참고: 다중 GPU 설정은 단일 GPU 섹션에서 설명된 대부분의 전략을 사용할 수 있습니다. 그러나 더 나은 활용을 위해 간단한 기법들을 알아야 합니다.
더 빠른 추론을 위한 BetterTransformer
우리는 최근 텍스트, 이미지 및 오디오 모델에 대한 다중 GPU에서 더 빠른 추론을 위해 BetterTransformer를 통합했습니다. 자세한 내용은 이 통합에 대한 문서를 확인하십시오.
