TPU 대 GPU: 실제 성능 및 속도 차이

이 기사에서 우리는 TPU 대 TPU를 만들 것입니다. GPU 비교. 하지만 이에 대해 알아보기 전에 먼저 알아야 할 사항이 있습니다.

머신 러닝과 AI 기술은 지능형 앱의 성장을 가속화했습니다. 이를 위해 반도체 업체들은 보다 복잡한 앱을 처리하기 위해 TPU, CPU 등 가속기와 프로세서를 지속적으로 개발하고 있다.

일부 사용자는 TPU 사용이 권장되는 시기와 컴퓨터 작업에 GPU를 사용해야 하는 시기를 이해하는 데 문제가 있었습니다.

그래픽 처리 장치라고도 하는 GPU는 PC의 비디오 카드로 시각적이고 몰입감 있는 PC 경험을 제공합니다. 예를 들어 다음과 같은 경우 쉬운 단계를 따를 수 있습니다. PC가 GPU를 감지하지 못합니다..

이러한 상황을 더 잘 이해하려면 TPU가 무엇이며 GPU와 어떻게 비교되는지 명확히 해야 합니다.

TPU 란 무엇입니까?

TPU 또는 Tensor Processing Unit은 ASIC(application-specific integrated circuit)이라고도 하는 특정 애플리케이션을 위한 특수 집적 회로(IC)입니다. Google은 처음부터 TPU를 만들어 2015년부터 사용하기 시작했으며 2018년에 일반에 공개했습니다.

TPU는 마이너 칩 또는 클라우드 버전으로 제공됩니다. TensorFlow 소프트웨어를 사용하여 신경망에 대한 기계 학습 속도를 높이기 위해 클라우드 TPU는 복잡한 행렬 및 벡터 연산을 놀라운 속도로 해결합니다.

Google Brain Team이 개발한 오픈 소스 머신 러닝 플랫폼인 TensorFlow를 통해 연구원, 개발자, 기업은 Cloud TPU 하드웨어를 사용하여 AI 모델을 구축하고 운영할 수 있습니다.

복잡하고 강력한 신경망 모델을 훈련할 때 TPU는 시간 값을 정확도로 단축합니다. 이는 GPU를 사용하여 훈련하는 데 몇 주가 걸렸을 수 있는 딥 러닝 모델이 그 시간의 일부 미만이라는 것을 의미합니다.

TPU는 GPU와 동일합니까?

그들은 건축학적으로 매우 구별됩니다. 그래픽 처리 장치(Graphical Processing Unit)는 벡터화된 수치 프로그래밍으로 연결되기는 하지만 그 자체로 프로세서입니다. GPU는 사실상 차세대 Cray 슈퍼컴퓨터입니다.

TPU는 자체적으로 명령을 실행하지 않는 보조 프로세서입니다. 코드는 CPU에서 실행되어 TPU에 작은 작업 흐름을 제공합니다.

언제 TPU를 사용해야 합니까?

클라우드의 TPU는 특정 애플리케이션에 맞게 조정됩니다. 경우에 따라 GPU 또는 CPU를 사용하여 기계 학습 작업을 실행하는 것을 선호할 수 있습니다. 일반적으로 다음 원칙은 TPU가 작업 부하에 가장 적합한 옵션인지 평가하는 데 도움이 될 수 있습니다.

• 모델에서 행렬 계산이 지배적입니다.
• 모델의 기본 교육 루프 내에는 사용자 지정 TensorFlow 작업이 없습니다.
• 몇 주 또는 몇 달의 훈련을 거친 모델입니다.
• 광범위하고 효과적인 배치 크기를 가진 대규모 모델입니다.

이제 직접 TPU와 GPU 비교.

GPU와 TPU의 차이점은 무엇입니까?

TPU 대 GPU 아키텍처

TPU는 고도로 복잡한 하드웨어가 아니며 기존 X86 파생 아키텍처가 아닌 레이더 애플리케이션을 위한 신호 처리 엔진처럼 느껴집니다.

많은 행렬 곱셈 나눗셈이 있음에도 불구하고 GPU라기 보다는 보조 프로세서에 가깝습니다. 호스트에서 받은 명령만 실행합니다.

행렬 곱셈 구성 요소에 입력해야 할 가중치가 너무 많기 때문에 TPU의 DRAM은 병렬로 단일 장치로 작동합니다.

또한 TPU는 매트릭스 작업만 수행할 수 있기 때문에 TPU 보드는 TPU가 처리할 수 없는 작업을 수행하기 위해 CPU 기반 호스트 시스템에 연결됩니다.

호스트 컴퓨터는 TPU에 데이터를 전달하고 사전 처리하고 Cloud Storage에서 세부 정보를 가져오는 역할을 합니다.

GPU는 대기 시간이 짧은 캐시에 액세스하는 것보다 작업에 사용 가능한 코어를 적용하는 데 더 관심이 있습니다.

다중 SM(Streaming Multiprocessors)이 있는 많은 PC(프로세서 클러스터)는 모든 SM에 포함된 레이어 1 명령 캐시 레이어와 수반되는 코어가 있는 단일 GPU 가젯이 됩니다.

글로벌 GDDR-5 메모리에서 데이터를 추출하기 전에 하나의 SM은 일반적으로 2개의 캐시로 구성된 공유 계층과 1개의 캐시로 구성된 전용 계층을 활용합니다. GPU 아키텍처는 메모리 지연을 허용합니다.

GPU는 최소한의 메모리 캐시 수준으로 작동합니다. 그러나 GPU는 처리에 더 많은 트랜지스터를 사용하기 때문에 메모리의 데이터에 액세스하는 시간에 덜 신경을 씁니다.

GPU가 적절한 계산으로 계속 사용되기 때문에 가능한 메모리 액세스 지연이 숨겨집니다.

TPU 대 GPU 속도

이 원래 TPU 세대는 학습된 모델이 아닌 학습된 모델을 사용하는 대상 추론입니다.

TPU는 신경망 추론을 사용하는 상용 AI 애플리케이션의 현재 GPU 및 CPU보다 15~30배 빠릅니다.

또한 TPU는 에너지 효율이 매우 높아 TOPS/Watt 값이 30~80배 증가합니다.

따라서 TPU 대 GPU 속도 비교, Tensor Processing Unit 쪽으로 치우친 확률.

TPU 대 GPU 성능

TPU는 Tensorflow 그래프 계산 속도를 높이기 위해 만들어진 텐서 처리 기계입니다.

단일 보드에서 각 TPU는 최대 64GB의 고대역폭 메모리와 180테라플롭의 부동 소수점 성능을 제공할 수 있습니다.

Nvidia GPU와 TPU의 비교는 아래와 같습니다. Y축은 초당 사진 수를 나타내고 X축은 다양한 모델을 나타냅니다.

TPU 대 GPU 머신 러닝

다음은 Epoch당 다양한 배치 크기와 반복을 사용하는 CPU 및 GPU의 훈련 시간입니다.

• 반복/에포크: 100, 배치 크기: 1000, 총 에포크: 25, 매개변수: 1.84M 및 모델 유형: Keras Mobilenet V1(알파 0.75).

액셀러레이터	GPU(엔비디아 K80)	TPU
훈련 정확도(%)	96.5	94.1
검증 정확도(%)	65.1	68.6
반복당 시간(ms)	69	173
Epoch당 시간	69	173
총 시간(분)	30	72

• 반복/에포크: 1000, 배치 크기: 100, 총 에포크: 25, 매개변수: 1.84M, 모델 유형: Keras Mobilenet V1(알파 0.75)

액셀러레이터	GPU(엔비디아 K80)	TPU
훈련 정확도(%)	97.4	96.9
검증 정확도(%)	45.2	45.3
반복당 시간(ms)	185	252
Epoch당 시간	18	25
총 시간(분)	16	21

배치 크기가 작을수록 학습 시간에서 볼 수 있듯이 TPU가 학습하는 데 훨씬 더 오래 걸립니다. 그러나 TPU 성능은 배치 크기가 증가할수록 GPU에 더 가깝습니다.

따라서 TPU 대 GPU 훈련 비교는 에포크(epoch) 및 배치 크기와 많은 관련이 있습니다.

TPU 대 GPU 벤치마크

0.5와트/TOPS의 단일 Edge TPU는 초당 4조 작업을 실행할 수 있습니다. 여러 변수가 이것이 앱 성능으로 얼마나 잘 변환되는지에 영향을 미칩니다.

신경망 모델에는 고유한 요구 사항이 있으며 전체 출력은 호스트 USB 속도, CPU 및 USB 가속기 장치의 기타 시스템 리소스에 따라 다릅니다.

이를 염두에 두고 아래 그래픽은 Edge TPU에서 단일 추론을 수행하는 데 소요된 시간과 다양한 표준 모델을 대조합니다. 물론 실행 중인 모든 모델은 비교를 위해 TensorFlow Lite 버전입니다.

위의 주어진 데이터는 모델을 실행하는 데 걸리는 시간을 보여줍니다. 단, 입력된 데이터를 처리하는 데 걸리는 시간은 제외하며 애플리케이션 및 시스템에 따라 다릅니다.

GPU 벤치마크 결과는 사용자가 원하는 게임 플레이 품질 설정 및 해상도와 비교됩니다.

70,000개 이상의 벤치마크 테스트 평가를 기반으로 정교한 알고리즘이 세심하게 구성되어 게임 성능에 대한 90%의 신뢰할 수 있는 추정치를 생성합니다.

그래픽 카드의 성능은 게임에 따라 크게 다르지만 아래의 이 비교 이미지는 일부 그래픽 카드에 대한 광범위한 등급 지수를 제공합니다.

TPU 대 GPU 가격

그들은 상당한 가격 차이가 있습니다. TPU는 GPU보다 5배 더 비쌉니다. 여기 몇 가지 예가 있어요.

• Nvidia Tesla P100 GPU는 시간당 $1.46입니다.
• Google TPU v3 비용은 시간당 $8.00입니다.
• GCP 주문형 액세스가 포함된 TPUv2 시간당 $4.50

비용 최적화가 목표라면 GPU 속도의 5배인 모델을 훈련시키는 경우에만 TPU를 선택해야 합니다.

CPU와 CPU의 차이점은 무엇입니까? GPU 대 TPU?

TPU, GPU 및 CPU의 차이점은 CPU가 컴퓨터의 모든 계산, 논리, 입력 및 출력을 처리하는 비특정 목적 프로세서라는 것입니다.

반면 GPU는 그래픽 인터페이스(GI)를 개선하고 고급 작업을 수행하는 데 사용되는 추가 프로세서입니다. TPU는 TensorFlow와 같은 특정 프레임워크를 사용하여 개발된 프로젝트를 실행하는 데 사용되는 강력하고 특수 제작된 프로세서입니다.

다음과 같이 분류합니다.

• 중앙 처리 장치(CPU) – 컴퓨터의 모든 측면을 제어합니다.
• 그래픽 처리 장치(GPU) – 컴퓨터의 그래픽 성능 향상
• Tensor Processing Unit(TPU) – TensorFlow 프로젝트를 위해 명시적으로 설계된 ASIC

Nvidia가 TPU를 만드나요?

많은 사람들이 NVIDIA가 Google의 TPU에 어떻게 반응할지 궁금해했지만 이제 답을 찾았습니다.

NVIDIA는 걱정하기보다는 합리적일 때 활용할 수 있는 도구로 TPU를 성공적으로 배치했지만 여전히 CUDA 소프트웨어와 GPU를 선두로 유지하고 있습니다.

기술을 오픈 소스로 만들어 IoT 머신 러닝 채택을 위한 제어 지점을 유지합니다. 그러나 이 방법의 위험은 NVIDIA용 데이터 센터 추론 엔진의 장기적인 열망에 도전이 될 수 있는 개념에 대한 신빙성을 제공할 수 있다는 것입니다.

GPU 또는 TPU가 더 나은가요?

결론적으로, 우리는 알고리즘을 효과적으로 사용하기 위한 알고리즘을 개발하지만 TPU는 약간의 추가 비용이 들며 감소된 교육 비용은 일반적으로 추가 프로그래밍보다 큽니다. 경비.

TPU를 선택해야 하는 다른 이유는 v3-128 8의 VRAM의 G가 NLU와 관련된 대규모 데이터 세트를 처리하기 위한 더 나은 대안을 만드는 Nvidia GPU 그리고 NLP.

더 높은 속도는 또한 개발 주기 동안 더 빠른 반복으로 이어질 수 있으며 더 빠르고 빈번한 혁신으로 이어져 시장에서 성공할 가능성이 높아집니다.

TPU는 혁신 속도, 사용 용이성 및 경제성 측면에서 GPU를 능가합니다. 소비자와 클라우드 설계자는 ML 및 AI 이니셔티브에서 TPU를 고려해야 합니다.

Google의 TPU는 처리 용량이 충분하며 사용자는 데이터 입력을 조정하여 과부하가 없는지 확인해야 합니다.

거기에 총 TPU 대 GPU 비교. 귀하의 생각을 알고 테스트를 수행했는지, TPU 및 GPU에서 어떤 결과를 얻었는지 알고 싶습니다.

다음 중 하나를 사용하여 몰입형 PC 경험을 즐길 수 있음을 기억하십시오. Windows 11을 위한 최고의 그래픽 카드.