TPU срещу GPU: Реални разлики в производителността и скоростта

В тази статия ще направим TPU vs. Сравнение на GPU. Но преди да се задълбочим в него, ето какво трябва да знаете.

Машинното обучение и AI технологията ускориха растежа на интелигентните приложения. За тази цел полупроводниковите фирми непрекъснато създават ускорители и процесори, включително TPU и CPU, за да се справят с по-сложни приложения.

Някои потребители са имали проблеми с разбирането кога се препоръчва използването на TPU и кога да използват GPU за техните компютърни задачи.

Графичният процесор, известен още като графичен процесор, е видеокартата на вашия компютър, която ви предлага визуално и потапящо компютърно изживяване. Например, можете да следвате лесни стъпки, ако сте Компютърът не открива графичния процесор.

За да разберем по-добре тези обстоятелства, ще трябва също да изясним какво е TPU и как се сравнява с GPU.

Какво е TPU?

TPU или Tensor Processing Units са специализирани интегрални схеми (ICs) за специфични приложения, известни също като ASIC (интегрални схеми, специфични за приложението). Google създаде TPU от нулата, като започна да ги използва през 2015 г. и ги отвори за обществеността през 2018 г.

TPU се предлагат като второстепенни чип или облачни версии. За да ускорят машинното обучение за невронна мрежа с помощта на софтуера TensorFlow, облачните TPU решават сложни матрични и векторни операции с невероятна скорост.

С TensorFlow екипът на Google Brain разработи платформа за машинно обучение с отворен код, изследователи, разработчици и предприятия могат да конструират и управляват AI модели, използвайки Cloud TPU хардуер.

Когато обучават сложни и стабилни модели на невронни мрежи, TPU намаляват времето до стойността на точността. Това означава, че моделите за дълбоко обучение, които може да са отнели седмици за обучение с помощта на графични процесори, отнемат по-малко от част от това време.

TPU е същият като GPU?

Архитектурно са много различни. Графичният процесор е процесор сам по себе си, макар и такъв, който е насочен към векторизирано числово програмиране. Графичните процесори на практика са следващото поколение суперкомпютри Cray.

TPU са копроцесори, които не изпълняват инструкции сами; кодът се изпълнява на CPU, което захранва TPU поток от малки операции.

Кога трябва да използвам TPU?

TPU в облака са пригодени за конкретни приложения. Може да предпочетете да изпълнявате задачите си за машинно обучение с помощта на графични процесори или процесори в някои случаи. Като цяло следните принципи могат да ви помогнат да прецените дали TPU е най-добрият вариант за вашето работно натоварване:

• Матричните изчисления са доминиращи в моделите
• В рамките на основния обучителен цикъл на модела няма персонализирани операции TensorFlow
• Те са модели, които преминават през седмици или месеци на обучение
• Те са масивни модели, които имат обширни, ефективни размери на партиди.

Сега нека преминем към някои директни TPU срещу. Сравнение на GPU.

Какви са разликите между GPU и TPU?

TPU срещу Архитектура на графичния процесор

TPU не е много сложен хардуер и се чувства като двигател за обработка на сигнали за радарни приложения, а не като традиционната архитектура, извлечена от X86.

Въпреки че има много деления за умножение на матрици, това е по-малко графичен процесор и повече копроцесор; той просто изпълнява командите, получени от хост.

Тъй като има толкова много тегла за въвеждане в компонента за умножение на матрицата, DRAM на TPU работи като единична единица паралелно.

Освен това, тъй като TPU могат да извършват само матрични операции, TPU платките са свързани с базирани на CPU хост системи, за да изпълняват задачи, с които TPU не могат да се справят.

Хост компютрите отговарят за доставянето на данни до TPU, предварителната обработка и извличането на подробности от Cloud Storage.

Графичните процесори са по-загрижени за прилагането на наличните ядра за работа, отколкото за достъпа до кеша с ниска латентност.

Много компютри (процесорни клъстери) с множество SM (стрийминг мултипроцесори) се превръщат в единична GPU притурка, със слоеве за кеш на инструкциите от слой 1 и придружаващи ядра, поместени във всеки SM.

Преди извличане на данни от глобалната GDDR-5 памет, един SM обикновено използва споделен слой от два кеша и специален слой от един кеш. Архитектурата на графичния процесор е толерантна към забавяне на паметта.

Графичният процесор работи с минимален брой нива на кеш паметта. Въпреки това, тъй като графичният процесор разполага с повече транзистори, посветени на обработката, той е по-малко загрижен за времето си за достъп до данни в паметта.

Възможното забавяне на достъпа до паметта е скрито, тъй като графичният процесор е зает с адекватни изчисления.

TPU срещу скорост на графичния процесор

Това оригинално поколение на TPU е целенасочено заключение, което използва научен модел, а не обучен.

TPU е 15 до 30 пъти по-бърз от настоящите графични процесори и процесори в комерсиални приложения за изкуствен интелект, които използват извод от невронна мрежа.

Освен това, TPU е значително енергийно ефективен, с между 30 до 80 пъти увеличение на стойността TOPS/Watt.

Следователно при правенето на TPU vs. Сравнение на скоростта на графичния процесор, шансовете са изкривени към тензорния процесор.

TPU срещу производителност на графичния процесор

TPU е машина за тензорна обработка, създадена за ускоряване на изчисленията на графиката на Tensorflow.

На една платка всеки TPU може да осигури до 64 GB памет с висока честотна лента и 180 терафлопа производителност с плаваща запетая.

Сравнение между графичните процесори на Nvidia и TPU е показано по-долу. Оста Y изобразява броя на снимките в секунда, докато оста X представлява различните модели.

TPU срещу GPU машинно обучение

По-долу са времената за обучение за процесори и графични процесори, използващи различни размери на партиди и итерации за епоха:

• Итерации/епоха: 100, Размер на партидата: 1000, Общо епохи: 25, Параметри: 1,84 M и Тип на модела: Keras Mobilenet V1 (алфа 0,75).

АКСЕЛЕРАТОР	GPU (NVIDIA K80)	TPU
Точност на обучението (%)	96.5	94.1
Точност на валидиране (%)	65.1	68.6
Време на итерация (мс)	69	173
Време за епоха (и)	69	173
Общо време (минути)	30	72

• Итерации/епоха: 1000, Размер на партидата: 100, Общо епохи: 25, Параметри: 1,84 M и Тип на модела: Keras Mobilenet V1 (алфа 0,75)

АКСЕЛЕРАТОР	GPU (NVIDIA K80)	TPU
Точност на обучението (%)	97.4	96.9
Точност на валидиране (%)	45.2	45.3
Време на итерация (мс)	185	252
Време за епоха (и)	18	25
Общо време (минути)	16	21

С по-малък размер на партидата, TPU отнема много повече време за обучение, както се вижда от времето за обучение. Въпреки това, производителността на TPU е по-близка до GPU с увеличен размер на партидата.

Следователно при правенето на TPU vs. Сравнение на GPU обучение, много е свързано с епохите и размера на партидата.

TPU срещу Бенчмарк на GPU

С 0,5 вата/TOPS, един Edge TPU може да изпълни четири трилиона операции в секунда. Няколко променливи влияят на това колко добре това се превежда в ефективността на приложението.

Моделите на невронни мрежи имат различни изисквания и общият изход варира в зависимост от скоростта на USB хоста, процесора и други системни ресурси на USB ускорителя.

Имайки това предвид, графиката по-долу контрастира времето, прекарано в единични изводи на Edge TPU с различни стандартни модели. Разбира се, всички работещи модели са версиите TensorFlow Lite за сравнение.

Моля, имайте предвид, че дадените данни по-горе показват времето, необходимо за стартиране на модела. Това обаче изключва времето, необходимо за обработка на входните данни, което варира в зависимост от приложението и системата.

Резултатите от бенчмарковете на графичния процесор се сравняват с желаните от потребителя настройки за качество и разделителна способност на играта.

Въз основа на оценка на над 70 000 сравнителни теста, сложни алгоритми са щателно конструирани, за да генерират 90 процента надеждни оценки за производителността на игрите.

Въпреки че производителността на графичните карти варира значително в различните игри, това сравнително изображение по-долу дава широк рейтинг за някои графични карти.

TPU срещу Цена на GPU

Имат значителна разлика в цената. TPU са пет пъти по-скъпи от графичните процесори. Ето няколко примера:

• Графичен процесор Nvidia Tesla P100 струва $1,46 на час
• Google TPU v3 струва $8,00 на час
• TPUv2 с GCP достъп при поискване $4,50 на час

Ако целта е оптимизирането на разходите, трябва да изберете TPU само ако той обучава модел 5 пъти по-висока от скоростта на GPU.

Каква е разликата между CPU срещу. GPU срещу TPU?

Разликата между TPU, GPU и CPU е, че CPU е процесор с неспецифично предназначение, който обработва всички изчисления, логика, вход и изход на компютъра.

От друга страна, GPU е допълнителен процесор, използван за подобряване на графичния интерфейс (GI) и извършване на дейности от висок клас. TPU са силни, специално направени процесори, използвани за изпълнение на проекти, разработени с помощта на определена рамка, като TensorFlow.

Ние ги категоризираме, както следва:

• Централен процесор (CPU) – Контролирайте всички аспекти на компютъра
• Графичен процесор (GPU) – Подобрете графичната производителност на компютъра
• Tensor Processing Unit (TPU) – ASIC, изрично проектиран за проекти на TensorFlow

Nvidia произвежда ли TPU?

Много хора са се чудили как NVIDIA ще реагира на TPU на Google, но сега имаме отговори.

Вместо да се тревожи, NVIDIA успешно депозиционира TPU като инструмент, който може да използва, когато има смисъл, но все пак поддържа своя CUDA софтуер и графични процесори начело.

Той запазва контролна точка за възприемане на IoT машинно обучение, като прави технологията с отворен код. Опасността при този метод обаче е, че той може да осигури доверие към концепция, която може да се превърне в предизвикателство за дългосрочните стремежи на двигателите за извод на центрове за данни за NVIDIA.

По-добър ли е GPU или TPU?

В заключение трябва да кажем, че въпреки че разработването на алгоритми, позволяващи ефективното използване на a TPU струва малко повече, намалените разходи за обучение обикновено надвишават допълнителното програмиране разходи.

Други причини да изберете TPU включват факта, че G на VRAM v3-128 8 превъзхожда тази на Графични процесори на Nvidia, което прави v3-8 по-добра алтернатива за обработка на големи набори от данни, свързани с NLU и НЛП.

По-високите скорости могат също да доведат до по-бърза итерация по време на циклите на разработка, което води до по-бързи и по-чести иновации, увеличавайки вероятността за успех на пазара.

TPU превъзхожда графичния процесор по отношение на скоростта на иновациите, лекотата на използване и достъпността; потребителите и облачните архитекти трябва да вземат предвид TPU в своите инициативи за ML и AI.

TPU от Google има много капацитет за обработка и потребителят трябва да координира въвеждането на данни, за да се увери, че няма претоварване.

Ето го, общ TPU срещу. Сравнение на GPU. Ще се радваме да разберем вашите мисли и да видим дали сте правили някакви тестове и какви резултати сте получили на TPU и GPU.

Не забравяйте, че можете да се насладите на потапящо компютърно изживяване, използвайки който и да е от най-добрите графични карти за Windows 11.