ТПУ вс. ГПУ: Разлике у перформансама и брзини у стварном свету

У овом чланку ћемо правити ТПУ вс. Поређење ГПУ-а. Али пре него што уђемо у то, ево шта морате да знате.

Машинско учење и АИ технологија су убрзале раст интелигентних апликација. У том циљу, полупроводничке фирме континуирано креирају акцелераторе и процесоре, укључујући ТПУ и ЦПУ, да би се бавили сложенијим апликацијама.

Неки корисници су имали проблема са разумевањем када се препоручује коришћење ТПУ-а, а када ГПУ за своје рачунарске задатке.

ГПУ, такође познат као јединица за графичку обраду, је видео картица вашег рачунара која вам нуди визуелно и импресивно ПЦ искуство. На пример, можете следити једноставне кораке ако сте ПЦ не детектује ГПУ.

Да бисмо боље разумели ове околности, такође ћемо морати да разјаснимо шта је ТПУ и какав је у поређењу са ГПУ-ом.

Шта је ТПУ?

ТПУ или Тенсор Процессинг Унитс су специјализована интегрисана кола (ИЦ) за специфичне апликације, такође позната као АСИЦ (интегрисана кола специфична за апликацију). Гугл је направио ТПУ од нуле, почео да их користи 2015. и отворио их за јавност 2018.

ТПУ се нуде као мање чипове или верзије у облаку. Да би убрзали машинско учење за неуронску мрежу помоћу софтвера ТенсорФлов, ТПУ у облаку решавају компликоване матричне и векторске операције невероватним брзинама.

Уз ТенсорФлов, Гоогле Браин Теам је развио платформу за машинско учење отвореног кода, истраживачи, програмери и предузећа могу да конструишу и управљају АИ моделима користећи Цлоуд ТПУ хардвер.

Када обучавају сложене и робусне моделе неуронских мрежа, ТПУ смањују време до вредности тачности. То значи да моделима дубоког учења за које су можда биле потребне недеље да се обуче помоћу ГПУ-а потребно је мање од делић тог времена.

Да ли је ТПУ исто што и ГПУ?

Они су архитектонски веома различити. Јединица за графичку обраду је процесор сам по себи, иако је усмерен ка векторизованом нумеричком програмирању. ГПУ-ови су, у ствари, следећа генерација Цраи суперкомпјутера.

ТПУ су копроцесори који не извршавају инструкције сами; код се извршава на ЦПУ-има, што храни ТПУ ток малих операција.

Када треба да користим ТПУ?

ТПУ-ови у облаку су прилагођени одређеним апликацијама. Можда ћете више волети да извршавате задатке машинског учења користећи ГПУ или ЦПУ у неким случајевима. Генерално, следећи принципи могу вам помоћи да процените да ли је ТПУ најбоља опција за ваше радно оптерећење:

• Матрична израчунавања су доминантна у моделима
• Унутар главне петље за обуку модела, не постоје прилагођене ТенсорФлов операције
• Они су модели који пролазе кроз недеље или месеце обуке
• То су масивни модели који имају велике, ефективне величине серија.

Сада скочимо на неке директне ТПУ вс. Поређење ГПУ-а.

Које су разлике између ГПУ-а и ТПУ-а?

ТПУ вс. ГПУ архитектура

ТПУ није веома сложен хардвер и делује као мотор за обраду сигнала за радарске апликације, а не као традиционална архитектура изведена из Кс86.

Упркос томе што има много подела множења матрице, мање је ГПУ, а више копроцесор; он само извршава команде које прима хост.

Пошто постоји толико много тежина за унос у компоненту множења матрице, ТПУ-ов ДРАМ ради као једна јединица паралелно.

Поред тога, пошто ТПУ-ови могу да спроводе само матричне операције, ТПУ плоче су повезане са хост системима базираним на ЦПУ-у да би остварили задатке које ТПУ-ови не могу да обрађују.

Рачунари домаћини су задужени за испоруку података у ТПУ, претходну обраду и преузимање детаља из Цлоуд Стораге-а.

ГПУ-ови су више забринути за примену доступних језгара за рад него за приступ кешу са малим кашњењем.

Многи рачунари (кластери процесора) са више СМ-ова (стриминг мултипроцессорс) постају један ГПУ гаџет, са слојевима кеша инструкција првог слоја и пратећим језграма смештеним у сваком СМ-у.

Пре екстракције података из глобалне ГДДР-5 меморије, један СМ обично користи заједнички слој од два кеша и наменски слој од једног кеша. Архитектура ГПУ-а је толерантна на кашњење меморије.

ГПУ ради са минималним бројем нивоа кеш меморије. Међутим, пошто ГПУ има више транзистора посвећених обради, мање је забринут за време приступа подацима у меморији.

Могуће кашњење приступа меморији је скривено јер је ГПУ заузет адекватним прорачунима.

ТПУ вс. Брзина ГПУ-а

Ова оригинална ТПУ генерација циљано закључивање, које користи научени модел, а не обучени.

ТПУ је 15 до 30 пута бржи од тренутних ГПУ-а и ЦПУ-а у комерцијалним АИ апликацијама које користе закључивање неуронске мреже.

Штавише, ТПУ је значајно енергетски ефикасан, са повећањем вредности ТОПС/Ват од 30 до 80 пута.

Стога у прављењу ТПУ-а вс. Поређење брзине ГПУ-а, шансе су нагнуте према Тенсор процесорској јединици.

ТПУ вс. ГПУ перформансе

ТПУ је машина за обраду тензора створена да убрза израчунавање Тенсорфлов графа.

На једној плочи, сваки ТПУ може да обезбеди чак 64 ГБ меморије великог пропусног опсега и 180 терафлопса перформанси са покретним зарезом.

Поређење између Нвидиа ГПУ-а и ТПУ-а је приказано испод. И-оса приказује број фотографија у секунди, док Кс-оса представља различите моделе.

ТПУ вс. ГПУ машинско учење

Испод су времена обуке за ЦПУ и ГПУ-ове који користе различите величине серије и итерације по епохи:

• Итерације/епоха: 100, Величина серије: 1000, Укупно епоха: 25, Параметри: 1,84 М и Тип модела: Керас Мобиленет В1 (алфа 0,75).

АЦЦЕЛЕРАТОР	ГПУ (НВИДИА К80)	ТПУ
Тачност тренинга (%)	96.5	94.1
Тачност валидације (%)	65.1	68.6
Време по итерацији (мс)	69	173
Време по епохи (с)	69	173
Укупно време (минути)	30	72

• Итерације/епоха: 1000, Величина серије: 100, Укупно епоха: 25, Параметри: 1,84 М и Тип модела: Керас Мобиленет В1 (алфа 0,75)

АЦЦЕЛЕРАТОР	ГПУ (НВИДИА К80)	ТПУ
Тачност тренинга (%)	97.4	96.9
Тачност валидације (%)	45.2	45.3
Време по итерацији (мс)	185	252
Време по епохи (с)	18	25
Укупно време (минути)	16	21

Са мањом величином серије, ТПУ-у је потребно много дуже да се тренира, као што се види из времена обуке. Међутим, перформансе ТПУ-а су ближе ГПУ-у са повећаном величином серије.

Стога у прављењу ТПУ-а вс. Поређење ГПУ тренинга, много има везе са епохама и величином серије.

ТПУ вс. ГПУ бенцхмарк

Са 0,5 вати/ТОПС, један Едге ТПУ може да изврши четири трилиона операција у секунди. Неколико варијабли утиче на то колико добро се ово преводи на перформансе апликације.

Модели неуронских мрежа имају различите захтеве, а укупни излаз варира у зависности од УСБ брзине хоста, ЦПУ-а и других системских ресурса УСБ уређаја за убрзавање.

Имајући то на уму, доња графика супротставља време проведено на доношењу појединачних закључака на Едге ТПУ-у са различитим стандардним моделима. Наравно, сви модели који раде су ТенсорФлов Лите верзије ради поређења.

Имајте на уму да горе наведени подаци показују време потребно за покретање модела. Међутим, то искључује време потребно за обраду улазних података, које варира у зависности од апликације и система.

Резултати ГПУ бенцхмарк-а се упоређују са жељеним поставкама квалитета игре и резолуцијом коју корисник жели.

На основу процене више од 70.000 бенцхмарк тестова, софистицирани алгоритми су пажљиво конструисани да генеришу 90 процената поуздане процене перформанси игара.

Иако се перформансе графичких картица увелико разликују у различитим играма, ова упоредна слика испод даје широк индекс оцена за неке графичке картице.

ТПУ вс. Цена ГПУ-а

Имају значајну разлику у цени. ТПУ-ови су пет пута скупљи од ГПУ-а. Ево неколико примера:

• Нвидиа Тесла П100 ГПУ кошта 1,46 долара по сату
• Гоогле ТПУ в3 кошта 8,00 долара по сату
• ТПУв2 са ГЦП приступом на захтев 4,50 УСД по сату

Ако је циљ оптимизација за цену, требало би да се одлучите за ТПУ само ако он тренира модел 5Кс бржи од ГПУ-а.

Која је разлика између ЦПУ-а и ГПУ вс. ТПУ?

Разлика између ТПУ-а, ГПУ-а и ЦПУ-а је у томе што је ЦПУ процесор неспецифичне намене који управља свим рачунарским прорачунима, логиком, улазом и излазом.

С друге стране, ГПУ је додатни процесор који се користи за побољшање графичког интерфејса (ГИ) и обављање врхунских активности. ТПУ су јаки, специјално направљени процесори који се користе за извршавање пројеката развијених коришћењем одређеног оквира, као што је ТенсорФлов.

Ми их категоришемо на следећи начин:

• Централна процесорска јединица (ЦПУ) – Контролишите све аспекте рачунара
• Јединица за графичку обраду (ГПУ) – Побољшајте графичке перформансе рачунара
• Тенсор Процессинг Унит (ТПУ) – АСИЦ експлицитно дизајниран за ТенсорФлов пројекте

Да ли Нвидиа производи ТПУ?

Многи људи су се питали како би НВИДИА реаговала на Гоогле-ов ТПУ, али сада имамо одговоре.

Уместо да буде забринута, НВИДИА је успешно депозиционирала ТПУ као алат који може да користи када има смисла, али и даље држи свој ЦУДА софтвер и ГПУ у предности.

Задржава контролну тачку за усвајање ИоТ машинског учења тако што чини технологију отвореним кодом. Међутим, опасност са овом методом је у томе што може пружити веродостојност концепту који би могао да постане изазов за дугорочне аспирације механизама за закључивање центара података за НВИДИА.

Да ли је бољи ГПУ или ТПУ?

У закључку, морамо рећи да иако развој алгоритама омогућава ефикасну употребу а ТПУ кошта мало више, смањени трошкови обуке генерално превазилазе додатно програмирање трошкови.

Други разлози за одабир ТПУ укључују чињеницу да в3-128 8 Г ВРАМ-а надмашује Нвидиа ГПУ-ови, чинећи в3-8 бољом алтернативом за обраду великих скупова података повезаних са НЛУ и НЛП.

Веће брзине такође могу довести до брже итерације током развојних циклуса, што доводи до бржих и чешћих иновација, повећавајући вероватноћу успеха на тржишту.

ТПУ надмашује ГПУ у погледу брзине иновације, лакоће употребе и приступачности; потрошачи и архитекте облака треба да узму у обзир ТПУ у својим иницијативама за МЛ и АИ.

ТПУ из Гоогле-а има доста капацитета за обраду, а корисник мора да координира унос података како би се уверио да нема преоптерећења.

Ево га, укупан ТПУ вс. Поређење ГПУ-а. Волели бисмо да сазнамо ваше мишљење и да видимо да ли сте урадили неке тестове и какве сте резултате добили на ТПУ и ГПУ.

Запамтите, можете уживати у импресивном искуству на рачунару користећи било који од ових најбоље графичке картице за Виндовс 11.