TPU לעומת GPU: הבדלי ביצועים ומהירות בעולם האמיתי

במאמר זה, ניצור TPU לעומת. השוואה של GPU. אבל לפני שנעמיק בזה, הנה מה שאתה חייב לדעת.

למידת מכונה וטכנולוגיית AI האיצו את הצמיחה של אפליקציות חכמות. לשם כך, חברות מוליכים למחצה יוצרות ללא הרף מאיצים ומעבדים, כולל TPU ו-CPU, כדי להתמודד עם אפליקציות מורכבות יותר.

לחלק מהמשתמשים היו בעיות בהבנה מתי מומלץ להשתמש ב-TPU ומתי להשתמש ב-GPU למשימות המחשב שלהם.

GPU, הידוע גם כיחידת עיבוד גרפית, הוא כרטיס המסך של המחשב האישי שלך כדי להציע לך חוויית מחשב ויזואלית ומושכת. לדוגמה, תוכל לבצע שלבים פשוטים אם אתה המחשב אינו מזהה את ה-GPU.

כדי להבין טוב יותר את הנסיבות הללו, נצטרך גם להבהיר מהו TPU וכיצד הוא משתווה ל-GPU.

מה זה TPU?

TPUs או Tensor Processing Units הם מעגלים משולבים מיוחדים (ICs) עבור יישומים ספציפיים, הידועים גם כ-ASICs (מעגלים משולבים ספציפיים ליישום). גוגל יצרה TPUs מאפס, החלה להשתמש בהם ב-2015, ופתחה אותם לקהל ב-2018.

TPUs מוצעים כגרסאות שבבים מינוריות או ענן. כדי להאיץ למידת מכונה עבור רשת עצבית באמצעות תוכנת TensorFlow, TPUs בענן פותרים פעולות מטריקס וקטור מסובכות במהירויות מדהימות.

עם TensorFlow, צוות המוח של Google פיתח פלטפורמת למידת מכונה בקוד פתוח, חוקרים, מפתחים וארגונים יכולים לבנות ולהפעיל מודלים של AI באמצעות חומרת Cloud TPU.

בעת אימון מודלים מורכבים וחזקים של רשתות עצבים, TPUs מפחיתים את הזמן עד לערך הדיוק. המשמעות היא שמודלים של למידה עמוקה שאולי נדרשו שבועות לאימון באמצעות GPUs לוקחים פחות משבריר מהזמן הזה.

האם TPU זהה ל-GPU?

הם מאוד מובחנים מבחינה ארכיטקטונית. יחידת עיבוד גרפית היא מעבד כשלעצמו, אם כי כזה שמועבר לכיוון תכנות מספרי וקטורי. GPUs הם, למעשה, הדור הבא של מחשבי העל Cray.

TPUs הם מעבדים שותפים שאינם מבצעים הוראות בעצמם; הקוד מבוצע על מעבדים, מה שמזין את ה-TPU בזרימה של פעולות קטנות.

מתי עלי להשתמש ב-TPU?

TPUs בענן מותאמים ליישומים מסוימים. ייתכן שתעדיף לבצע את משימות למידת המכונה שלך באמצעות GPUs או CPUs במקרים מסוימים. באופן כללי, העקרונות הבאים עשויים לעזור לך להעריך אם TPU היא האפשרות הטובה ביותר עבור עומס העבודה שלך:

• חישובי מטריקס הם הדומיננטיים במודלים
• בתוך לולאת האימון הראשית של המודל, אין פעולות TensorFlow מותאמות אישית
• הם דוגמניות שעוברות שבועות או חודשים של אימונים
• הם דגמים מסיביים שיש להם גדלי אצווה נרחבים ויעילים.

עכשיו בואו נקפוץ לכמה TPU ישיר לעומת. השוואה של GPU.

מה ההבדלים בין GPU ל-TPU?

TPU לעומת ארכיטקטורת GPU

ה-TPU אינו חומרה מורכבת במיוחד ומרגיש כמו מנוע עיבוד אותות עבור יישומי מכ"ם ולא הארכיטקטורה המסורתית שמקורה ב-X86.

למרות חלוקות הכפל המטריצות רבות, מדובר בפחות מעבד גרפי ויותר מעבד משותף; הוא רק מבצע את הפקודות שהתקבלו על ידי מארח.

מכיוון שיש כל כך הרבה משקלים להזין לרכיב הכפל המטריצה, ה-DRAM של ה-TPU מופעל כיחידה אחת במקביל.

בנוסף, מכיוון ש-TPUs יכולים לבצע רק פעולות מטריצות, לוחות TPU מקושרים למערכות מארחות מבוססות מעבד כדי לבצע משימות שה-TPUs לא יכולים להתמודד.

המחשבים המארחים אחראים על אספקת נתונים ל-TPU, עיבוד מקדים והבאת פרטים מ-Cloud Storage.

מעבדי GPU דואגים יותר להחלת ליבות זמינות לעבודה מאשר גישה למטמון עם אחזור נמוך.

מחשבי PC רבים (Clusters Processor) עם מספר SMs (Streaming Multiprocessors) הופכים לגאדג'ט GPU יחיד, עם שכבות מטמון הוראות בשכבה אחת וליבות נלוות שנמצאות בכל SM.

לפני חילוץ נתונים מזיכרון GDDR-5 העולמי, SM אחד משתמש בדרך כלל בשכבה משותפת של שני מטמונים ושכבה ייעודית של מטמון אחד. ארכיטקטורת ה-GPU עמידה בהשהיית זיכרון.

GPU פועל עם מספר מינימלי של רמות זיכרון מטמון. עם זאת, מכיוון ש-GPU כולל יותר טרנזיסטורים המוקדשים לעיבוד, הוא פחות מודאג מהזמן שלו לגשת לנתונים בזיכרון.

עיכוב הגישה האפשרי לזיכרון מוסתר מכיוון שה-GPU עסוק בחישובים נאותים.

TPU לעומת מהירות GPU

דור ה-TPU המקורי הזה ממוקד מסקנות, המשתמשות במודל נלמד ולא במודל מאומן.

ה-TPU מהיר פי 15 עד 30 ממעבדי GPU ו-CPU הנוכחיים ביישומי AI מסחריים המשתמשים בהסקת רשת עצבית.

יתר על כן, ה-TPU חסכוני באנרגיה באופן משמעותי, עם עלייה של פי 30 עד פי 80 בערך TOPS/Watt.

מכאן ביצירת TPU לעומת. השוואת מהירות GPU, הסיכויים מוטים לכיוון יחידת העיבוד של Tensor.

TPU לעומת ביצועי GPU

TPU הוא מכונת עיבוד טנסור שנוצרה כדי להאיץ את חישובי גרפי Tensorflow.

בלוח בודד, כל TPU עשוי לספק עד 64 ג'יגה-בייט של זיכרון ברוחב פס גבוה ו-180 טרה-פלופים של ביצועי נקודה צפה.

השוואה בין Nvidia GPUs ו-TPUs מוצגת להלן. ציר ה-Y מציג את מספר התמונות בשנייה, בעוד שציר ה-X מייצג את הדגמים השונים.

TPU לעומת למידת מכונה של GPU

להלן זמני האימון עבור מעבדים ו-GPUs המשתמשים בגדלי אצווה ואיטרציות שונות לכל תקופה:

• איטרציות/תקופה: 100, גודל אצווה: 1000, סה"כ תקופות: 25, פרמטרים: 1.84 M, וסוג דגם: Keras Mobilenet V1 (אלפא 0.75).

מֵאִיץ	GPU (NVIDIA K80)	TPU
דיוק אימון (%)	96.5	94.1
דיוק אימות (%)	65.1	68.6
זמן לכל איטרציה (מילישניות)	69	173
זמן לכל תקופה	69	173
זמן כולל (דקות)	30	72

• איטרציות/תקופה: 1000, גודל אצווה: 100, סה"כ תקופות: 25, פרמטרים: 1.84 M, וסוג דגם: Keras Mobilenet V1 (אלפא 0.75)

מֵאִיץ	GPU (NVIDIA K80)	TPU
דיוק אימון (%)	97.4	96.9
דיוק אימות (%)	45.2	45.3
זמן לכל איטרציה (מילישניות)	185	252
זמן לכל תקופה	18	25
זמן כולל (דקות)	16	21

עם גודל אצווה קטן יותר, ל-TPU לוקח הרבה יותר זמן להתאמן, כפי שניתן לראות מזמן האימון. עם זאת, ביצועי TPU קרובים יותר ל-GPU עם גודל אצווה מוגדל.

מכאן ביצירת TPU לעומת. השוואת אימון GPU, הרבה קשור לתקופות ולגודל אצווה.

TPU לעומת רף GPU

עם 0.5 וואט/TOPS, Edge TPU יחיד יכול לבצע ארבע טריליון פעולות לשנייה. מספר משתנים משפיעים עד כמה זה מתורגם לביצועי האפליקציה.

לדגמי רשתות עצביות יש דרישות ברורות, והפלט הכולל משתנה בהתאם למהירות ה-USB המארח, המעבד ומשאבי המערכת האחרים של התקן מאיץ ה-USB.

עם זאת בחשבון, הגרפיקה למטה מנוגדת את הזמן המושקע בהסקת מסקנות בודדות על Edge TPU עם דגמים סטנדרטיים שונים. כמובן, כל הדגמים הפועלים הם גרסאות TensorFlow Lite לשם השוואה.

שים לב שהנתונים המפורטים למעלה מראים את הזמן שלוקח להפעיל את המודל. עם זאת, זה לא כולל את הזמן שלוקח לעבד את נתוני הקלט, המשתנה לפי יישום ומערכת.

התוצאות של מדדי GPU מושוות להגדרות איכות המשחק והרזולוציה הרצויה של המשתמש.

בהתבסס על הערכת למעלה מ-70,000 מבחני אמת מידה, אלגוריתמים מתוחכמים נבנו בקפידה כדי ליצור 90 אחוזים אמינים של ביצועי המשחקים.

למרות שהביצועים של כרטיסים גרפיים משתנים מאוד בין משחקים, תמונת השוואה זו למטה נותנת אינדקס דירוג רחב עבור חלק מהכרטיסים הגרפיים.

TPU לעומת מחיר GPU

יש להם הבדל מחירים משמעותי. TPUs יקרים פי חמישה מ-GPUs. הנה כמה דוגמאות:

• Nvidia Tesla P100 GPU עולה $1.46 לשעה
• Google TPU v3 עולה $8.00 לשעה
• TPUv2 עם גישה ל-GCP לפי דרישה $4.50 לשעה

אם המטרה היא אופטימיזציה לעלות, כדאי ללכת על TPU רק אם הוא מאמן דגם פי 5 מהמהירות של GPU.

מה ההבדל בין CPU לעומת. GPU לעומת TPU?

ההבחנה בין TPU, GPU ו-CPU היא שה-CPU הוא מעבד לא ספציפי שמטפל בכל החישובים, הלוגיקה, הקלט והפלט של המחשב.

מצד שני, GPU הוא מעבד נוסף המשמש לשיפור הממשק הגרפי (GI) ולביצוע פעילויות ברמה גבוהה. TPUs הם מעבדים חזקים שנעשו במיוחד המשמשים לביצוע פרויקטים שפותחו באמצעות מסגרת מסוימת, כגון TensorFlow.

אנו מחלקים אותם באופן הבא:

• יחידת עיבוד מרכזית (CPU) - שליטה בכל ההיבטים של המחשב
• יחידת עיבוד גרפי (GPU) - שפר את הביצועים הגרפיים של המחשב
• Tensor Processing Unit (TPU) - ASIC תוכנן במפורש עבור פרויקטים של TensorFlow

האם Nvidia מייצרת TPU?

אנשים רבים תהו כיצד NVIDIA תגיב ל-TPU של גוגל, אך כעת יש לנו תשובות.

במקום להיות מודאגים, NVIDIA מיקמה בהצלחה את ה-TPU ככלי שהיא יכולה להשתמש בה כאשר זה הגיוני אך עדיין שומרת על תוכנת ה-CUDA ומעבדי ה-GPU שלה בראש.

זה שומר על נקודת בקרה לאימוץ למידת מכונה של IoT על ידי הפיכת הטכנולוגיה לקוד פתוח. עם זאת, הסכנה בשיטה זו היא שהיא עשויה לספק אמון לקונספט שעלול להפוך לאתגר לשאיפות ארוכות הטווח של מנועי הסקת מידע במרכזי נתונים עבור NVIDIA.

האם GPU או TPU טובים יותר?

לסיכום, עלינו לומר כי למרות פיתוח האלגוריתמים כדי לאפשר שימוש יעיל ב-a TPU עולה קצת יותר, עלויות האימון המופחתות בדרך כלל גוברים על התכנות הנוסף הוצאות.

סיבות אחרות לבחור TPU כוללות את העובדה שה-G של VRAM של v3-128 8 עולה על זה של GPUs של Nvidia, מה שהופך את v3-8 לחלופה טובה יותר לעיבוד מערכי נתונים גדולים הקשורים ל-NLU ו-NLP.

מהירויות גבוהות יותר עשויות גם להוביל לאיטרציה מהירה יותר במהלך מחזורי הפיתוח, מה שמוביל לחדשנות מהירה יותר ותכופה יותר, מה שמגדיל את הסבירות להצלחה בשוק.

ה-TPU עולה על ה-GPU במונחים של מהירות חדשנות, קלות שימוש ומחיר סביר; צרכנים ואדריכלי ענן צריכים לשקול את ה-TPU ביוזמות ה-ML וה-AI שלהם.

ל-TPU מגוגל יש הרבה יכולת עיבוד, והמשתמש חייב לתאם את קלט הנתונים כדי לוודא שאין עומס יתר.

הנה, סך הכל TPU לעומת. השוואה של GPU. נשמח לדעת מה דעתך ולראות אם עשית בדיקות כלשהן ומה התוצאות שקיבלת על TPU ו-GPU.

זכור, אתה יכול ליהנות מחוויית מחשב סוחפת באמצעות כל אחד מהמכשירים כרטיסי המסך הטובים ביותר עבור Windows 11.