מהי רשת נוירונים בבינה מלאכותית?

מהי רשת נוירונים בבינה מלאכותית?

רשתות נוירונים נשמעות מסתוריות עד שהן לא. אם אי פעם תהיתם מהי רשת נוירונים בבינה מלאכותית? והאם זו סתם מתמטיקה עם כובע מהודר, הגעתם למקום הנכון. נשמור על זה פרקטי, נצרף סטיות קטנות, וכן - כמה אימוג'ים. תעזבו בידיעה מהן המערכות האלה, למה הן עובדות, היכן הן נכשלות, ואיך לדבר עליהן בלי לנפנף ביד.

מאמרים שאולי תרצו לקרוא אחרי זה:

🔗 מהי הטיה של בינה מלאכותית
הבנת הטיה במערכות בינה מלאכותית ואסטרטגיות להבטחת הוגנות.

🔗 מהי בינה מלאכותית חזויה
כיצד בינה מלאכותית חיזוי משתמשת בדפוסים כדי לחזות תוצאות עתידיות.

🔗 מהו מאמן בינה מלאכותית
בחינת התפקיד והאחריות של אנשי מקצוע המאמנים בינה מלאכותית.

🔗 מהי ראייה ממוחשבת בבינה מלאכותית
כיצד בינה מלאכותית מפרשת ומנתחת נתונים חזותיים באמצעות ראייה ממוחשבת.

מהי רשת נוירונים בבינה מלאכותית? התשובה של 10 שניות ⏱️

רשת נוירונים היא ערימה של יחידות חישוב פשוטות הנקראות נוירונים, אשר מעבירות מספרים הלאה, מתאימות את עוצמת החיבור שלהן במהלך האימון, ולומדות בהדרגה דפוסים בנתונים. כששומעים למידה עמוקה , הכוונה בדרך כלל לרשת נוירונים עם שכבות רבות ומגוונות, הלומדות תכונות באופן אוטומטי במקום שתקודדו אותן ידנית. במילים אחרות: הרבה חלקי מתמטיקה זעירים, מסודרים בחוכמה, מאומנים על נתונים עד שהם שימושיים [1].

מה הופך רשת נוירונים לשימושית? ✅

  • כוח ייצוג : עם הארכיטקטורה והגודל הנכונים, רשתות יכולות לקרב פונקציות מורכבות ביותר (ראה משפט הקירוב האוניברסלי) [4].

  • למידה מקצה לקצה : במקום הנדסה ידנית של מאפיינים, המודל מגלה אותם [1].

  • הכללה : רשת מוסדרת היטב לא רק משננת - היא פועלת על נתונים חדשים, בלתי נראים [1].

  • גמישות : מערכי נתונים גדולים יותר בתוספת מודלים גדולים יותר משפרים לעיתים קרובות את התוצאות... עד למגבלות מעשיות כמו חישוב ואיכות נתונים [1].

  • יכולת העברה : מאפיינים שנלמדו במשימה אחת יכולים לסייע לאחרת (העברת למידה וכוונון עדין) [1].

הערת שטח קטנה (תרחיש לדוגמה): צוות סיווג מוצרים קטן מחליף תכונות שנבנו ידנית ברשת CNN קומפקטית, מוסיף תוספות פשוטות (היפוכים/חיתוכים), וצופה בשגיאות אימות נופלות - לא בגלל שהרשת "קסומה", אלא בגלל שהיא למדה תכונות שימושיות יותר ישירות מהפיקסלים.

"מהי רשת נוירונים בבינה מלאכותית?" בעברית פשוטה, עם מטאפורה מפוקפקת 🍞

דמיינו תור למאפייה. מצרכים נכנסים, עובדים מתאימים את המתכון, בודקי הטעם מתלוננים, והצוות מעדכן את המתכון שוב. ברשת, קלטים זורמים דרך שכבות, פונקציית ההפסד מדרגת את הפלט, ומעברי צבע מזיזים את המשקלים כדי שיהיו טובים יותר בפעם הבאה. לא מושלם כמטאפורה - לחם אינו ניתן להבדלה - אבל הוא נדבק [1].

האנטומיה של רשת נוירונים 🧩

  • נוירונים : מחשבונים זעירים המפעילים סכום משוקלל ופונקציית הפעלה.

  • משקלים והטיות : כפתורים מתכווננים המגדירים כיצד אותות משתלבים.

  • שכבות : שכבת הקלט מקבלת נתונים, שכבות נסתרות הופכות אותם, שכבת הפלט מבצעת את החיזוי.

  • פונקציות הפעלה : פיתולים לא ליניאריים כמו ReLU, sigmoid, tanh ו-softmax הופכים את הלמידה לגמישה.

  • פונקציית הפסד : ציון של עד כמה שגויה התחזית (אנטרופיה צולבת לסיווג, MSE לרגרסיה).

  • אופטימיזציה : אלגוריתמים כמו SGD או Adam משתמשים בגרדיאנטים כדי לעדכן משקלים.

  • רגולריזציה : טכניקות כמו נשירה או דהיית משקל כדי למנוע מהמודל להתאים יתר על המידה.

אם אתם רוצים את הטיפול הפורמלי (אך עדיין קריא), ספר הלימוד הפתוח Deep Learning מכסה את כל המרכיבים: יסודות מתמטיים, אופטימיזציה והכללה [1].

פונקציות הפעלה, בקצרה אך מועילות ⚡

  • ReLU : אפס לשליליים, ליניארי לחיוביים. פשוט, מהיר, יעיל.

  • סיגמואיד : דוחס ערכים בין 0 ל-1 - שימושי אך יכול להרוות.

  • טאנה : כמו סיגמואיד אך סימטרי סביב האפס.

  • Softmax : הופך ציונים גולמיים להסתברויות בין כיתות.

אינך צריך לשנן כל צורת עקומה - רק דע את הפשרות ואת ברירת המחדל הנפוצה [1, 2].

איך למידה באמת מתרחשת: תמיכה לאחור, אבל לא מפחיד 🔁

  1. מעבר קדימה : נתונים זורמים שכבה אחר שכבה כדי לייצר חיזוי.

  2. חישוב הפסד : השווה ניבוי לאמת.

  3. התפשטות לאחור : חישוב גרדיאנטים של ההפסד ביחס לכל משקל באמצעות כלל השרשרת.

  4. עדכון : האופטימיזציה משנה מעט את המשקלים.

  5. חזרה : תקופות רבות. המודל לומד בהדרגה.

לקבלת אינטואיציה מעשית עם ויזואליה והסברים צמודים לקוד, עיינו בהערות הקלאסיות של CS231n על backprop ואופטימיזציה [2].

המשפחות העיקריות של רשתות נוירונים, במבט חטוף 🏡

  • רשתות הזנה קדימה (MLPs) : הסוג הפשוט ביותר. הנתונים נעים רק קדימה.

  • רשתות נוירונים קונבולוציוניות (CNN) : מצוינות לתמונות הודות למסננים מרחביים המזהים קצוות, מרקמים וצורות [2].

  • רשתות נוירונים חוזרות (RNN) ווריאציות : בנויות עבור רצפים כמו טקסט או סדרות זמן על ידי שמירה על תחושת סדר [1].

  • טרנספורמטורים : השתמשו בתשומת לב כדי לדמות קשרים בין מיקומים ברצף בבת אחת; דומיננטיים בשפה ומעבר לה [3].

  • רשתות נוירונים גרפיות (GNNs) : פועלות על צמתים וקצוות של גרף - שימושי למולקולות, רשתות חברתיות, המלצה [1].

  • אוטו-אנקודרים ו-VAEs : למד ייצוגים דחוסים וצור וריאציות [1].

  • מודלים גנרטיביים : ממודלים גנרטיביים (GAN) ועד מודלים של דיפוזיה, המשמשים לתמונות, אודיו, ואפילו קוד [1].

ההערות של CS231n ידידותיות במיוחד ל-CNN, בעוד שהמאמר של Transformer הוא המקור העיקרי למודלים מבוססי קשב [2, 3].

טבלת השוואה: סוגי רשתות נוירונים נפוצות, למי הן מיועדות, שינויי עלות ומדוע הן עובדות 📊

כלי / סוג קהל מחיר-די למה זה עובד
משוב קדימה (MLP) מתחילים, אנליסטים נמוך-בינוני קווי בסיס פשוטים, גמישים וסבירים
סי-אן-אן צוותי חזון בֵּינוֹנִי דפוסים מקומיים + שיתוף פרמטרים
RNN / LSTM / GRU אנשים ברצף בֵּינוֹנִי זיכרון זמני בסגנון... לוכד סדר
שַׁנַאי NLP, רב-מודאלי בינוני-גבוה תשומת הלב מתמקדת בקשרים רלוונטיים
GNN מדענים, מערכות מידע בֵּינוֹנִי העברת מסרים בגרפים חושפת מבנה
מקודד אוטומטי / VAE חוקרים נמוך-בינוני לומד ייצוגים דחוסים
GAN / דיפוזיה מעבדות יצירתיות בינוני-גבוה קסם מניעת רעש עוין או איטרטיבי

הערות: התמחור הוא על פי חישוב וזמן; הקילומטראז' משתנה. טלפון נייד או שניים הם פטפטנים בכוונה.

"מהי רשת נוירונים בבינה מלאכותית?" לעומת אלגוריתמי למידת מכונה קלאסית ⚖️

  • הנדסת תכונות : למידת מכונה קלאסית מסתמכת לעתים קרובות על תכונות ידניות. רשתות נוירונים לומדות תכונות באופן אוטומטי - ניצחון גדול עבור נתונים מורכבים [1].

  • רעב לנתונים : רשתות נוטות לרוב לזהור עם יותר נתונים; נתונים קטנים עשויים להעדיף מודלים פשוטים יותר [1].

  • חישוב : רשתות אוהבות מאיצים כמו מעבדים גרפיים [1].

  • תקרת ביצועים : עבור נתונים לא מובנים (תמונות, אודיו, טקסט), רשתות עמוקות נוטות לשלוט [1, 2].

תהליך העבודה של ההדרכה שבאמת עובד בפועל 🛠️

  1. הגדירו את המטרה : סיווג, רגרסיה, דירוג, יצירה - בחרו הפסד תואם.

  2. עיבוד נתונים : פיצול ל-train/validation/test. נרמול מאפיינים. איזון מחלקות. עבור תמונות, שקלו הרחבה כמו היפוכים, חיתוכים, רעש קטן.

  3. בחירת ארכיטקטורה : התחלה פשוטה. הוספת קיבולת רק בעת הצורך.

  4. לולאת אימון : עיבוד נתונים באצווה. העברה קדימה. חישוב ההפסד. תמיכה אחורית. עדכון. רישום מדדים.

  5. רגולציה : נשירה, ירידה במשקל, הפסקה מוקדמת.

  6. הערכה : השתמשו בקבוצת האימות עבור היפר-פרמטרים. הציגו קבוצת בדיקה לבדיקה הסופית.

  7. שלחו בזהירות : ניטור סחיפה, בדיקת הטיה, תכנון החזרות למצב אחר.

עבור מדריכים מקיפים, מוכווני קוד עם תיאוריה מוצקה, ספר הלימוד הפתוח והערות CS231n הם עוגנים אמינים [1, 2].

התאמת יתר, הכללה ושאר גרמלינים 👀

  • התאמת יתר : המודל משנן מוזרויות אימון. תקן באמצעות נתונים נוספים, רגולריזציה חזקה יותר או ארכיטקטורות פשוטות יותר.

  • תת-התאמה : המודל פשוט מדי או האימון ביישן מדי. הגדל את הקיבולת או התאמן זמן רב יותר.

  • דליפת נתונים : מידע מקבוצת הבדיקות מתגנב לאימון. בדקו שוב את הפיצולים שלכם.

  • כיול לקוי : מודל שהוא בטוח אך שגוי הוא מסוכן. יש לשקול כיול או שקלול הפסדים שונה.

  • שינוי התפלגות : תנועות נתונים מהעולם האמיתי. ניטור והתאמת נתונים.

עבור התיאוריה העומדת מאחורי הכללה ורגולריזציה, הסתמכו על מקורות סטנדרטיים [1, 2].

בטיחות, יכולת פירוש ופריסה אחראית 🧭

רשתות נוירונים יכולות לקבל החלטות בעלות סיכון גבוה. לא מספיק שהן מציגות ביצועים טובים בטבלת המובילים. אתם זקוקים לשלבי ממשל, מדידה והפחתת סיכונים לאורך מחזור החיים. מסגרת ניהול הסיכונים של NIST לבינה מלאכותית מתארת ​​פונקציות מעשיות - GOVERN, MAP, MEASURE, MANAGE - כדי לעזור לצוותים לשלב ניהול סיכונים בתכנון ובפריסה [5].

כמה דחיפות מהירות:

  • בדיקות הטיה : הערכה על פני פרוסות דמוגרפיות היכן שמתאים וחוקי.

  • פרשנות : השתמשו בטכניקות כמו בולטות או ייחוס מאפיינים. הן לא מושלמות, אך שימושיות.

  • ניטור : הגדר התראות עבור ירידות פתאומיות במדדים או סחיפות נתונים.

  • פיקוח אנושי : יש לעדכן את בני האדם בנוגע להחלטות בעלות השפעה רבה. אין גבורה, רק היגיינה.

שאלות נפוצות שהיו לך בסתר 🙋

האם רשת נוירונים היא בעצם מוח?

בהשראת המוח, כן - אבל בפשטות. נוירונים ברשתות הם פונקציות מתמטיות; נוירונים ביולוגיים הם תאים חיים עם דינמיקה מורכבת. ויברציות דומות, פיזיקה שונה מאוד [1].

כמה שכבות אני צריך/ה?

התחילו בקטן. אם אתם מתאפסים פחות מדי, הוסיפו רוחב או עומק. אם אתם מתאפסים יתר על המידה, רגולרייזצו או הפחיתו את הקיבולת. אין מספר קסם; יש רק עקומות אימות וסבלנות [1].

האם אני תמיד צריך כרטיס מסך?

לא תמיד. מודלים קטנים על נתונים צנועים יכולים להתאמן על מעבדים, אבל עבור תמונות, מודלים של טקסט גדול או מערכי נתונים גדולים, מאיצים חוסכים המון זמן [1].

למה אנשים אומרים שתשומת לב היא דבר חזק?

מכיוון שקשב מאפשר למודלים להתמקד בחלקים הרלוונטיים ביותר של קלט מבלי לצעוד לפי הסדר המדויק. הוא לוכד קשרים גלובליים, וזה עניין גדול עבור משימות שפה ורב-מודאליות [3].

האם "מהי רשת נוירונים בבינה מלאכותית?" שונה מ"מהי למידה עמוקה"?

למידה עמוקה היא הגישה הרחבה יותר המשתמשת ברשתות נוירונים עמוקות. לכן, השאלה "מהי רשת נוירונים בבינה מלאכותית?" היא כמו לשאול על הדמות הראשית; למידה עמוקה היא כל הסרט [1].

טיפים פרקטיים, מעט דעתניים 💡

  • העדיפו קווי בסיס פשוטים . אפילו פרספטרון רב-שכבתי קטן יכול לומר לכם אם הנתונים ניתנים ללמידה.

  • מערכת הנתונים שלכם . אם אינכם יכולים להריץ אותה שוב, אינכם יכולים לסמוך עליה.

  • קצב הלמידה חשוב יותר ממה שאתם חושבים. נסו לוח זמנים. חימום יכול לעזור.

  • פשרות לגבי גודל הקבוצות . קבוצות גדולות יותר מייצבים גרדיאנטים אך עשויות להכליל בצורה שונה.

  • כאשר מבלבלים בין עקומות אובדן גרפיות ונורמות משקל , תופתעו לגלות באיזו תדירות התשובה נמצאת בגרף.

  • תעד הנחות. עתיד-אתה שוכח דברים - מהר [1, 2].

מעקף עמוק: תפקיד הנתונים, או מדוע זבל בפנים עדיין אומר זבל בחוץ 🗑️➡️✨

רשתות נוירונים אינן מתקנות נתונים פגומים באופן קסום. תוויות מוטות, טעויות ביאור או דגימה צרה - כל אלה יהדהדו במודל. אצור, בדוק והרחיב. ואם אינך בטוח אם אתה זקוק לנתונים נוספים או למודל טוב יותר, התשובה לרוב פשוטה באופן מעצבן: שניהם - אבל התחילו באיכות הנתונים [1].

"מהי רשת נוירונים בבינה מלאכותית?" - הגדרות קצרות שניתן לעשות בהן שימוש חוזר 🧾

  • רשת נוירונים היא קירוב פונקציות שכבתי שלומד דפוסים מורכבים על ידי התאמת משקלים באמצעות אותות גרדיאנט [1, 2].

  • זוהי מערכת שהופכת קלטים לפלט באמצעות שלבים לא ליניאריים עוקבים, שאומנו למזער הפסדים [1].

  • זוהי גישת מידול גמישה וצמאה לנתונים, שמשגשגת על קלט לא מובנה כמו תמונות, טקסט ואודיו [1, 2, 3].

ארוך מדי, לא קראתי והערות אחרונות 🎯

אם מישהו שואל אתכם מהי רשת נוירונים בבינה מלאכותית? הנה הקטע הקצר: רשת נוירונים היא ערימה של יחידות פשוטות שמשנה נתונים צעד אחר צעד, לומדות את הטרנספורמציה על ידי מזעור הפסד ועוקבות אחר גרדיאנטים. הן עוצמתיות משום שהן מתקדמות, לומדות תכונות באופן אוטומטי ויכולות לייצג פונקציות מורכבות מאוד [1, 4]. הן מסוכנות אם מתעלמים מאיכות הנתונים, ממשל או ניטור [5]. והן לא קסם. רק מתמטיקה, חישוב והנדסה טובה - עם קורטוב של טעם.

קריאה נוספת, נבחרה בקפידה (תוספות ללא ציטוטים)

הפניות

[1] גודפלו, א., בנג'יו, י., וקורוויל, א. למידה עמוקה . הוצאת MIT. גרסה מקוונת חינמית: קרא עוד

[2] סטנפורד CS231n. רשתות נוירונים קונבולוציוניות לזיהוי חזותי (הערות קורס): קרא עוד

[3] ואסוואני, א., שאזיר, נ., פרמר, נ., ואחרים (2017). תשומת לב היא כל מה שצריך . NeurIPS. arXiv: קרא עוד

[4] סיבינקו, ג'. (1989). קירוב באמצעות סופרפוזיציות של פונקציה סיגמואידלית . מתמטיקה של בקרה, אותות ומערכות , 2, 303–314. ספרינגר: קרא עוד

[5] NIST. מסגרת ניהול סיכונים של בינה מלאכותית (AI RMF) : קרא עוד

מצאו את הבינה המלאכותית העדכנית ביותר בחנות הרשמית של עוזרי בינה מלאכותית

אודותינו

חזרה לבלוג