לפתוח את הקופסה

פריצת דרך תאורטית בתחום ה-Deep Learning מגיעה מקבוצתו של פרופ’ מיכאל אלעד מהפקולטה למדעי המחשב

מימין לשמאל: יניב רומנו, ורדן פפיאן ופרופ’ מיכאל אלעד.

פריצת דרך תאורטית המוצגת בעבודה חדשה של חוקרים מהפקולטה למדעי המחשב עשויה לחולל שינוי משמעותי בתחום הלמידה העמוקה (Deep Learning). סדרת מאמרים שמפרסם צוות זה מציגה תיאוריה נרחבת המסבירה היבטים מרכזיים בפעילותן של רשתות נוירונים רבודות, שהן הפלטפורמה של הלמידה העמוקה. החוקרים הם פרופ’ מיכאל אלעד והדוקטורנטים ורדן פפיאן, יניב רומנו וג’רמיה סולם.

תחום הלמידה העמוקה, שפרח בשנות ה-80 אך קפא עקב משוכות תאורטיות ומעשיות מאתגרות, התעורר בעשור האחרון וכיום מעסיק חברות ענק ובהן גוגל, פייסבוק, מיקרוסופט, ליקנדאין, איי-בי-אם ומוביליאיי. עם זאת, לדברי פרופ’ אלעד, “בשעה שהמחקר הניסיוני דהר בריצת אמוק וקצר הישגים מפתיעים, הניתוח התאורטי השתרך מאחור ולא הצליח עד היום להדביק את ההתפתחות המהירה בתחום. כעת אני שמח לבשר שבידינו תוצאות משמעותיות מאוד בנושא זה.

“אפשר לומר שעד כה עבדנו עם קופסה שחורה וסתומה – רשתות הנוירונים. הקופסה הזו עבדה מצוין אבל איש לא הצליח להצביע על הסיבות ועל התנאים להצלחתה. בעבודתנו הצלחנו לפתוח את הקופסה, לנתח אותה, להסביר מבחינה תאורטית את מקורות הצלחתה ולהציע דרכים לשפר אותה.”

רשתות נוירונים רבודות

מיזוג של תמונות על ידי רשת נוירונים תוך שילוב בין תוכן (תמונת החוקרים המקורית) וסגנון (שנלקח מציור של ממתקים). לדברי פרופ‘ אלעד, ”הרשת מחפשת והוזה תוצאה שתהיה נאמנה לשני המקורות הללו“

רשתות נוירונים רבודות, שהן חלק מתחום רחב יותר הקרוי למידה עמוקה, הן גישה הנדסית המעניקה למחשב פוטנציאל למידה המקרב אותו לחשיבה האנושית. חברת הייעוץ דלויט (Deloitte) מדווחת כי תחום זה, הצומח בקצב מסחרר של 25% בשנה, צפוי לגלגל 43 מיליארד דולר בשנת 2024.

רשתות נוירונים רבודות הן מערכות המבצעות קיטלוג מהיר, יעיל ומדויק של נתונים. מערכות מלאכותיות אלה מזכירות במידת מה את המוח האנושי ובדומה לו מורכבות משכבות של נוירונים המחוברים ביניהם בסינפסות. המבנה ההיררכי של רשתות אלה מאפשר להן בין השאר לנתח מידע מורכב, ולזהות דפוסים במידע זה. גדולתן בכך שהן לומדות בעצמן מתוך דוגמאות, כלומר – אם נזין אותן במיליוני תמונות מתויגות של בני אדם, חתולים, כלבים ועצים, הן יוכלו לזהות בתמונות חדשות את הקטגוריות השונות (אדם, חתול, כלב, עץ), וזאת ברמות דיוק חסרות תקדים בהשוואה לגישות קודמות בלמידה חישובית.

בעשור האחרון התרחשו כאמור כמה פריצות דרך חשובות בתחום זה, ומערכות המבוססות על רשתות נוירונים רבודות הצליחו לקרוא (בדיוק של 99% ויותר) ספרות שנכתבו בכתב יד ולזהות רגשות כגון עצב, הומור וכעס בטקסט נתון. בנובמבר 2012 הציג מנהל המחקר הראשי במיקרוסופט, ריק ראשיד, את מערכת התרגום הסימולטני שפיתחה החברה על בסיס למידה עמוקה. בהרצאה שהתקיימה בסין דיבר ראשיד באנגלית, ודבריו עברו תהליך ממוחשב של תמלול-תרגום-קריאה, כך שהסטודנטים הסינים שמעו את ההרצאה בזמן אמת ובשפתם, כמעט ללא שגיאות.

גוגל לא ישבה בחיבוק ידיים, והמערכת שפיתחה (AlphaGo) הצליחה לנצח את אלוף העולם במשחק “גו”. גם פייסבוק הצעירה כבר עשתה צעדים משמעותים בתחום, ומנכ”ל החברה מארק צוקרברג הצהיר כי מטרתו היא לייצר מערכות ממוחשבות שיהיו טובות יותר מן האדם בראייה, בשמיעה, בשפה ובחשיבה.

לדברי פרופ’ אלעד, “איש כיום אינו מטיל ספק בכך שלמידה עמוקה היא מהפכה דרמטית בכל הקשור לעיבוד ולסיווג של כמויות מידע עצומות בדיוק גבוה. אבל למרבה הפלא, להתקדמות עצומה זו לא נלוותה הבנה תאורטית בסיסית המסבירה את מקור יעילותן של הרשתות האמורות. התאוריה, כמו במקרים רבים אחרים בתולדות הטכנולוגיה, פיגרה אחר המעשה.”

כאן נכנסת לתמונה קבוצתו של פרופ’ אלעד, המציגה הסבר תאורטי חדש לרשתות עמוקות. “פעמים רבות במדע אנו משתמשים במודלים מתמטיים כדי לסייע בהבנת המציאות. אם נחשוב על כך, כל התאוריה הפיזיקלית בנויה על פילוסופיה זו בבואה לתאר את העולם באמצעות אוסף כללים ומשוואות פשוטים. כך עשינו גם אנחנו: לקחנו תהליך מציאותי ידוע (רשת נוירונים רבודה המעכלת מידע) וניסחנו לו מודל מתמטי. מודל זה מתאר בדרך מתמטית את הרכבו של המידע המטופל – שכבות של צירופים דלילים של אבני יסוד (אטומים). הראינו שהמודל שלנו מוביל לרשתות הנוירונים המקובלות כאמצעי לפירוק המידע למרכיביו היסודיים. כך התאפשר לנו לבצע ניתוח ולקבל ניבוי מדויק של ביצועי הרשת. בניגוד לאנלוגיה לפיזיקה, אנחנו יכולים לא רק לנתח ולנבא את המציאות אלא גם לשפר את המערכות שאנחנו חוקרים, כיוון שהן בשליטתנו.”