להזיז עכבר, ליצור סרטון: טכנולוגיה חדשה מהטכניון
טכנולוגיה שפותחה בטכניון מספקת למשתמשים מן השורה כלים ליצירת סרטוני וידאו ריאליסטיים בדרך אינטואיטיבית וללא צורך במשאבי חישוב עצומים
טכנולוגיה חלוצית שפותחה בטכניון מספקת למשתמשים מן השורה כלים ליצירת סרטוני וידאו ריאליסטיים בדרך אינטואיטיבית וללא צורך במשאבי חישוב עצומים. טכנולוגיה זו, הקרויה Time‑to‑Move (TTM), מאפשרת שליטה חסרת תקדים בתנועתם של אובייקטים ודמויות בסרטוני וידאו מלאכותיים, וזאת באמצעות הזזת עכבר וללא צורך בתשתיות מורכבות ויקרות ובאימון על מיליוני סרטונים.
ד”ר אור ליטני מהפקולטה למדעי המחשב ע”ש הנרי ומרילין טאוב, שהוביל את המחקר עם עמיתיו לפקולטה פרופ’ רון קימל והסטודנטים אסף זינגר, נועם רוטשטיין ואמיר מן, הציג אותו בכנס ICLR 2026 שהתקיים בברזיל בחודש שעבר. זהו אחד הכנסים המובילים בלמידה עמוקה וב-AI.
“הפיתוח שלנו,” מסביר ד”ר ליטני, “פותר את אחת המגבלות העיקריות של יצירת וידאו באמצעות AI: קושי לשלוט באופן מדויק בתנועתם של אובייקטים ודמויות לאורך זמן. טכנולוגיית TTM אינה מצריכה אימון-מחדש של המערכת והיא משתלבת כ’תוסף’ במודלי וידאו קיימים. בניגוד לגישות קודמות, המצריכות התאמה ייעודית לכל מודל ושימוש במשאבי חישוב משמעותיים, טכנולוגיה זו פועלת ללא עלות חישובית נוספת, ובכך היא תורמת לדמוקרטיזציה של יצירת וידאו ב-AI, כלומר להרחבתן של האפשרויות הניתנות למשתמשים שאינם חברות ענק כמו גוגל ומטא.”
החידוש המרכזי בטכנולוגיה החדשה הוא dual clock denoising – שיפור של התנועה באופן קל ויעיל במיוחד, שמאזן בין הנאמנות לכוונת המשתמש לבין תנועה טבעית וריאליסטית. הניסויים שערך ד”ר ליטני ב- TTM מציגים ביצועים שאינם נופלים משיטות המצריכות אימון, ואף עולים על חלקן בהיבטים של ריאליזם ותנועה מדויקת. מעבר לכך, הטכנולוגיה פותחת יכולות חדשות שלא היו אפשריות גם במודלים מאומנים — בהן עריכת המראה של אובייקטים והוספת אובייקטים חדשים לסצנה במהלך הווידאו. זהו צעד משמעותי לקראת כלים אינטואיטיביים, יצירתיים ונשלטים לווידאו גנרטיבי.
ד״ר אור ליטני הצטרף לסגל הפקולטה למדעי המחשב ע”ש טאוב בטכניון כמרצה בכיר בשנת 2023, לאחר שנבחר ל‑Azrieli Faculty Fellow ול‑Taub Fellow — שני תוארים יוקרתיים המוענקים לחוקרים מצטיינים בראשית דרכם. הוא הגיע לטכניון עם רקורד מחקרי ותעשייתי: שני פוסט‑דוקטורטים במרכזי AI מובילים (סטנפורד ו‑FAIR של חברת META), פרסים חשובים, ופיתוחים שמהווים אבני יסוד בתחום הראייה הממוחשבת.
דוגמה לסרטון שהופק בטכנולוגיה קיימת (משמאל) לעומת הטכנולוגיה שפותחה בטכניון
למאמר המלא לחצו כאן
