Phenaki – Google Research

הסקירה

מזינים שורת טקסט באנגלית, מקבלים סרטון, וכשמוסיפים עוד שורה מקבלים המשך ישיר של אותה סצנה. זה הרעיון הבסיסי של Phenaki מבית Google Research. המודל מייצר וידאו מתוך רצף של פקודות טקסט שמשתנות לאורך זמן, כמו תסריט קצר שמתקדם שלב אחרי שלב. בניגוד לכלים שפולטים קליפ בודד של כמה שניות ועוצרים, כאן אפשר לחבר פקודות ברצף וליצור נרטיב שלם. ראינו שם הדגמות של סרטונים באורך 2 דקות וגם סרטון שמגיע ל־2:28 דקות רצופות.

התוצאה הבסיסית לא חדה במיוחד. הרזולוציה המקורית שבה המודל מייצר את הפריימים עומדת על 128x128 פיקסלים בלבד. כדי להפוך את הווידאו הזה למשהו שנעים לצפות בו, החוקרים חיברו את הפלט אל Imagen Video. המערכת הזו מבצעת הגדלה שנקראת super resolution, תוך שהיא משלבת שוב את הטקסט המקורי כדי לשמור על החדות וההקשר. בלי שלב ההגדלה הזה, הווידאו נראה מפוקסל ומטושטש למדי.

איך המנוע עובד בפועל

המבנה הפנימי מבוסס על שני חלקים נפרדים. בחלק הראשון פועל encoder decoder שמכווץ את הווידאו לטוקנים בדידים, כשהוא משתמש במנגנון causal attention בציר הזמן כדי להתמודד עם אורכים משתנים של סרטונים. בחלק השני פועל bi directional masked transformer שמקבל את הטקסט, מתרגם אותו לאותם טוקנים של וידאו, ואז פורס אותם חזרה לקובץ חזותי. האימון של המודל נעשה בשילוב של מאגר תמונות וטקסט גדול מאוד יחד עם כמות קטנה יותר של דוגמאות וידאו וטקסט.

ההבדל המשמעותי לעומת כלים קיימים הוא היכולת לביים רצף הגיוני. אפשר לתאר אסטרונאוט שהולך על מאדים, אחר כך רוקד, מטייל עם כלב ובסוף צופה בזיקוקים. התנועה ממשיכה בין הפקודות והדמויות לא מתחלפות בכל פריים מחדש. Phenaki יודע לייצר סרטונים ארוכים ועקביים מתוך שרשרת פקודות טקסטואליות, אבל הוא נשאר פרויקט מחקר סגור שאי אפשר להפעיל בעצמכם. זה ההבדל בין מאמר מרשים למוצר עבודה אמיתי.

הטכנולוגיה מרשימה, אבל הגישה אליה לא קיימת.

זמינות, מחיר והמציאות בשטח

אין כאן כפתור הרשמה, אין תוכנית מנויים ואין שום מחיר נקוב. האתר מציג עבודת מחקר בלבד, עם קישור למאמר האקדמי שפורסם, בלי גרסת הדגמה שפתוחה לקהל הרחב. לא תמצאו שם ממשק אינטרנטי, חשבון ניסיון או API שאתם יכולים לשלב באפליקציה שלכם. מי שמחפש כלי פרודוקטיביות שאפשר להתחיל להפיק בעזרתו סרטונים לשיווק או להדרכות כבר היום בבוקר, יבזבז כאן את הזמן.

מה שבאמת מפריע כאן הוא המרחק בין הדגמה יפה לשימוש פרקטי. המודל אולי מנצח מודלים אחרים באיכות המרחבית והזמנית של הפריימים, אבל אין לכם דרך להריץ עליו אפילו שורת פקודה אחת. בנוסף, כל הדוגמאות באתר נכתבו באנגלית בלבד. אין שום תיעוד או אזכור לתמיכה בשפות אחרות, כך שאם אתם בונים על פרומפטים בעברית, המצב כרגע פשוט לא ידוע ולא נבדק.

זה לא מוצר מדף.

לא הייתי משתמש בזה לשום צורך עסקי כרגע, פשוט כי אי אפשר לגעת בקוד או במערכת. הכלי הזה שווה בדיקה רק עבור חוקרי בינה מלאכותית או מהנדסים שרוצים לקרוא את המאמר המדעי ולהבין איך גוגל פתרו את בעיית הזיכרון בעבודה עם וידאו ארוך. כל השאר יצטרכו לחכות עד שגוגל יחליטו להטמיע את היכולות האלה במוצר צריכה אמיתי.

• מחיר רשמילא צוין באתר
• גישה לכלידף מחקר בלבד
• רזולוציית בסיס128 על 128 פיקסלים