Story_and_Video_Generation

מה זה

הרעיון פה פשוט ומשלב שלושה שלבים עוקבים. אתם בוחרים ז'אנר מתוך רשימה סגורה כמו מדע בדיוני, דרמה, אימה או גיבורי על, ומקלידים שורת פתיחה קצרה בטקסט חופשי. בשלב הראשון המודל pranavpsv/gpt2-genre-story-generator מייצר טקסט המשך לפי הז'אנר. הטקסט הזה ניתן לעריכה ידנית מיד לאחר מכן.

בשלב הבא הקוד פונה לממשק חיצוני של Latent Diffusion כדי לייצר גלריית תמונות שמבוססת על העלילה. לאחר שהתמונות מוכנות, מפעילים את המודל השלישי, frame-interpolation-film-style של גוגל, שמבצע אינטרפולציה ומחבר את הפריימים לקובץ וידאו קצר שמציג מעבר חלק ביניהם.

מתאים ל

• המחשת שרשור מודלים

  בדיקת האופן שבו טקסט מייצר תמונה שהופכת לווידאו בקוד פתוח.

• יצירת קליפ קצר

  הפקת סרטון קצרצר מרצף תמונות על בסיס רעיון טקסטואלי ראשוני.

• הרצה מקומית ולמידה

  שימוש בקוד כשלד לבניית צינור עיבוד עצמאי עם מודלים חדשים יותר.

איפה זה נופל

החיסרון הברור ביותר הוא שהיישום פשוט לא עובד כרגע ונמצא בשגיאה. בנוסף, הממשק דורש מעבר ידני בין כפתורים ולא מבצע שרשור אוטומטי. מודל הסיפורים מבוסס על GPT-2 מיושן יחסית באנגלית, כך שאין כאן תמיכה בעברית או עלילות מורכבות, והמעברים בווידאו נשענים על חיבור בין פריימים בודדים ולא על מודל וידאו אמיתי.

איך משתמשים

בפועל אתם לוחצים על שלושה כפתורים בזה אחר זה, כי כל שלב נשען על הפלט של הקודם. קודם מייצרים סיפור, אחר כך תמונות, ולבסוף לוחצים על הפקת הווידאו. כרגע הדף במצב שגיאת בנייה ולכן אי אפשר להריץ אותו באתר. מעבר לכך, מוגדרת לו חומרת מעבד בסיסית, כך שגם אם השרת היה עולה, תהליך של יצירת תמונות ואינטרפולציית וידאו היה לוקח דקות ארוכות מאוד בלי מאיץ גרפי.

הרישיון

הקוד מפורסם תחת רישיון MIT, מה שמאפשר שימוש חופשי, שינוי והרצה מקומית. לגבי התוכן שנוצר, הזכויות תלויות ברישיונות של כל מודל בשרשרת, כולל GPT-2 ו־Latent Diffusion.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗