text-to-ner-to-image-to-video

מה זה

מזינים תיבת טקסט פשוטה באנגלית ומקבלים קובץ וידאו מוגמר. התהליך מתחיל בהקראת הטקסט המקורי באמצעות fastspeech2 של פייסבוק, ובמקביל זיהוי שמות עצם, תאריכים ומקומות באמצעות המודל של flair. לכל ישות שחולצה מהטקסט נוצרת תמונה בגודל 256 על 256 פיקסלים בעזרת latent diffusion, ואת כל הרצף הזה עורכים לסרטון עם האודיו המוקלט ברקע.

דוגמאות הממשק מבוססות על משפטים עמוסי שמות של אישים מפורסמים, מטבעות, מבנים ואירועים, כמו טיול בניו יורק או סיפור על דמות דמיונית. ככל שהטקסט מכיל יותר פרטים ספציפיים שהמודל יכול לשלוף, כך הווידאו מציג יותר תמונות ברצף.

מתאים ל

• ניסוי בשרשור מודלים

  בדיקה של אופן שילוב מודל זיהוי ישויות יחד עם מודל דיבור ותמונות.

• המחשת טקסט באנגלית

  יצירת מצגת תמונות עם קריינות אוטומטית מתוך סיפורים קצרים.

• למידת קוד לממשקי גרדיו

  קריאת הקוד שמחבר קריאות חיצוניות ועורך וידאו עם moviepy.

איפה זה נופל

המגבלה הכי גדולה כרגע היא שהאפליקציה נמצאת במצב שגיאת ריצה ולא באמת פועלת בעמוד. מעבר לכך, היא נשענת על מודל חיצוני של משתמש אחר ליצירת התמונות, ואם הוא כבוי הכל נשבר מיד. המודלים תומכים רק באנגלית ולא מבינים עברית, והתוצר אינו סרטון רציף ואמיתי אלא בסך הכל מצגת של תמונות קבועות ברזולוציה נמוכה לצד הקראה רובוטית.

איך משתמשים

מקלידים טקסט באנגלית או בוחרים באחת מארבע הדוגמאות המוכנות, ולוחצים על כפתור ההרצה כדי להתחיל בעיבוד. אין צורך בהתחברות או ברישום כדי לגשת לממשק, אבל זמן ההמתנה נמשך בין 10 ל־20 שניות לכל ישות שנמצאה בטקסט, כך שפסקה מרובת שמות דורשת המתנה של כמה דקות. המערכת מוגדרת על מעבד בסיסי בלבד ופועלת דרך חיבורים למרחבים חיצוניים, מה שמאיט את כל התהליך עוד יותר.

הרישיון

הקוד מפורסם תחת רישיון mit שמאפשר שימוש חופשי ושינוי מקומי ללא עלות. לגבי התוצרים עצמם, היוצר מציין שהם עשויים להיות שייכים לכם או לרשות הציבור בגלל אי הבהירות המשפטית לגבי יצירות מבוססות בינה מלאכותית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗