TransPixar — הדגמה
קוד פתוחwileewangapache-2.02024-12-30
היישום מייצר סרטוני וידאו עם ערוץ שקיפות מתוך תיאור טקסטואלי, ומיועד למי שצריך אנימציות מבודדות להרכבה על רקעים שונים. הוא מבוסס על מחקר חדש ומייצא קובץ צבע לצד שכבת מסכה נפרדת.
- 252 MBמשקל הקבצים
- —הורדות בחודש
- 249לייקים
מה זה
הרעיון כאן הוא לייצר וידאו שאינו מוגבל לרקע אטום. במקום סרטון רגיל שמחייב חיתוך ידני, מקלידים הנחיית טקסט של עד מאתיים מילים, והמערכת יוצרת שני פלטים נפרדים ברזולוציה של 720 על 480: סרטון צבע רגיל וסרטון אלפא שמציג את מפת השקיפות בשחור ולבן. אפשר לקבוע סיד מספרי כדי לנסות לשחזר תוצאות דומות בהרצות עוקבות.
מאחורי הקלעים הקוד טוען את מודל הווידאו CogVideoX בחמישה מיליארד פרמטרים ומשלב לתוכו משקולות LoRA ייעודיות בשם cogvideox_rgba_lora.safetensors. בנוסף מקושרים לפרויקט מודלים כמו PixArt-alpha וגרסאות נוספות של CogVideoX. בקוד המקור קיימות הכנות לדוגמאות מוכנות של סוס, חתלתול או רכבת, לצד תמונות רקע של חוף ורחוב, אך הן מופיעות כהערות מושבתות ולא מוצגות ישירות בממשק.
מתאים ל
- יצירת אלמנטים מונפשים
הפקת דמויות או אובייקטים בודדים על רקע שקוף לצורך שילוב בעריכות וידאו קיימות.
- בדיקת מחקר לסרטוני אלפא
בחינה מעשית של שיטת הצימוד בין מודל טקסט לווידאו לשכבת שקיפות לפי מאמר המחקר.
- שילוב אפקטים במשחקים
ייצור סרטוני לופ מבודדים עבור מנועי משחקים שדורשים ערוץ שקיפות מוגדר מראש.
איפה זה נופל
הבעיה המרכזית היא שההדגמה שבורה ולא פעילה כרגע בגלל שגיאת ריצה. מעבר לזה, האפליקציה מייצרת רק וידאו קצר ברזולוציה נמוכה למדי של 720 על 480, כך שזה לא מתאים לעבודה באיכות גבוהה בלי שדרוג רזולוציה חיצוני.
בנוסף, הטקסט מוגבל לעד מאתיים מילים ואין כאן כלי מובנה שמאחד את שני הקבצים לפורמט שקוף מודרני בלחיצה אחת. מקבלים שני קבצים נפרדים, מה שמחייב לחבר ביניהם ידנית בתוכנת עריכה. אין גם אפשרות להעלות וידאו קיים משלכם כדי לחלץ ממנו רקע, אלא רק לייצר משהו חדש לגמרי מטקסט.
שאלות
נפוצות
האם השימוש באפליקציה כרוך בתשלום?
הגישה למרחב פתוחה בדפדפן ללא תשלום ואינה דורשת הרשמה או חיבור לחשבון. עם זאת, נכון לעכשיו המרחב מושבת בגלל שגיאת מערכת ולא ניתן להפיק בו סרטונים בפועל.
כמה זמן לוקח לייצר סרטון?
במצב הנוכחי שום דבר לא רץ כי המרחב תקוע בשגיאה. באופן כללי, הרצה של מודל וידאו כזה על חומרת מעבד בסיסית ללא כרטיס מסך חזק אינה מעשית ותיקח זמן ממושך מאוד.
האם אפשר להריץ את הכלי על המחשב?
כן, הקוד פתוח ומשתמש בספריות מוכרות כמו diffusers ומשקולות מודל ממאגר Hugging Face. כדי להריץ מקומית תצטרכו מחשב עם מעבד גרפי חזק, התקנת סביבת פייתון מתאימה והורדת קובצי המשקולות.
מה קורה לקבצים ולטקסט שמזינים?
ההזנה כוללת רק תיאור טקסטואלי ומספר סיד, ללא העלאת קבצים אישיים מצד המשתמש. הפלטים שנוצרים נשמרים זמנית על השרת לצורך הורדה ישירה בלבד.
איך מריצים
השימוש אמור להיות ישיר למדי. נכנסים לממשק, כותבים תיאור מפורט בתיבת הטקסט, מגדירים מספר סיד אם רוצים עקביות, ולוחצים על כפתור ההפקה. בזמן העבודה מופיע מד התקדמות, ובסיום מוצגים שני הנגנים לצד כפתורי הורדה ייעודיים לקובץ הצבע ולקובץ האלפא.
בפועל כרגע אי אפשר להריץ את זה בדפדפן. המרחב נמצא במצב של שגיאת ריצה ומוגדר על חומרת מעבד בסיסית בלבד. מודלים כבדים כאלה דורשים מעבד גרפי חזק מאוד, כך שגם אם העמוד היה עולה, משימת יצירת וידאו על מעבד רגיל הייתה לוקחת זמן לא סביר או נתקעת לחלוטין מחוסר זיכרון.
pip install -U huggingface_hub hf download wileewang/TransPixar
הקבצים
3 קבצים במאגר, 252 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון של המרחב לא דווח כלל. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בפלטים, והמעמד המשפטי של התוצרים נשאר לא מוגדר עד שהיוצר יפרסם תנאים רשמיים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים