pyramid-flow
רץ בדפדפןPyramid-Flowרישיון לא דווח2024-10-10
הדגמת דפדפן שמייצרת סרטוני וידאו קצרים מטקסט או מתמונה. מתאימה למי שרוצה לבדוק יכולות של מודל קוד פתוח חדש בלי להגדיר שרת משלו.
- —הורדות בחודש
- 670לייקים
מה זה
אתם מזינים תיאור טקסטואלי באנגלית, ואם רוצים גם מעלים תמונת מקור. הממשק מריץ את התהליך ומחזיר קובץ וידאו להורדה או צפייה.
מאחורי הקלעים רץ המודל rain1011/pyramid-flow-sd3 בגרסת הטרנספורמר ל־768p עם דיוק bf16, יחד עם ה־VAE של SDXL. השיטה מבוססת על שילוב של Flow Matching ויצירה אוטורגרסיבית, שמתחילה ברזולוציה נמוכה ובונה את הפרטים בהדרגה כדי לחסוך משאבי חישוב.
בהגדרות המתקדמות תמצאו סליידרים למשך הסרטון, קצב הפריימים, ומדדי הנחיה (Guidance) שקובעים כמה התוצאה תיצמד לפרומפט וכמה תנועה תהיה בפריים.
מתאים ל
- הנפשת תמונות סטילס
מעלים תמונה ופרומפט תנועה כדי להפוך תמונה קיימת לקטע וידאו קצר.
- בדיקת פרומפטים לווידאו
מזינים תיאור באנגלית ובוחנים איך המודל מפרש סצנות ותנועות לפני שמריצים מקומית.
- הערכת ביצועי קוד פתוח
משווים את איכות התנועה מול פתרונות מסחריים לפי פרמטרים שונים של הנחיה.
איפה זה נופל
בגלל שההדגמה נשענת על משקלי אתחול של SD3, היוצרים עצמם מודים שיש בעיות במבנה הגוף והאנטומיה של בני אדם. בנוסף, הממשק ברשת מגביל את משך הסרטון למספר שניות בודדות כדי לא לחנוק את השרת, למרות שהמודל המלא תומך בעד עשר שניות ב־24 פריימים לשנייה.
שאלות
נפוצות
האם השימוש בהדגמה עולה כסף?
לא. ההרצה בדפדפן זמינה ללא תשלום על גבי תשתית Spaces.
כמה זמן לוקח לייצר סרטון?
הפעולה רצה על מאיץ A10G יחיד. בהתאם לעומס ומשך הסרטון המבוקש, התהליך נמשך לרוב בין דקה למספר דקות.
במה הדמו שונה מהרצת המודל לבד?
כאן יש הגבלות על אורך הסרטון והגדרות החומרה כדי לא להעמיס על השרת המשותף. בהרצה מקומית על שרת פרטי אפשר לייצר עד עשר שניות ברזולוציית 768p מלאה וב־24 פריימים לשנייה.
האם אפשר לכתוב פרומפטים בעברית?
המודל מאומן על דאטהסטים פתוחים באנגלית. כתיבה בעברית תוביל לתוצאות שגויות או להתעלמות מההנחיות.
איך משתמשים
לוחצים על כפתור Generate וממתינים. החומרה שמריצה את הממשק היא מעבד גרפי מסוג A10G שמוקצה דינמית דרך ZeroGPU. יצירת וידאו דורשת כוח חישוב כבד, כך שגם קליפ קצר ייקח בדרך כלל כמה דקות טובות, ויש לקחת בחשבון זמני המתנה אם יש משתמשים נוספים בתור.
הרישיון
הרישיון של המרחב לא דווח. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד ההדגמה או בתוצרים ישירות מכאן, וצריך לבדוק את תנאי המאגרים המקוריים בגיטהאב לפני שימוש עסקי.