ai-clip-factory
רץ בדפדפןjbilcke-hfרישיון לא דווח2023-10-11
ממשק פשוט ליצירת סרטוני אנימציה קצרים מטקסט, שמיועד למי שרוצה לייצר קליפ מהיר בלי להסתבך עם הגדרות מורכבות.
- —הורדות בחודש
- 174לייקים
מה זה
אתם מקלידים תיאור טקסטואלי ומקבלים סרטון וידאו קצר מונפש. הממשק נבנה מתוך מטרה להנגיש את התהליך בצורה קלילה ופשוטה, כמעט כמו משחק ילדים, בלי להעמיס אפשרויות טכניות מיותרות על המסך.
מאחורי הקלעים רץ מודל Text-to-video בשם Hotshot-XL שמייצר את הפריימים הראשוניים, ולצדו פועל מודל ST-MFNet שאחראי על אינטרפולציה והחלקה של התנועה בין הפריימים. המפתח ציין שהמודלים עשויים להתחלף בהמשך בהתאם להתפתחויות בתחום, ושהמערכת תומכת בחיבור למנועי רינדור שונים דרך Replicate או Gradio.
מתאים ל
- יצירת גיפים ואנימציות
הפקת סרטוני אנימציה קצרים מטקסט פשוט לבדיקת רעיונות ויזואליים במהירות.
- החלקה ואינטרפולציה
שימוש ברכיב ST-MFNet כדי להוסיף פריימים ולעדן תנועה בקליפים מבוססי AI.
- בסיס לפיתוח ממשק וידאו
הרצה מקומית כשלד לפרויקט שמתחבר ל־API של Replicate או מנועי וידאו אחרים.
איפה זה נופל
הקוד נמצא בשלבי פיתוח פעילים וחלק ממנועי הרינדור הרשומים, כמו החיבור הישיר ל־Node או ה־API הרשמי, עדיין לא עובדים. בנוסף, המודל הבסיסי מייצר קליפים קצרים מאוד, ובעמוד עצמו ממליצים לפנות לאתר הרשמי של Hotshot אם מחפשים מהירות יצירה גבוהה יותר. המצב המושהה של העמוד מחייב אתכם להתעסק בהגדרות שרת משלכם במקום פשוט ללחוץ על כפתור.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה עכשיו בחינם?
העמוד בהאגינג פייס נמצא כרגע במצב מושהה ולא מייצר סרטונים אונליין. כדי להשתמש בה תצטרכו להפעיל אותה בעצמכם או להריץ אותה מקומית עם מפתח API משלכם.
האם אפשר להריץ את הכלי על המחשב?
כן, הפרויקט בנוי בתוך דוקר וכולל קובץ הגדרות מקומי. תצטרכו להגדיר משתני סביבה ולספק מפתח גישה לשירותים כמו Replicate כדי שהרינדור יעבוד.
כמה זמן לוקח לכל סרטון להיווצר?
החומרה שהוגדרה היא מעבד בסיסי, שהוא חלש מאוד ליצירת וידאו וייקח זמן רב. המפתח עצמו ממליץ לגשת לאתר של Hotshot כדי לקבל זמני יצירה מהירים יותר.
איך משתמשים
כרגע האפליקציה במצב מושהה בהאגינג פייס, כך שאי אפשר להריץ אותה ישירות בדפדפן בלי להפעיל אותה מחדש או לשכפל את הקוד. החומרה שמוגדרת לה היא מעבד בסיסי בלבד, מה שאומר שרינדור מקומי עליה יהיה איטי מאוד אם לא משתמשים בחיבור API חיצוני. כדי להריץ את הפרויקט עצמאית צריך להוריד את הקוד, ליצור קובץ הגדרות מקומי, לבחור מנוע רינדור נתמך ולהזין טוקן מתאים כמו זה של Replicate.
הרישיון
היוצר לא הגדיר רישיון שימוש בקוד. במצב כזה אין הרשאה ברורה לשימוש מסחרי או להפצה מחדש, ומומלץ לבדוק את תנאי השימוש של מודלי הבסיס Hotshot-XL ו־ST-MFNet לפני שמשתמשים בתוצרים.