Helios-14B-RealTime-AOTI

מה זה

אתם בוחרים מצב עבודה, מזינים תיאור טקסטואלי, ויכולים להוסיף קובץ תמונה או סרטון לפי הצורך. הפלט הוא קובץ וידאו מרונדר לצד תיבת מידע על הריצה. בהגדרות המתקדמות אפשר לקבוע את כמות הפריימים בכפולות של שלושת, את כמות צעדי הדגימה וערך סיד לשחזור תוצאות.

מאחורי הקלעים רץ המודל המזוקק Helios-Distilled בגודל 14 מיליארד פרמטרים, יחד עם HeliosDMDScheduler ו־HeliosPyramidPipeline מתוך ספריית diffusers בפורמט bfloat16. המודל עובד בצורה אוטורגרסיבית בחלוקה למקטעים של 33 פריימים, ומיישם חיזוי x0 שנועד לקצר משמעותית את זמן ההסקה ביחס למודל הבסיס.

מתאים ל

• הנפשת תמונות סטילס

  העלאת תמונה קיימת והוספת תיאור תנועה קצר כדי לקבל קליפ מונפש תוך שניות.

• בדיקת פרומפטים לווידאו

  ניסוי מהיר של תיאורים טקסטואליים לבדיקת תנועה ודיוק לפני הרצה כבדה על שרת פרטי.

• שינוי סגנון לווידאו קיים

  הזנת סרטון קיים וטקסט כדי לנסות עיבוד מחודש של התנועה.

איפה זה נופל

הרזולוציה נעולה בממשק על 384 על 640 פיקסלים בלי אפשרות לשינוי. אורך הסרטון מוגבל בסליידר לעד 231 פריימים בלבד, שזה פחות מעשר שניות, למרות שהתיעוד מבטיח תמיכה בסרטונים ארוכים בהרבה. המפתחים עצמם מציינים שהאימון בוצע בעיקר על טקסט לווידאו, ולכן יצירה מתמונה או מעריכת וידאו נותנת לעיתים קרובות תוצאות נחותות או מקטעים סטטיים בהתחלה.

איך משתמשים

בוחרים בממשק בין טקסט, תמונה או וידאו, כותבים תיאור ולוחצים על Generate Video. אין צורך בהרשמה או התחברות לחשבון. ההדגמה רצה על מאיץ A10G בתצורת שיתוף משאבים, כך שאם יש עומס תצטרכו להמתין בתור עד שהחומרה תתעורר. למרות שהמפתחים מדברים על קצבים של 19.5 פריימים לשנייה בכרטיסי H100, החומרה כאן חלשה יותר ותייצר קצב איטי יותר בפועל.

הרישיון

הקוד וההדגמה מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי וגם מסחרי בקוד ובמשקולות. לגבי הקבצים שאתם מעלים או מפיקים, הממשק רץ על תשתית ציבורית ולכן לא מומלץ להעלות חומרים רגישים או קבצים שאינכם רוצים שיישמרו זמנית בשרת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗