Lance — הדגמה

קוד פתוח

bytedance-researchapache-2.02026-05-22

gradio

הכלי מציע סביבת ניסוי גרפית ליצירה, עריכה והבנה של תמונות וסרטונים דרך מודל יחיד. הוא מיועד למפתחים וחוקרים שרוצים לבחון יכולות מולטימטריקס קומפקטיות ישירות בדפדפן.

28.7 GBמשקל הקבצים
—הורדות בחודש
115לייקים

מה זה

אתם מעלים טקסט, תמונה או סרטון, ומקבלים בהתאם למשימה מדיה מעובדת, סרטון שנוצר מאפס או תשובה טקסטואלית לשאלה על תוכן וידאו. המערך תומך בעריכת וידאו רב שלבית ששומרת על עקביות, מענה על שאלות אמריקאיות לגבי סצנות וייצור תיאורים מפורטים של מה שמתרחש בפריים.

מאחורי הקלעים רץ ארכיטקטורת Lance בגודל 3 מיליארד פרמטרים פעילים, שאומנה מאפס בתקציב של 128 מעבדי A100. המבנה משלב רכיבי ראייה מבוססי ViT של Qwen2.5-VL, מקודדי וידאו מסוג Wan VAE, ומודל שפה מבוסס Qwen2 לצורך הבנת הפקודות והפקת המענה. הקוד טוען גרסת משקלים ייעודית לווידאו או לתמונה לפי הצורך.

מתאים ל

עריכת סרטונים קיימים
מעלים קובץ וידאו קיים ומשנים בו אלמנטים או סגנון באמצעות הנחיות טקסט.
הבנת תוכן וידאו
מזינים קטע וידאו ושואלים עליו שאלות תוכן כדי לקבל תשובות וניתוחים טקסטואליים.
יצירת וידאו מטקסט
כותבים תיאור מילולי ומפיקים סרטון קצר חדש מתוך מודל שמאחד יצירה והבנה.

איפה זה נופל

המודל מחזיק 3 מיליארד פרמטרים בלבד, כך שלא תקבלו כאן דיוק או איכות ריאליסטית של מודלי ענק ייעודיים. הדוגמאות הרשמיות מציגות מקרים אידיאליים של עריכת תנועה ושאלות רב ברירה פשוטות, אבל בסרטונים מורכבים עם תנועה מהירה יש עיוותים. בנוסף, חומרת ההדגמה מוגבלת במשאבים ולכן סרטונים ארוכים או כבדים עלולים להוביל לשגיאות זיכרון.

שאלות
נפוצות

האם השימוש בהדגמה בדפדפן עולה כסף?

השימוש בממשק הרשת של Hugging Face ניתן כרגע ללא תשלום. אין צורך להזין אמצעי תשלום כדי להריץ את הדוגמאות הקיימות. עם זאת, זמינות השרת תלויה במכסות החומרה הציבורית.

מה קורה עם הקבצים שמעלים לממשק?

הקבצים מעובדים על שרתי הענן שמארחים את ה־Space הציבורי. הממשק אינו מיועד לחומרים סודיים או מידע רגיש. כל מה שאתם מעלים עלול להישמר זמנית בדיסק המכונה לצורך ביצוע ההסקה.

האם אפשר להוריד ולהריץ את הכלי מקומית במחשב?

כן, הקוד בנוי מעל ספריות מוכרות כמו Hugging Face Hub ו־Transformers. משקלי המודל Lance_3B זמינים להורדה ישירות למערכת שלכם. תצטרכו כרטיס מסך מתאים עם מספיק זיכרון כדי להחזיק את המודל והמקודדים.

במה שונה ההדגמה הזו מהרצת המודל עצמו ישירות בקוד?

ההדגמה מנגישה מעטפת Gradio מוגבלת עם ברירות מחדל קבועות מראש וזמני המתנה של שרת שיתופי. הרצה מקומית של המודל פותחת שליטה מלאה בפרמטרים של הדגימה ומספר הצעדים. בנוסף, היא מאפשרת לבחור בין גרסת התמונות לגרסת הווידאו בחופשיות.

איך מריצים

הממשק מבוסס Gradio ומציג כפתורי דוגמה מהירים לטעינת פרומפטים ומדיה לבדיקה. לוחצים על הפעולה הרצויה וממתינים לעיבוד. הסביבה מוגדרת על חומרת zero-a10g, מה שאומר שהשרת נרדם כשאין פעילות. אם המכונה קרה, תצטרכו להמתין לעליית המודל ולהקצאת הזיכרון, ופעולות של יצירת וידאו עשויות לקחת זמן ממושך בהשוואה למענה טקסטואלי קצר.

pip install -U huggingface_hub
hf download bytedance-research/Lance

הקבצים

87 קבצים במאגר, 28.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון לא דווח בעמוד המאגר או בקוד ההדגמה. המשמעות היא שאין הרשאה מפורשת לשימוש מסחרי בתוצרים או בקוד, ויש להתייחס לכל מה שמועלה ונוצר כסביבת מחקר פתוחה בלבד ללא הגנת פרטיות מובטחת.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗