GPT
T

tikslop

רץ בדפדפן

jbilcke-hfרישיון לא דווח2023-11-29

  • docker

הדגמה לחיפוש ויצירת וידאו רציף באמצעות טקסט בזמן אמת. מיועד למי שרוצה לעקוב אחרי ניסויי מחקר ופיתוח של הזרמת מדיה סינתטית.

  • הורדות בחודש
  • 306לייקים

מה זה

הרעיון פה הוא להקליד טקסט בתיבת חיפוש ולקבל פיד וידאו שנוצר ישירות ומחושב תוך כדי תנועה, במקום לצפות בסרטונים מוכנים מראש שנשמרו בשרת. הממשק מיועד להזרים מקטעי וידאו קצרים ברצף של כמה שניות בכל פעם, כדי לתת תחושה של גלילה ברשת חברתית שמיוצרת לחלוטין על ידי מחשב בזמן שאתם צופים בה.

מאחורי הקלעים הפרויקט נשען על המודל LTX-Video של חברת לייטריקס לצורך יצירת הווידאו עצמו בהגדרות איכות נמוכות שמסייעות למהירות, יחד עם מודל השפה Phi-3-mini-128k-instruct של מיקרוסופט לעיבוד הטקסט וההנחיות. התקשורת של הזרמת הנתונים מבוססת על חיבורי וובסוקט, כאשר המערכת מנסה לייצר חוויה אינטראקטיבית שבה מה שמקלידים משפיע ישירות על מה שרואים על המסך.

מתאים ל

  • מעקב אחר פיתוח וידאו

    בחינת הרעיון של יצירת והזרמת מקטעי וידאו רציפים לפי טקסט בזמן אמת.

  • מחקר ארכיטקטורת רשת

    לימוד החיבור בין וובסוקט למודלים כמו LTX-Video ו־Phi-3 ליצירת תוכן.

  • ניסויי יצירה מקומיים

    בדיקת המודלים על מחשב אישי חזק לצורך הדמיות וידאו אינטראקטיביות.

איפה זה נופל

זה לא מוצר עובד אלא אב טיפוס אישי שלא זמין כרגע לשימוש הציבור. גם כשהקוד ירוץ במלואו, מודל הווידאו עובד בהגדרות איכות מונמכות כדי לאפשר מהירות, כך שאיכות התמונה רחוקה מווידאו מסחרי חד. בנוסף, חומרה שמסוגלת להזרים וידאו חי כזה עדיין יקרה מדי ולא כלכלית להפעלה שוטפת, כך שלא תקבלו כאן תחליף לפלטפורמת וידאו אמיתית.

שאלות
נפוצות

האם האפליקציה פועלת כרגע בחינם?

האפליקציה נמצאת כעת במצב מושהה בהאגינג פייס ולא ניתן להשתמש בה ישירות דרך הדפדפן. המפתח הגדיר אותה כפרויקט ניסיוני אישי שעדיין בפיתוח, כך שאין שירות פתוח ופעיל לקהל הרחב.

האם אפשר להריץ את זה על המחשב שלי?

אפשר לנסות להריץ את הקוד באופן מקומי דרך דוקר, אבל תצטרכו להגדיר שרת וובסוקט משלכם. בנוסף, נדרשת חומרת עיבוד גרפית חזקה למדי כדי להריץ את מודל הווידאו במהירות סבירה.

כמה זמן לוקח לכל סרטון להיווצר?

לפי הצהרת המפתח, המטרה היא לייצר מקטעים בתוך שניות בודדות כדי לאפשר הזרמה חלקה. בפועל, על חומרת מעבד רגילה זה ייקח הרבה יותר זמן, ולכן דרוש כרטיס מסך מתאים להשגת הקצב הזה.

במה הכלי הזה שונה מהרצת המודל לבד?

במקום לייצר קובץ וידאו בודד לפי פרומפט ולשמור אותו, כאן נעשה ניסיון לייצר שרשרת מתמשכת של מקטעים המוזרמים ברצף למשתמש. המערכת משלבת בין מודל השפה שמנהל את הבקשות לבין מודל הווידאו שמייצר את התמונות.

איך משתמשים

כרגע לא לוחצים על כלום בדפדפן, כי האפליקציה נמצאת במצב מושהה והשרת מוגדר על חומרת מעבד בסיסית. המפתח עצמו מציין שהפרויקט אינו מוכן לשימוש פתוח, והפיתוח של הקוד והדוקומנטציה יימשך לאורך שנת 2025. כדי להריץ משהו כזה באופן עצמאי צריך להרים שרת מקומי שמתחבר בוובסוקט ולהצטייד בכרטיס מסך חזק, כי מעבד רגיל פשוט לא יסחב את ייצור הווידאו בקצב שמאפשר צפייה רציפה.

הרישיון

הפרויקט לא מדווח על רישיון שימוש בקבצים שלו. ללא רישיון מוגדר, כל הזכויות שמורות למפתח ואין היתר ברור להעתיק, להפיץ או להשתמש בקוד לפרויקטים משלכם.

הרישיון המלא ב־Hugging Face ↗