Real-Time-Latent-Consistency-Model-Text-To-Image
רץ בדפדפןradamesרישיון לא דווח2023-10-31
הכלי מייצר תמונות בזמן אמת מפקודות טקסט או מצלמת רשת בשידור חי. הוא מתאים למי שרוצה לבדוק הסקת תמונות סופר-מהירה ישירות בדפדפן או בקוד.
- —הורדות בחודש
- 174לייקים
מה זה
מזינים תיאור טקסטואלי או מזרימים וידאו חי ממצלמת הרשת, ומקבלים תמונה שמשתנה כמעט מיידית כתוצאה משינוי הפקודה או התנועה מול העדשה. התוצר מוזרם בחזרה לממשק באמצעות שרת MJPEG פנימי.
מאחורי הקלעים רץ שילוב של Latent Consistency Models עם LoRA על גבי Stable Diffusion בגרסת 1.5 או SDXL. המודלים האלה מכווצים את תהליך הציור לכארבעה צעדים בלבד, בשילוב מפענחי VAE קלים כמו TAESD ורשתות ControlNet בשיטת Canny לזיהוי קווי מתאר בשידור חי.
מתאים ל
- בדיקת ציור חי ממצלמה
מפעילים את מצלמת הרשת ומשלבים מודל קונטרול-נט להפקת וידאו שעוקב אחרי קווי המתאר בזמן אמת.
- ניסוי מהירויות של LoRA
מריצים שורת פקודה עם LCM LoRA לבדיקת זמני תגובה ביצירת תמונות בארבעה צעדים בלבד.
- שרת הזנה מקומי למפתחים
מריצים קונטיינר מקומי עם שרת MJPEG מובנה ודף פרונט-אנד לבדיקת ממשקי משתמש מהירים.
איפה זה נופל
ההדגמה הנוכחית בעמוד פשוט שבורה ולא מייצרת פלט חי. מעבר לכך, מודל שמצייר בארבעה צעדים בלבד מאבד פרטים עדינים לעומת מודלי דיפוזיה איטיים, והרצה על SDXL כבדה משמעותית מזו של 1.5. בנוסף, חובה מצלמת רשת כדי להשתמש בחלק מצינורות העבודה של הווידאו.
שאלות
נפוצות
האם אפשר להשתמש בהדגמה בחינם דרך הדפדפן?
העמוד פתוח לכולם ללא עלות, אבל כרגע המופע הציבורי מציג שגיאת ריצה ולא עובד. כדי להשתמש בו צריך להריץ את הקוד באופן עצמאי או לחכות שהשרת יעלה מחדש.
האם אפשר להריץ את המערכת מקומית במחשב?
כן, הקוד תומך בהרצה דרך Docker או פייתון. צריך מעבד אפל סיליקון, כרטיס אינטל ארק או כרטיס של אנבידיה שתומך ב־CUDA, יחד עם התקנת סביבת צד לקוח.
למה התמונות שנוצרות פחות חדות ממודלים רגילים?
טכנולוגיית LCM מתוכננת למהירות קיצונית ומבצעת דגימה בכארבעה צעדים בלבד. החיסכון בזמן מגיע על חשבון עומק הפרטים שרואים במודלים שרצים עשרות צעדים.
האם חייבים מצלמת רשת כדי לעבוד עם זה?
בהדגמות המבוססות על וידאו וקונטרול-נט המצלמה נדרשת. לעומת זאת, צינורות עבודה של טקסט לתמונה בלבד יכולים לפעול ללא מצלמה.
איך משתמשים
כרגע ההדגמה בעמוד מדווחת על שגיאת ריצה, ולכן אי אפשר להשתמש בה ישירות בדפדפן בלי להפעיל אותה מחדש או להריץ את הקוד בעצמכם. במצב עבודה תקין על חומרת השרת, חישוב של ארבעה צעדים אורך שברירי שנייה.
אם מריצים מקומית דרך Docker או פייתון, נדרש כרטיס מסך של אנבידיה עם CUDA, מעבד אפל סיליקון או כרטיס אינטל ארק, לצד התקנת חבילות פייתון וסביבת Node מעל גרסה 19.
הרישיון
הפרויקט לא מדווח על רישיון שימוש. המשמעות היא שאין הרשאה ברורה להשתמש בקוד לפרויקטים מסחריים, וזכויות השימוש בתוכן ובמודלים עצמם נשענות על תנאי השימוש המקוריים של משפחת סטייבל דיפיוז'ן.