real-time-pix2pix-turbo
רץ בדפדפןradamesרישיון לא דווח2024-03-20
הדגמה לעיבוד תמונה והזרמת וידאו בזמן אמת דרך מצלמת רשת, המיועדת למפתחים שרוצים לבחון מודלי דיפוזיה מהירים. כרגע העמוד מדווח על שגיאת ריצה ולא יעבוד בדפדפן.
- —הורדות בחודש
- 106לייקים
מה זה
מזינים פקודת טקסט ומזרימים וידאו ישירות ממצלמת הרשת. התוצאה היא רצף תמונות שעוברות התאמה מיידית לפי ההנחיות והסגנון שהוגדרו. בממשק משולב שרת וידאו בפורמט MJPEG שמעביר את הפריימים בקצב גבוה יחסית.
מאחורי הקלעים הקוד תומך במגוון שילובים של מודלים מהירים. הוא נשען על Latent Consistency Models לצד מודלי SDXL Turbo, Segmind Vega ושימוש ב־ControlNet Canny כדי לשמור על מבנה התמונה המקורית. ברשימת המודלים שמקושרים מופיעים גם מודלי FLUX ו־Hyper-SD להאצת הדיפוזיה למספר צעדים בודד.
מתאים ל
- בדיקת הזנת וידאו בזמן אמת
חיבור מצלמת הרשת לקבלת פלט מסוגנן בשידור חי ובחינת מהירות התגובה.
- ניסוי צינורות ControlNet
הרצת זיהוי קצוות באמצעות Canny על גבי וידאו חי יחד עם מודלים מהירים.
- הקמת שרת עצמאי מקומית
שימוש בקוד הדוקר כדי לבנות ממשק עיבוד פנימי על חומרת אנבידיה.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה פשוט לא עולה כרגע ומחזירה שגיאת מערכת. מעבר לכך, הקוד תלוי ישירות במצלמת רשת, וללא חומרה מקומית חזקה כמו מעבדי אנבידיה או אפל סיליקון אי אפשר לשחזר את הביצועים. מודלי SDXL גם כבדים יותר ומאטים את קצב הפריימים בהשוואה לגרסאות 1.5, כך שההבטחה לזמן אמת מוגבלת מאוד לחומרה שעליה רצים.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה בחינם באתר?
הגישה לדף חופשית, אך כרגע היא במצב של שגיאת ריצה ולא מגיבה. אם וכאשר תתוקן, השימוש בדפדפן בהדגמות כאלה פתוח בדרך כלל ללא תשלום.
האם אפשר להריץ את השרת באופן מקומי?
כן, הקוד כולל קובצי הגדרה מלאים לדוקר. נדרשים כרטיס גרפי תומך של אנבידיה עם סביבת CUDA, או מחשב מק עם מעבדי M1 עד M3, יחד עם פייתון 3.10 והתקנת צד הלקוח ב־Node.
מה קורה עם שידור הווידאו מהמצלמה?
הווידאו נשלח לפונקציית עיבוד השרת בפורמט MJPEG ומעובד שם פריים אחר פריים. מאחר שהרישיון ותנאי השרת אינם מפורטים, לא כדאי לחשוף מול המצלמה מידע רגיש.
במה הדף הזה שונה מסתם מודל דיפוזיה רגיל?
מודל רגיל מייצר תמונה בודדת במשך כמה שניות לפי בקשה. כאן מדובר במערכת שמחברת מודלים מואצים ו־ControlNet ישירות לרצף וידאו רציף שמגיב לשינויים בזמן אמת.
איך משתמשים
נכון לעכשיו אי אפשר להשתמש בה באתר כי היא במצב שגיאת ריצה. באופן עקרוני, ההפעלה דורשת חיבור מצלמת רשת פעילה ומתן הרשאה בדפדפן, ולאחר מכן מקלידים תיאור טקסטואלי ורואים את הזרמת הווידאו.
החומרה שהוגדרה לה היא a10g-small. מפתחים שרוצים להריץ אותה בעצמם צריכים סביבת דוקר עם כרטיס אנבידיה ותמיכה ב־CUDA, או פייתון 3.10 ו־Node מעל גרסה 19 על מחשבי מק עם שבבי M או מאיצי אינטל Arc.
הרישיון
הרישיון של הפרויקט לא דווח. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד, ומעמד הקבצים שמעבדים או מייצרים תלוי ברישיונות השונים של המודלים המופעלים, כמו FLUX או SDXL.