realtime-stable-diffusion
רץ בדפדפןfalרישיון לא דווח2023-11-17
הדגמה שמייצרת תמונות בזמן אמת על בסיס טקסט ותמונת קלט בעזרת Latent Consistency Models. מתאימה למי שרוצה לבדוק יצירת תמונה מהירה דרך הדפדפן בלי להמתין לעיבוד רגיל.
- —הורדות בחודש
- 82לייקים
מה זה
מזינים תמונת מקור בשדה הקלט וכותבים תיאור טקסטואלי בתיבת הפרומפט. הממשק מחזיר תמונה מעובדת ומציג לצדה תיבה עם זמן הריצה המדויק בארבע ספרות אחרי הנקודה. בהגדרות המתקדמות אפשר לקבוע את עוצמת השינוי בסליידר strength ולשלוט באקראיות דרך סליידר seed.
מאחורי הקלעים הקוד לא מעבד את התמונה על השרת המקומי של הדף. הוא דוחס אותה לפורמט base64 ושולח אותה יחד עם הנתונים דרך חיבור websockets לשרת חיצוני שיושב בכתובת ייעודית. המודל שרץ ברקע נשען על ארכיטקטורת Latent Consistency Models, שמקצרת את תהליך הדיפוזיה הרגיל לכמה צעדים בודדים כדי לקבל תמונה מיידית.
מתאים ל
- בדיקת שינוי תמונה בזמן אמת
מעלים תמונה, משנים את הטקסט ובודקים תוך שברירי שניה איך המודל משלב את התיאור בתוכה.
- התנסות בהגדרות LCM
משחקים עם סליידרים של חוזק וסיד כדי לראות את ההשפעה של צעדי דגימה בודדים.
- בחינת קוד קישור לשרת
לומדים מהקוד איך לחבר ממשק gradio לשרת עיבוד מרוחק באמצעות websockets.
איפה זה נופל
הבעיה המרכזית כרגע היא שההדגמה פשוט לא פועלת ונמצאת במצב RUNTIME_ERROR. גם כשהיא עובדת, התקשורת בשרת מבוססת על תעבורת websockets לשרת צד שלישי, כך שכל ניתוק או עומס חיצוני מפילים את התוצאה. הממשק עצמו רזה מאוד ולא כולל שליטה ברזולוציה או בפרמטרים מורכבים מעבר לחוזק ולסיד.
שאלות
נפוצות
האם השימוש בכלי עולה כסף?
הגישה לעמוד בהאגינג פייס פתוחה ללא תשלום ואין דרישה להירשם לחשבון. עם זאת, נכון לעכשיו הדף מושבת לחלוטין עקב שגיאת ריצה. אם השרת החיצוני יחזור לפעול, השימוש בממשק עצמו נשאר חופשי.
מה קורה לתמונות שאני מעלה?
התמונות מקודדות בדפדפן ונשלחות דרך חיבור websockets ישיר לשרת מרוחק שמעבד אותן. הקוד לא מצהיר אם המידע נשמר בשרת הקצה או נמחק מיד לאחר החזרת התוצאה. בהיעדר מדיניות פרטיות ברורה, עדיף לא להעלות חומרים רגישים.
האם אפשר להוריד ולהריץ את הקוד מקומית?
אפשר להוריד את קובץ app.py, אבל הוא תלוי בשרת מרוחק שכתובתו מוגדרת בקובץ נפרד. בלי גישה לאותו שרת או החלפה של הכתובת במודל מקומי משלכם, הקוד לא ייצר תמונות על המחשב. תצטרכו להגדיר שרת עיבוד מתאים בעצמכם.
במה זה שונה מהרצת המודל ישירות?
כאן מקבלים עטיפה גרפית קלה ששולחת בקשות מהירות דרך הרשת במקום לטעון את המשקולות לזיכרון שלכם. זה חוסך דרישות חומרה כבדות אבל תלוי לחלוטין בזמינות של שרת חיצוני. התוצאה היא ממשק פשוט אבל בלי שליטה מלאה במאפייני הריצה.
איך משתמשים
טוענים את העמוד, מעלים תמונה ומשנים את הטקסט או בוחרים מתוך רשימת הדוגמאות המוכנות. החומרה שמוגדרת לדף היא cpu-basic בלבד, מה שמסביר למה התהליך הכבד מנותב החוצה ברשת ולא רץ מקומית. כרגע לא תצליחו להפיק ממנה כלום בלחיצה, כי המצב המדווח שלה הוא שגיאת ריצה.
הרישיון
הרישיון של היישום לא דווח כלל במאגר. בהיעדר רישיון מוגדר, לא ברור באילו תנאים מותר להשתמש בקוד, ואין הצהרה ברורה לגבי זכויות היוצרים או הפרטיות של התמונות שאתם מעבירים בחיבור הרשת.