qwen2vl-flux-mini-demo
רץ בדפדפןDjrangoרישיון לא דווח2024-11-26
הדגמה שמייצרת תמונות חדשות על בסיס תמונה והנחיית טקסט. היא מיועדת למי שרוצה לבדוק שילוב בין מודל הראייה Qwen2-VL למנוע FLUX.
- —הורדות בחודש
- 51לייקים
מה זה
מעלים תמונת מקור בפורמט תמונה רגיל, כותבים הנחיית טקסט בתיבה ומקבלים גלריה של תמונות חדשות. אפשר להגדיר בהגדרות המתקדמות את מספר הצעדים שברירת המחדל שלו היא 28, את עוצמת ההנחיה שעומדת על 3.5, את יחס התמונה כמו 1:1, סיד ספציפי וכמות של שתי תמונות במקביל.
מאחורי הקלעים רץ שילוב שנשען על המאגר Djrango/Qwen2vl-Flux. הוא טוען מודל ראייה של Qwen2-VL בגרסה מופשטת יחד עם רכיבי חיבור, ובמקביל מפעיל את מנוע FLUX עם רכיבי עיבוד טקסט של CLIP ושל T5, מודל VAE, שנאי ייעודי ומתזמן Flow Match Euler.
מתאים ל
- עריכת תמונות מונחית טקסט
הזנת תמונה וטקסט כדי לקבל וריאציות חדשות שמשלבות את התוכן של שתיהן.
- בדיקת שילוב ראייה וציור
בחינת האופן שבו מודל Qwen2-VL מתקשר עם שנאי התמונות של FLUX.
- ניתוח קוד מקור למפתחים
לימוד מבנה הצינור שמשלב בין מעבדי T5, CLIP ומודל הראייה בקוד פייתון.
איפה זה נופל
ההדגמה תקועה כרגע בשגיאת ריצה ולכן אי אפשר להפיק בה תמונות ישירות מהדפדפן. שילוב של מודלי ענק כמו FLUX ומודל שפה חזותי דורש כרטיס גרפי כבד מאוד, והרצה על מעבד רגיל תהיה איטית להחריד או שתקרוס מיד. אין בממשק דוגמאות מוכנות שמאפשרות לבחון תוצאות מראש.
שאלות
נפוצות
האם השימוש בהדגמה עולה כסף?
הגישה לעמוד חופשית לחלוטין וללא תשלום. עם זאת, נכון לעכשיו העמוד נמצא במצב של שגיאת ריצה ולא מייצר תמונות בפועל.
כמה זמן לוקח לייצר תמונה?
המערכת מוגדרת להריץ 28 צעדים עבור שתי תמונות במקביל. על חומרת מעבד בסיסית תהליך כזה נמשך דקות ארוכות מאוד, אם הוא בכלל מצליח להסתיים בלי לקרוס.
מה קורה עם התמונות שמעלים לממשק?
התמונות נשלחות לשרת שמריץ את האפליקציה לצורך העיבוד. מאחר שלא פורסם רישיון או מדיניות שימוש, עדיף לא להעלות קבצים רגישים או פרטיים.
האם אפשר להריץ את זה על המחשב?
אפשר להוריד את הקוד מקובץ app.py ואת המשקולות מהמאגר Djrango/Qwen2vl-Flux. תצטרכו כרטיס מסך חזק מאוד כדי לעמוד בדרישות הזיכרון של FLUX ושל מודל הראייה.
איך משתמשים
לוחצים על כפתור ההפעלה אחרי הזנת התמונה והטקסט, ויש מד התקדמות שמציג את התהליך. בפועל העמוד מוגדר על חומרת מעבד בסיסית ומופיע כרגע במצב שגיאת ריצה. כל עוד השרת לא מופעל מחדש על חומרה מתאימה, הכפתור פשוט לא יניב תוצאה בדפדפן.
הרישיון
הרישיון של המרחב לא דווח. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בתוצרים, וכל מה שמעלים עובר דרך השרת של המפתח ללא תנאי פרטיות מוגדרים.