diffusion-self-distillation
רץ בדפדפןprimecaiרישיון לא דווח2025-03-03
העלאת תמונה וטקסט קצר כדי ליצור תמונה חדשה ששומרת על אותה דמות בלי אימון מודל. מתאים למי שרוצה לבדוק עקביות של נושא על בסיס פלאקס ישירות בדפדפן.
- —הורדות בחודש
- 191לייקים
מה זה
התהליך פשוט: מעלים תמונת מקור של דמות או אובייקט, כותבים הנחיית טקסט קצרה כמו פעולה שהיא עושה, ומקבלים תמונה חדשה. הממשק מאפשר להפעיל שדרוג של ההנחיה באמצעות ג'מיני, ומציע סליידרים שונים לשליטה על רמת ההיצמדות לתמונה המקורית לעומת ההיצמדות לטקסט.
מתחת למכסה המנוע רץ צינור עיבוד ייעודי שנשען על FLUX.1 dev ועל FLUX.1 schnell, יחד עם מודלי ראייה של CLIP ומודל בשם dsd_model. השיטה מוגדרת כזיכוך עצמי ללא צורך באימון מותאם אישית, כך שהיא מנסה לחלץ את מאפייני הנושא ישירות בזמן הריצה ולהלביש אותם על הסצנה החדשה. בעמוד יש דוגמאות מובנות שאפשר לטעון בלחיצה כדי לראות איך זה עובד על קלטים שנבדקו מראש.
מתאים ל
- החלפת סצנה לדמות
שותלים דמות מתמונה קיימת בתוך סיטואציה חדשה או רקע אחר באמצעות תיאור טקסטואלי בלבד.
- בדיקת שיטת DSD
בוחנים איך זיכוך עצמי של מודל פלאקס מתמודד עם שמירת זהות בהשוואה לשיטות אימון כמו לורה.
- יצירת גרסאות לפרומפט
משתמשים במנגנון שדרוג הפרומפטים המובנה כדי לראות ניסוחים שמתאימים למודלי תמונות מתקדמים.
איפה זה נופל
המודל פולט כרגע תמונה בודדת בכל ריצה, כי אפשרות הגלריה מנוטרלת בקוד. בנוסף, האיזון בין הפרומפט לתמונה דורש כוונון ידני של כמה סליידרים שונים, ואם לא משחקים איתם הדמות עלולה לאבד דמיון למקור או להתעלם ממה שביקשתם בטקסט. המערכת גם נשענת על שדרוג פרומפט חיצוני, ואם מכבים אותו צריך לדעת לנסח בדיוק כמו בדוגמאות כדי לקבל תוצאה סבירה.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה דרך ממשק הדפדפן בהאגינג פייס היא חינמית לחלוטין. הריצה מתבצעת על חומרה מוקצית של הפלטפורמה ואין דרישה למסלול בתשלום כדי לבדוק אותה.
כמה זמן לוקח לקבל תמונה?
העיבוד נשען על חומרת A10G שמופעלת לפי דרישה. מאחר שמדובר במודלים כבדים ממשפחת פלאקס, היצירה לוקחת בדרך כלל בין חצי דקה לדקה, תלוי בעומס הכללי על השרת באותו רגע.
האם אפשר להריץ את זה מקומית על המחשב?
הקוד נשען על ספריות diffusers וקוד מותאם אישית שנמצא במאגר, כולל מודל dsd_model שמפורסם ברשת. כדי להריץ את זה עצמאית תצטרכו מחשב חזק עם כרטיס מסך מודרני שמסוגל להחזיק מודלים בסדר גודל של פלאקס.
מה ההבדל בין זה לבין סתם שימוש בפלאקס רגיל?
פלאקס הרגיל מייצר תמונה מטקסט בלבד, ואם תבקשו דמות מסוימת תצטרכו לאמן מודל ייעודי. הכלי הזה מוסיף שכבת עיבוד שלוקחת תמונת מקור ומנסה להעתיק את מאפייני הנושא ישר לתוך התוצאה החדשה בלי תהליך אימון מקדים.
איך משתמשים
טוענים תמונה, מקלידים פרומפט ולוחצים על כפתור ההפעלה. האפליקציה רצה על חומרת zero-a10g של האגינג פייס, מה שאומר שהמעבד הגרפי מוקצה לפי דרישה. זמן הריצה מושפע מהתור בענן ומהעיבוד הכבד של פלאקס, כך שזה לוקח בדרך כלל כמה עשרות שניות לכל תמונה ולא קורה מיד. אין צורך לשלם או להירשם כדי לנסות אותה דרך הדפדפן.
הרישיון
הרישיון של המרחב עצמו לא דווח. מעבר לכך, המערכת משתמשת ברקע במודל FLUX.1-dev שמגיע עם מגבלות שימוש מסחרי משלו, ולכן לא מומלץ להסתמך על התוצאות לצרכים מסחריים בלי לבדוק את התנאים של המודלים המקוריים.