FLUX-Vision
רץ בדפדפןHeartsyncapache-2.02024-12-13
מעלים תמונה, מקבלים ממנה תיאור טקסטואלי, ומייצרים בעזרתו תמונה חדשה לגמרי. הכלי מיועד למי שרוצה לשחזר או לשנות תמונות קיימות באמצעות שילוב של מודל ראייה ומודל ציור.
- —הורדות בחודש
- 164לייקים
מה זה
אתם מעלים תמונת מקור ומקבלים תמונה חדשה שמבוססת על התוכן שלה. התהליך עובד בשיטת תמונה לטקסט לתמונה. תחילה, מודל ראייה מסוג Florence-2 מתאר במילים מה מופיע בקובץ שהעליתם, כשאפשר לבחור בממשק בין הגרסה הרגילה לגרסת Florence-2-Flux-Large המורחבת. התיאור שנבנה מוזן לתיבת הטקסט, ושם אפשר לערוך אותו ידנית לפני ההפקה.
לאחר מכן, התיאור עובר למודל FLUX.1-dev יחד עם מתאם ByteDance/Hyper-SD להאצת היצירה. התוצאה הסופית עוברת בדיקת תוכן של Stable Diffusion Safety Checker כדי לוודא שאין בה חומרים לא הולמים. הממשק כולל דוגמאות מובנות של תמונות כדי לבדוק את התהליך מיד, ומאפשר שליטה ברזולוציה, במספר הצעדים ובערכי הסיד.
מתאים ל
- שחזור סגנון מתמונה קיימת
מחלצים את התיאור המלא של תמונה כדי לייצר גרסה חדשה עם אותם אלמנטים בדיוק.
- יצירת פרומפטים מורכבים
משתמשים במודל Florence-2 כדי להבין איך לתאר סצנות מורכבות במילים עבור מודלי תמונות.
- שינוי פרטים בסצנה
מקבלים את התיאור האוטומטי מהתמונה, עורכים ידנית פרט בודד בטקסט, ומייצרים אותה מחדש.
איפה זה נופל
החיסרון המרכזי הוא הניתוק הישיר בין התמונות. זו לא עריכה אמיתית שמשמרת את תווי הפנים או הקומפוזיציה המקורית, אלא יצירה מאפס שמסתמכת רק על מה שמודל הראייה הצליח להבין ולנסח. אם התיאור הטקסטואלי יפספס פרט קטן, הוא ייעלם לחלוטין מהתמונה החדשה. בנוסף, בודק הבטיחות של הקוד עלול לחסום פרומפטים או פלטים בלי התראה מפורטת, והאפליקציה כולה מושבתת כרגע.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
הגישה דרך האתר היא ללא תשלום, אך כרגע האפליקציה מוגדרת במצב מושהה ולא זמינה להרצה מיידית. אם תרצו לשכפל ולהריץ אותה בעצמכם על חומרה חזקה, תצטרכו לשלם על משאבי ענן.
האם התמונות שאני מעלה נשמרות?
האפליקציה רצה על בסיס גרדיו וקוד פתוח ללא מסד נתונים ייעודי לשמירה. הקבצים נשמרים זמנית בשרת לצורך יצירת התיאור והתמונה בלבד, אך מומלץ לא להעלות מידע רגיש לשרתים ציבוריים.
כמה זמן לוקח לייצר תמונה?
בגלל השימוש במודל פלוקס ומודל ראייה במקביל, יצירה כזו דורשת כוח מחשוב כבד. על מעבד רגיל מדובר בדקות ארוכות, ורק עם מאיץ גרפי פעיל התהליך ייקח שניות בודדות.
האם אפשר להריץ את הכלי על המחשב?
כן, הקוד זמין במלואו תחת רישיון פתוח וכולל את כל הקריאות למודלים מתוך האגינג פייס. תצטרכו כרטיס מסך חזק עם זיכרון משמעותי כדי להחזיק את שני המודלים בזיכרון במקביל.
איך משתמשים
בפועל נכנסים לדפדפן, בוחרים תמונה מהמחשב או מתוך הדוגמאות, ולוחצים על יצירת כיתוב. אחרי שהטקסט מופיע בתיבה, אפשר לשנות פרטים או ללחוץ ישר על כפתור ההפקה. בהגדרות המתקדמות תמצאו סליידרים לגובה, רוחב, כמות צעדים וערך סיד אקראי.
כרגע לא תוכלו להריץ אותה כי היא נמצאת במצב מושהה. גם כשהיא פעילה, החומרה שמוגדרת לה היא מעבד בסיסי בלבד ללא מאיץ גרפי קבוע, מה שאומר שזמני העיבוד יהיו איטיים מאוד או שיש צורך בהקצאת משאבים חיצונית דרך זירו ג'י פי יו כדי לקבל תוצאה סבירה.
הרישיון
הקוד עצמו מופץ תחת רישיון apache-2.0 שמאפשר שימוש חופשי, שינוי והפצה. עם זאת, המודל המרכזי שמייצר את התמונות הוא FLUX.1-dev, והוא כפוף לתנאי שימוש נפרדים ומגבילים יותר של חברת Black Forest Labs שאינם מאפשרים שימוש מסחרי חופשי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים