חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
R

RF-Solver-Edit

רץ בדפדפן

wjs0725other2024-11-29

  • gradio

עריכת תמונות מבוססת טקסט שמבצעת היפוך ישירות על גבי FLUX. היא מיועדת למי שרוצה לשנות פרטים בתמונה קיימת בעזרת תיאור מילולי בלבד.

  • —הורדות בחודש
  • 67לייקים

מה זה

מעלים תמונה קיימת ומגדירים שני תיאורי טקסט. הראשון מתאר את מה שיש כרגע בתמונה, והשני מתאר את מה שרוצים לקבל בעריכה. בסיום התהליך מקבלים פלט תמונה חדש שאמור לשמור על המבנה המקורי אבל ליישם את השינויים המבוקשים.

מאחורי הממשק רצים מודלים ממשפחת FLUX.1 יחד עם מקודדי הטקסט T5 ו־CLIP. השיטה מתבססת על פתרון משוואות זרימה (Rectified Flow) כדי לשחזר את הרעש המקורי של התמונה ולייצר אותה מחדש לפי ההנחיות החדשות, עם הגדרות מתקדמות לשיתוף מאפיינים ומספר צעדי דגימה.

מתאים ל

  • עריכת פרטים בתמונה

    שינוי בגדים, הוספת חפצים או החלפת רקע בתמונה קיימת לפי תיאור טקסטואלי.

  • החלפת סגנון אמנותי

    המרת מראה של צילום לציור או סגנון גרפי אחר תוך שמירה על הקומפוזיציה.

  • בדיקת יכולות היפוך

    ניסוי ובחינה של שיטת RF-Solver על מודלי FLUX בהשוואה לשיטות ישנות.

איפה זה נופל

נכון לעכשיו אי אפשר להשתמש באפליקציה הזאת בדפדפן בכלל, כי היא נמצאת במצב של שגיאת ריצה. מעבר לתקלה הטכנית, הקוד אמנם מזכיר את OpenSora בתיאור אבל בפועל הממשק מטפל בתמונות סטטיות בלבד ולא בווידאו.

בנוסף, הצלחת העריכה תלויה מאוד ביכולת לתאר במדויק את תמונת המקור. אם התיאור הראשוני לא תואם מספיק את מה שיש בפריים, התוצאה הסופית תאבד את הדמיון למקור.

שאלות
נפוצות

האם השימוש בעמוד הזה עולה כסף?

האפליקציה פתוחה לשימוש ציבורי ללא תשלום על גבי תשתית הענן של האגינג פייס. עם זאת, מכיוון שהיא נמצאת כרגע במצב תקלה, היא לא מגיבה לבקשות ריצה.

אפשר להריץ את הכלי הזה במחשב מקומי?

כן, הקוד מבוסס על פייתון ומודלים זמינים מהאגינג פייס כמו FLUX.1. תצטרכו להוריד את הקבצים ולהחזיק מחשב עם מעבד גרפי חזק מספיק כדי לטעון את המודלים האלה.

מה קורה לתמונות שאני מעלה לכאן?

התמונות מעובדות ישירות על גבי השרת שמריץ את הממשק לצורך העריכה. אין הבטחה לשמירה ארוכת טווח של הפלטים, ולכן מומלץ להוריד מיד תוצאות שרוצים לשמור.

במה זה שונה מיצירת תמונה רגילה ב־FLUX?

יצירה רגילה מתחילה מרעש אקראי לחלוטין ובונה תמונה חדשה מאפס. הכלי הזה מנסה למצוא את נקודת ההתחלה של תמונה קיימת, וכך מאפשר לשנות רק אלמנטים מסוימים בלי להרוס את השאר.

איך משתמשים

טוענים תמונה, מקלידים את שני התיאורים ולוחצים על כפתור הייצור. יש אפשרות לפתוח תפריט מתקדם כדי לכוונן את כמות צעדי החישוב בין 1 ל־30, לקבוע כמה צעדים ישתפו מאפיינים, ולשנות את רמת ההיצמדות להנחיה.

הריצה בנויה על מעבד גרפי מסוג A10G דרך תשתית ZeroGPU של האגינג פייס. זה אומר שההקצאה של כרטיס המסך דינמית, והזמן בפועל תלוי בעומס ובמספר הצעדים שתבחרו.

הרישיון

הרישיון מוגדר תחת תנאי השימוש הלא מסחריים של מודל FLUX.1-dev. המשמעות היא שאין אישור להשתמש בתוצרים למטרות מסחריות או להרוויח מהם כסף. כל שימוש מוגבל למחקר, ניסויים אישיים והערכה בלבד.

הרישיון המלא ב־Hugging Face ↗