חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
R

RF-inversion

רץ בדפדפן

rf-inversionmit2024-12-09

  • gradio

עורכים תמונות קיימות באמצעות טקסט בלי לאמן מודל מחדש. הכלי מיועד למי שרוצה לבצע שינויים ממוקדים או החלפת סגנון על בסיס פלאקס.

  • —הורדות בחודש
  • 36לייקים

מה זה

אתם מעלים תמונה, כותבים הנחיית טקסט ובוחרים בין שני מסלולים: עריכה מקומית של אובייקט או שינוי סגנון כללי של התמונה. הפלט הוא תמונה חדשה שמשלבת בין המקור להוראות הטקסט שלכם. הממשק כולל גם דוגמאות מובנות שמציגות את סוגי השינויים האפשריים.

מאחורי הקלעים רץ המודל FLUX.1-dev של Black Forest Labs, בשילוב משקולות LoRA בשם Hyper-SD של ByteDance שמיועדות לעבודה מהירה בשמונה צעדים. הקוד מנהל תהליך של היפוך ושחזור ייצוגי תמונה כדי לשמר את תוכן המקור בזמן שההנחיה החדשה מעדכנת אותו.

מתאים ל

  • עריכת אובייקט ממוקד

    שינוי פרט מסוים בתוך תמונה קיימת לפי תיאור טקסט בלי לאבד את שאר הרקע.

  • החלפת סגנון חזותי

    המרת המראה הכללי של תמונה לסגנון ציורי או אמנותי אחר בעזרת הנחיה.

  • ניסוי בפרמטרי היפוך

    בדיקת השפעת צעדי Inversion ומשקולות Hyper-SD על איכות הפלט של פלאקס.

איפה זה נופל

הבעיה המיידית היא שהספייס מושהה כרגע ולא מגיב. מעבר לזה, הקוד מציין בפירוש שהפעלת הקיצור של שמונה צעדים עלולה לפגוע באיכות העריכה. התהליך כולו דורש כוונון ידני של לא מעט מחוונים כדי שהתוצאה לא תמרח את התמונה המקורית לחלוטין.

שאלות
נפוצות

למה כפתור העריכה לא עובד לי כרגע?

האפליקציה נמצאת כרגע במצב מושהה בהוסטינג שלה. עד שמי שמתחזק אותה לא יפעיל אותה מחדש, אי אפשר להריץ אותה ישירות דרך הדפדפן בעמוד המקורי.

אפשר להריץ את הקוד הזה על המחשב שלי?

כן, הקוד פתוח תחת רישיון MIT. תצטרכו להוריד את המאגר ולהריץ אותו בסביבת פייתון עם כרטיס מסך חזק מספיק שיכול לטעון את FLUX.1-dev ומשקולות ה־LoRA.

השימוש באפליקציה עולה כסף?

הממשק ברשת חופשי לשימוש כל עוד הוא פעיל ואינו דורש תשלום. אם תרצו להעתיק אותו לחשבון שלכם ולהריץ על חומרת A10G משלכם, תצטרכו לשלם על משאבי הענן.

במה זה שונה מיצירת תמונה רגילה בפלאקס?

יצירה רגילה מתחילה מטקסט בלבד ויוצרת משהו חדש מאפס. כאן המערכת לוקחת תמונה אמיתית קיימת, הופכת אותה לייצוג מתמטי, ומאפשרת לערוך רק חלקים ממנה.

איך משתמשים

טוענים תמונה, מקלידים פרומפט ולוחצים על Edit. יש הגדרות מתקדמות לשליטה במספר צעדי ההיפוך, מספר צעדי הדגימה ורמות ההשפעה של השינוי. כרגע העמוד במצב מושהה, כך שלא ניתן להריץ אותו ישירות בדפדפן עד שיפעילו אותו מחדש. כשהוא פעיל, הוא מוגדר לרוץ על כרטיס A10G דרך זיכרון דינמי.

הרישיון

הקוד עצמו מפורסם תחת רישיון MIT שמאפשר שימוש חופשי, שינוי והפצה. עם זאת, הוא טוען את המודל FLUX.1-dev, ולמודל הזה יש תנאי שימוש והגבלות מסחריות נפרדות משלו שחובה לבדוק לפני שימוש בתוצרים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗