GPT
L

latentnavigation-flux

רץ בדפדפן

latentexplorersmit2024-08-21

  • gradio

הדגמת מחקר שמאפשרת לנווט בין שני מושגים מנוגדים על גבי תמונה אחת באמצעות מודל FLUX.1 schnell. היא מיועדת למי שרוצה לבדוק שינוי הדרגתי של תכונות בלי להחליף את כל הפרומפט.

  • הורדות בחודש
  • 282לייקים

מה זה

אתם מקלידים תיאור בסיסי של התמונה, ואז מגדירים שני מושגים מנוגדים שביניהם תרצו לנוע. בנוסף קובעים עוצמה בין 0 ל־4.0. הפלט שמקבלים כולל תמונה עם סליידר אינטראקטיבי למעבר בין המצבים, רצועת תמונות רצופה, וסרטון וידאו בלולאה שמציג את השינוי ההדרגתי.

הקוד משתמש במודל FLUX.1-schnell יחד עם המקודד המהיר taef1 ומודלי CLIP שונים כדי לחשב כיווני שינוי במרחב הלטנטי. יש בהגדרות המתקדמות אפשרות לאינטרפולציה מעגלית מסוג Slerp, שליטה במספר צעדי הביניים בין 3 ל־65, ומספר צעדי הסקה שמוגבל ל־1 עד 4 בלבד.

הממשק מציג ארבע דוגמאות מובנות של מעברים: מכלב בפארק בחורף לקיץ, מבית בפרברי ארה"ב לאירופה, מעגבנייה רקובה לעגבנייה טרייה, ומטלפון מהעבר לטלפון מהעתיד.

מתאים ל

  • המחשת שינוי עונתי

    יצירת מעבר ויזואלי הדרגתי מנוף מושלג של חורף לנוף קיצי באותו הפריים.

  • שינוי גיל ומצב חפצים

    בדיקת התיישנות של פריטים כמו טלפון או מעבר של פרי ממצב טרי לרקוב.

  • מחקר וקטורים לטנטיים

    ניתוח האופן שבו כיווני CLIP משפיעים על הפלט של FLUX בלי לשבור את המבנה.

איפה זה נופל

הממשק עצמו מזהיר שעוצמה מעל 2.5 יוצרת תוצאות לא יציבות. מעבר לכך, מודל הבסיס הוא FLUX schnell המהיר, ומספר צעדי ההסקה נעול בין 1 ל־4, מה שאומר שהאיכות מוגבלת ביחס למודלים המלאים של המשפחה. הכלי גם לא תומך בהעלאת תמונות משלכם אלא מייצר תמונות חדשות בלבד מטקסט.

שאלות
נפוצות

האם השימוש עולה כסף?

לא, השימוש בעמוד פתוח וחינמי לגמרי. הוא רץ על תשתית שיתופית ולכן אין צורך להזין אמצעי תשלום.

מה קורה עם התמונות והטקסט שאני מזין?

הטקסט נשלח לעיבוד בשרת המארח ולא נשמר במאגר פרטי קבוע. אם השתמשתם בדוגמאות המובנות הן שמורות במטמון הציבורי של הממשק.

כמה זמן לוקח לייצר סרטון מעבר חדש?

הרצת חישוב חדש אורכת לרוב בין עשרות שניות לדקה, בהתאם למספר צעדי הביניים ומספר איטרציות ה־CLIP שהגדרתם. אם תבחרו דוגמה קיימת מהרשימה, התוצאה תוצג באופן מיידי.

האם אפשר להריץ את זה על המחשב שלי?

כן, הקוד מפורסם תחת רישיון MIT ומשתמש בספריות diffusers רגילות. תצטרכו כרטיס מסך מתאים עם תמיכה ב־CUDA וזיכרון שיכול להחזיק את FLUX schnell.

איך משתמשים

בוחרים דוגמה מוכנה או מקלידים פרומפט ושני מושגים, ולוחצים על הכפתור הראשי ליצירת הכיוונים. השרת רץ על מאיץ A10G דרך מנגנון ZeroGPU, כך שהעיבוד מקבל משאבים לפי דרישה. אין צורך בהתחברות או תשלום כדי להריץ.

אם יש עומס על השרתים ייתכן שתמתינו בתור קצר להקצאת החומרה. הדוגמאות המובנות שמורות במטמון ונטענות מיד, אבל יצירה חדשה דורשת חישוב של עשרות עד מאות איטרציות CLIP ולכן לוקחת קצת זמן.

הרישיון

הקוד פתוח תחת רישיון MIT שמאפשר שימוש חופשי, שינוי והפצה כולל שימוש מסחרי. עם זאת, התוצאות מבוססות על FLUX.1-schnell ומודלי CLIP, ולכן כפופות גם לתנאי הרישיון של המודלים האלה.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗