GPT
F

Flux-TRELLIS

רץ בדפדפן

gokaygokaymit2024-10-30

  • gradio

הכלי מייצר מודלים תלת ממדיים ישירות מתיאור טקסטואלי, ומיועד למי שמפתח משחקים או זקוק לנכסים דיגיטליים מהירים. הוא מחבר בין מודל תמונה לתלת ממד.

  • הורדות בחודש
  • 101לייקים

מה זה

אתם מקלידים תיאור טקסטואלי של חפץ או נכס למשחק ומקבלים תמונה דו ממדית, סרטון תצוגה שמסתובב סביב האובייקט, ואפשרות לחלץ קובצי תלת ממד. הממשק מאפשר לייצא את התוצאה כקובץ רשת בפורמט GLB או כקובץ גאוסיאן.

מאחורי הקלעים פועל שילוב של שני מנועים. תחילה FLUX.1 dev יחד עם תוספי LoRA ייעודיים לנכסי משחקים מייצר תמונה מהטקסט, ולאחר מכן המודל TRELLIS לוקח את התמונה, מייצר ממנה מבנה מרחבי דליל, ובונה את השכבות הלטנטיות שממירות אותה לאובייקט תלת ממדי שלם.

מתאים ל

  • ייצור נכסים ראשוני למשחקים

    יצירה מהירה של חפצים וציוד פשוטים לקבלת קובצי GLB לבדיקות מנוע.

  • בדיקת פרומפטים לתלת ממד

    ניסוי של רעיונות ויזואליים בטקסט כדי לראות איך הם מתורגמים לנפח ולסיבוב.

  • ייצוא גאוסיאן ספלאטינג

    הפקת ייצוגי גאוסיאן להטמעה בסביבות תצוגה מתקדמות בזמן אמת.

איפה זה נופל

הכלי בנוי סביב פרומפטים לנכסי משחקים ולא מיועד למודלים אדריכליים מדויקים או לדמויות מורכבות עם שלד אנימציה. חילוץ קובץ התלת ממד אינו אוטומטי ומחייב פעולה נוספת, ורמת פירוט הטקסטורה מוגבלת למה שהגדרתם בסליידרים עד 2048 פיקסלים. בנוסף, כל שינוי קטן בטקסט מייצר תמונה חדשה לחלוטין ולכן קשה להגיע לעקביות מדויקת בין ניסיונות שונים.

שאלות
נפוצות

האם השימוש בכלי עולה כסף?

השימוש בממשק הזה בענן אינו עולה כסף. הוא מתארח כהדגמה פתוחה בפלטפורמת Hugging Face. כל מה שצריך זה לפתוח את הדף בדפדפן ולהתחיל להזין נתונים.

מה קורה עם הטקסט והתוצרים שנוצרים במערכת?

ההפעלה מתבצעת על שרת ציבורי משותף ברשת. הממשק מנהל סשן שמנקה את הקבצים המקומיים בסיום, אך אין להתייחס למידע שמוזן כאל מידע מאובטח או פרטי.

כמה זמן לוקח לייצר מודל תלת ממדי?

התהליך מורכב משני שלבים של יצירת תמונה ולאחריה פיענוח תלת ממדי. בחומרת A10G שמוקצית בענן זה לוקח בדרך כלל בין חצי דקה לדקה, תלוי בעומס המשתמשים באותו רגע.

האם אפשר להתקין ולהריץ את הקוד מקומית?

כן, הקוד מבוסס על פייתון וזמין תחת רישיון MIT. עם זאת, תצטרכו כרטיס מסך חזק מאוד כדי לטעון ולהריץ יחד את FLUX ואת TRELLIS במחשב שלכם.

איך משתמשים

מקלידים תיאור בשדה הטקסט, מכוונים אם רוצים את הגדרות התמונה והשלבים של TRELLIS, ולוחצים על כפתור הייצור. לאחר שנוצר סרטון התצוגה המסתובב, הכפתורים לחילוץ GLB או גאוסיאן הופכים לפעילים ודורשים לחיצה נפרדת כדי להוריד את הקבצים. הכל רץ על חומרת zero a10g בענן של האגינג פייס, מה שדורש הקצאת משאבים דינמית, כך שייתכן זמן המתנה מסוים בתורים עמוסים.

הרישיון

הקוד של הממשק מפורסם תחת רישיון MIT, מה שמאפשר שימוש חופשי ובחינה של הקוד. עם זאת, המודלים ברקע כוללים את FLUX.1 dev שמגיע עם מגבלות שימוש משלו, ולכן אי אפשר להניח אוטומטית שכל תוצר מותר לשימוש מסחרי מלא.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗