DiT360

מה זה

כותבים תיאור טקסטואלי, לוחצים על כפתור הייצור, ומקבלים תמונת פנורמה רחבה שמתאימה לפריסה של 360 מעלות. יש בממשק דוגמאות מובנות של פרומפטים שאפשר לטעון בלחיצה אחת כדי לראות את הסגנון שהכלי מוציא בלי להקליד מאפס.

מאחורי הקלעים רץ צינור עיבוד בשם DiT360Pipeline שמשלב מודל ייעודי של Insta360 יחד עם תשתית של FLUX.1 ומודלי שפה וראייה כמו T5 וקליפ. השילוב הזה נשען על אימון היברידי שמחזיק את התמונה רציפה ועקבית גם בקצוות שבהם הפנורמה מתחברת לעצמה.

מתאים ל

• רקעי שמיים למשחקים

  יצירת מפות סביבה פנורמיות להטמעה במנועי משחק ותוכנות תלת ממד.

• המחשות למציאות מדומה

  בדיקת רעיונות לסביבות סגורות או פתוחות לצפייה במשקפי VR.

• קונספט לסביבות וירטואליות

  ייצור מהיר של רקעים היקפיים לצורכי הדמיה אדריכלית או פרזנטציות.

איפה זה נופל

הממשק מקבל רק טקסט. אי אפשר להעלות תמונה קיימת כדי להרחיב אותה לפנורמה או לערוך חלקים מסוימים בתוצאה, כך שאם הפרומפט לא פגע, צריך להתחיל מהתחלה עם סיד אחר. בנוסף, מודל כבד כזה על A10G עם 50 צעדי עיבוד לא מייצר תוצאה מיידית, ובמקרים של עומס על השרתים הריצה עלולה להיעצר או לקחת זמן רב.

איך משתמשים

נכנסים לעמוד, מקלידים פרומפט או בוחרים דוגמה מהרשימה, ולוחצים Generate. בהגדרות אפשר לשנות את מספר צעדי הדגימה בין 28 ל־100, כשברירת המחדל עומדת על 50 צעדים, ולקבוע סיד ספציפי או להגריל אותו.

העיבוד רץ על מאיץ A10G דרך מנגנון ZeroGPU. זה אומר שלא צריך לשלם או להחזיק כרטיס מסך מקומי חזק, אבל בזמן עומס ייתכן שתחכו בתור עד שהחומרה תתפנה לכמה עשרות שניות של חישוב.

הרישיון

הקוד וההדגמה מפורסמים תחת רישיון MIT, שמאפשר שימוש חופשי כולל שינוי והפצה. התמונות שנוצרות שייכות לכם לפי תנאי הרישיון, אך יש לשים לב שהצינור נשען גם על מודלים של צד שלישי כמו FLUX שכוללים תנאי שימוש נפרדים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗