perflow-triposr

מה זה

מזינים תיאור טקסטואלי קצר ומספר סיד, ובתמורה מקבלים תמונה דו מימדית ולצידה קובץ תלת מימדי בפורמט שמוצג ישירות בממשק. המערכת מחברת כמה חלקים יחד: היא מייצרת תחילה תמונה בסגנון דיסני בעזרת פייפליין מבוסס סטייבל דיפיוז'ן עם שילוב של PeRFlow להאצה, מסירה את הרקע, ואז מעבירה אותה למודל TripoSR שמחלץ ממנה את הרשת התלת מימדית.

בקוד אפשר לראות שההפקה נשענת על מודלים של סטייביליטי, משקולות ייעודיות לסגנון אנימציה, ומנגנון של DINO לחילוץ מאפיינים ויזואליים. הממשק מציע דוגמאות מוכנות מראש כמו כלב האסקי כדי להראות תוצאה מיידית, ובודק איך המעבר מתיאור טקסט חופשי לאובייקט תלת מימדי עובד ברצף אחד בלי שלבי ביניים ידניים.

מתאים ל

• בדיקת רעיונות לעיצוב

  יצירה מהירה של דמויות תלת מימדיות ראשוניות מטקסט כדי לבחון כיוון ויזואלי.

• הפקת מודלים בסגנון אנימציה

  הוצאת אובייקטים תלת מימדיים שנשענים על מודל התמונות המותאם לסגנון סרטים מצוירים.

• ניסוי בשילוב מודלים

  בחינת החיבור בין מנוע יצירת תמונות מואץ לבין מודל שחזור גיאומטרי של רשתות.

איפה זה נופל

הבעיה המיידית היא סטטוס התקלה שמופיע כרגע בעמוד, מה שאומר שההדגמה לא עולה בפועל בדפדפן בלי תיקון של המפתח. מעבר לכך, המודל מייצר תלת מימד רק מתמונה יחידה שנוצרת בסגנון מצויר ספציפי, כך שאין פה שליטה על גיאומטריה מורכבת או מודלים פוטוריאליסטיים, והאיכות תלויה לחלוטין ברמת הדיוק של הסרת הרקע האוטומטית.

איך משתמשים

מקלידים תיאור בשדה הטקסט, בוחרים מספר סיד אם רוצים לשלוט באקראיות, ולוחצים על הפעלה. לפי הקוד התמונה עצמה אמורה להיווצר בתוך כשנייה אחת, אם כי ריצה ראשונה עלולה להתעכב בגלל שלב החימום של התוכנה. ההרצה מוגדרת על חומרת zero-a10g בשרתים מרוחקים, כך שאין צורך בכרטיס מסך חזק במחשב האישי, אך כרגע הדף מדווח על שגיאת קונפיגורציה שמונעת עבודה תקינה.

הרישיון

הרישיון של המרחב לא דווח כלל. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בתוצרים, ויש לבדוק בנפרד את תנאי השימוש של דגמי הבסיס כמו TripoSR וסטייבל דיפיוז'ן לפני שעושים בהם משהו מעבר לבדיקה פרטית.

הרישיון המלא ב־Hugging Face ↗