חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
I

invisible-stitch

רץ בדפדפן

paulengstlerרישיון לא דווח2024-04-30

  • gradio

הופך תמונה בודדת וטקסט לסצנת תלת ממד שמוצגת בדפדפן. מיועד למי שרוצה לבדוק שחזור עומק והרחבת סצנות בלי להתקין סביבת פיתוח כבדה.

  • —הורדות בחודש
  • 45לייקים

מה זה

מעלים תמונה אחת, מקלידים הנחיית טקסט קצרה שמתארת את הסביבה, ומקבלים מודל תלת ממדי לצפייה ישירה. התהליך מתבסס על שילוב של מודל עומק מותאם בשם zoe dc יחד עם מודל השלמת תמונה של סטייבל דיפיוז'ן 2, במטרה לייצר ענן נקודות וסצנת גאוסיאן ספלאטינג שממשיכה את התמונה המקורית.

הממשק כולל דוגמאות מוכנות שכוללות תמונות רחוב בקיוטו, נוף בפארק לאומי, שביל בוצי ביער וחללי פנים כמו חדרי שינה וסלון ביתי. התוצאה הסופית מוצגת כקובץ תלת ממד להורדה ולסיבוב ישירות על המסך.

מתאים ל

  • בדיקת השלמת עומק

    בחינת היכולת להשלים נפח וגאומטריה מתמונה אחת יחד עם הנחיית טקסט קצרה.

  • הערכת מודל המחקר

    השוואת ביצועי המודל מול המאמר שפורסם, על בסיס דוגמאות מובנות מראש.

  • יצירת בסיס ראשוני לתלת ממד

    הפקת ענן נקודות גס ששוקל כארבעים מגה בייט לצורך המשך עבודה בתוכנות חיצוניות.

איפה זה נופל

היוצר מציין במפורש שבגרסת ההדגמה הזו היכולות הוגבלו כדי לשמור על מהירות. הסצנות נוצרות ברזולוציה נמוכה, ללא עיבוי נקודות, ללא השלמת זוויות תמיכה וללא אופטימיזציה של ענן הנקודות הסופי. המשמעות היא פגמים בולטים לעין, במיוחד באזורי גבולות של חפצים. בנוסף, האפליקציה כרגע קורסת ולא מייצרת פלט כלל.

שאלות
נפוצות

האם האפליקציה עובדת כרגע בחינם?

הגישה פתוחה בדפדפן ללא תשלום, אבל כרגע המופע מדווח על שגיאת ריצה. בפועל אי אפשר להריץ אותה כרגע עד שהמפתח יעדכן את הסביבה.

כמה זמן לוקח לייצר סצנה?

לפי תיאור המפתח, התהליך אמור לקחת פחות משלושים שניות בזכות חומרת zero a10g. לאחר מכן יש להמתין עוד כמה שניות להורדת קובץ התלת ממד ששוקל כארבעים מגה בייט.

במה שונה ההדגמה מהמודל המקורי?

כדי לקצר את זמן ההמתנה, ההדגמה מריצה רזולוציה נמוכה ומדלגת על עיבוי הנקודות ועל השלמת זוויות נוספות. התוצאה כאן כוללת עיוותים באובייקטים שלא קיימים במימוש המלא.

האם אפשר להריץ את הקוד באופן עצמאי?

כן, הקוד זמין בגיטהאב והמשקלים נמצאים בהאגינג פייס תחת פרויקט invisible stitch. אפשר להוריד אותם ולהריץ לוקאלית על מעבד גרפי תואם בלי המגבלות של ההדגמה.

איך משתמשים

לוחצים על תמונת דוגמה או מעלים תמונה משלכם דרך גרירה או לוח ההעתקה, כותבים תיאור טקסט ולוחצים על כפתור ההרצה. המערכת מוגדרת לרוץ על מאיץ גרפי מסוג zero a10g ומבטיחה ייצור תוך פחות משלושים שניות, אבל כרגע האפליקציה נמצאת במצב שגיאת ריצה כך שלא ניתן להשתמש בה בפועל עד שהיוצר יתקן אותה. אם היא עובדת, קובץ התוצאה שוקל סביב 40 מגה בייט ודורש כמה שניות להורדה.

הרישיון

לא דווח רישיון עבור האפליקציה הזו. כשאין רישיון מוגדר, אין היתר ברור לשימוש מסחרי בקוד או בתוצרים, והזכויות על התמונות שאתם מעלים ועל הפלטים נשארות מעורפלות מבחינה חוקית.

הרישיון המלא ב־Hugging Face ↗