חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
Z

Zero123PlusDemo

רץ בדפדפן

ysharmamit2023-10-24

  • gradio

הדגמה שמייצרת שש זוויות צפייה שונות מתמונה בודדת. היא מיועדת למי שצריך תצוגה היקפית של חפץ בשביל מידול תלת מימדי.

  • —הורדות בחודש
  • 59לייקים

מה זה

אתם מעלים תמונה בודדת של עצם ומקבלים תמונה שמציגה אותו מכמה זוויות שונות בעלות עקביות הדדית. מתחת למכסה המנוע רץ המודל zero123plus בגרסה 1.1 של sudo-ai, יחד עם צנרת הדיפוזיה המתאימה ומתזמן מסוג EulerAncestralDiscreteScheduler. הקוד משתמש גם בספריית rembg כדי להסיר רקעים באופן אוטומטי מהקלט או מהתוצאה הסופית, מה שמבודד את האובייקט לקראת עיבוד נוסף.

בממשק עצמו יש אפשרויות מתקדמות לשליטה בתהליך, כולל שינוי של צעדי ההסקה בין 15 ל־100 כשברירת המחדל עומדת על 75, כיוון ערך ה־guidance scale בין 1.0 ל־10.0, וקביעת סיד קבוע לשחזור תוצאות. בדוגמאות המוכנות בעמוד מופיע קובץ של מטף כיבוי אש, שמראה איך עצם יומיומי מפורק לתצוגה מזוויות שונות.

מתאים ל

  • הכנת היטלים למידול

    יצירת זוויות מרובות מתמונה אחת כבסיס לבניית מודל תלת מימדי מלא.

  • בידוד חפצים עם רקע שקוף

    הסרת רקע מהקלט ומהתוצאה בלחיצה אחת לצורך בדיקת עקביות האובייקט.

  • בדיקת פרמטרים למודל

    ניסוי מהיר של ערכי צעדים ו־guidance שונים על מודל zero123plus.

איפה זה נופל

הבעיה המיידית היא הסטטוס של האפליקציה, שמוגדר כרגע כשגיאת זמן ריצה ולא עובד בפועל. מעבר לזה, המודל מייצר תמונת דו מימד מרובת היטלים ולא קובץ תלת מימד מוכן כמו OBJ או GLTF, כך שעדיין תצטרכו שלב שחזור נוסף. חפצים עם רקע מורכב יתקשו בלי הסרת רקע נקייה, ודוגמת המטף מטעה לחשוב שכל זווית תצא חדה באותה מידה.

שאלות
נפוצות

האם אפשר להשתמש באפליקציה עכשיו?

לא דרך הדפדפן בעמוד הנוכחי, כי המרחב נמצא במצב של תקלת זמן ריצה. כדי להשתמש במודל תצטרכו להעתיק את הקוד או להריץ אותו מקומית.

האם הכלי עולה כסף?

הגישה לעמוד בחינם לגמרי וקוד המקור פתוח תחת רישיון MIT. אם תרצו לשכפל את המרחב לחומרה פרטית בשרת, תשלמו לפי תעריפי החומרה שם.

האם התוצאה היא קובץ תלת מימד להורדה?

לא. האפליקציה מחזירה קובץ תמונה שמכיל מספר היטלים של אותו עצם, ולא רשת תלת מימדית גיאומטרית.

מה קורה לקבצים שמעלים?

התמונות נשלחות לסקריפט ה־gradio שרץ על השרת כדי לבצע את החיתוך וההסקה. אין הצהרה על שמירת המידע במאגר נפרד מעבר לפעולת הריצה עצמה.

איך משתמשים

טוענים תמונה של חפץ, בוחרים אם להסיר את הרקע, ולוחצים על Submit. העיבוד מוגדר לרוץ על חומרת a10g-small שמספקת כוח חישוב סביר לדיפוזיה, אבל ברירת המחדל של 75 צעדים תדרוש המתנה של כמה שניות טובות לכל ריצה. לא צריך חשבון מיוחד כדי לגשת לממשק, אבל כרגע העמוד מדווח על תקלת ריצה ולכן אי אפשר להריץ אותו ישירות בדפדפן בלי לתקן את הקוד או להרים עותק משלכם.

הרישיון

הקוד של היישום מופץ תחת רישיון MIT, שזה רישיון מתירני שמאפשר שימוש חופשי, העתקה ושינוי גם לצרכים מסחריים. לגבי התוכן שאתם מעלים או התמונות שנוצרות, אין כאן תנאי שימוש נפרדים והזכויות עליהם נשארות שלכם לפי החוק הרגיל.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗