חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
T

innoai/TRELLIS

רץ בדפדפן

innoaimit2024-12-21

  • gradio

הופך תמונה אחת או כמה תמונות לנכס תלת ממדי מלא. מתאים למי שצריך מודל או תצוגת גאוסיאן בלי להתחיל לפסל מאפס.

  • —הורדות בחודש
  • 52לייקים

מה זה

מעלים תמונה בודדת או גלריית תמונות, והמערכת מייצרת תצוגת וידאו של האובייקט שמסתובב במרחב, עם אפשרות לחלץ קובץ GLB או קובץ גאוסיאן ספלאטינג להורדה.

מאחורי הקלעים רץ המודל TRELLIS-image-large של מיקרוסופט. התהליך עובד בשני שלבים, קודם יצירת מבנה דליל ואז יצירת ייצוג לטנטי מובנה, ומאפשר לכוון צעדי דגימה ועוצמת הנחיה לכל שלב בנפרד.

הממשק כולל עשרות דוגמאות מוכנות של תמונות בודדות ומספר דוגמאות מרובות זוויות, כך שאפשר לבדוק את התוצאות גם בלי להעלות קבצים משלכם.

מתאים ל

  • יצירת מודל מרשת מתמונה

    ממירים תמונת מוצר לקובץ GLB עם שליטה על רמת פישוט הרשת וגודל הטקסטורה.

  • הפקת ייצוג גאוסיאן

    מייצרים קובצי ספלאטינג תלת ממדיים לתצוגה בזמן אמת ממספר תמונות מזוויות שונות.

  • בדיקת איכות המודל של מיקרוסופט

    בוחנים את ביצועי TRELLIS על עשרות דוגמאות מובנות מראש לפני הטמעה בפיתוח עצמאי.

איפה זה נופל

שדות העלאת התמונות מוגדרים בקוד כלא אינטראקטיביים, מה שעלול לחסום העלאת קבצים חופשית ולהגביל אתכם לדוגמאות המוכנות בלבד. בנוסף, חילוץ המודל דורש שלב נפרד ולא קורה אוטומטית, והרצה על מעבד רגיל תגרום לכל ניסיון לקחת זמן רב לעומת כרטיס מסך ייעודי.

שאלות
נפוצות

האם השימוש באפליקציה עולה כסף?

לא, הממשק פתוח לשימוש חופשי בדפדפן. אין דרישת תשלום או מנוי כדי להריץ את הדוגמאות.

מה קורה לקבצים שאני מעלה?

הקוד מגדיר מחיקה אוטומטית של קבצי המטמון כל 600 שניות. עם זאת, העיבוד נעשה על שרת מרוחק פתוח ולכן לא מומלץ להעלות חומרים רגישים.

כמה זמן לוקח לייצר מודל?

החומרה המדווחת היא מעבד בסיסי בלבד. מכיוון שמדובר במודל כבד ליצירת תלת ממד בשני שלבים, העיבוד צפוי לקחת זמן ממושך בהשוואה לחומרה עם מאיץ גרפי.

האם אפשר להריץ את זה על המחשב שלי?

כן, המודל מבוסס על קוד פתוח וספריית TRELLIS תחת רישיון MIT. תוכלו למשוך את המשקולות של מיקרוסופט ולהריץ אותן בסביבת פייתון מקומית עם כרטיס מסך מתאים.

איך משתמשים

בוחרים תמונה או דוגמה מהרשימה, מכוונים פרמטרים אם רוצים, ולוחצים על Generate. אחרי שסרטון התצוגה מוכן, לוחצים על כפתורי החילוץ כדי להפיק קובץ GLB או קובץ גאוסיאן, ואז מורידים אותם ישירות. החומרה המוגדרת היא מעבד בסיסי, מה שאומר שזמני העיבוד עלולים להיות איטיים במיוחד בפעולות כבדות כאלה, ואין צורך בהתחברות מיוחדת כדי להתחיל.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי כולל שינוי והפצה. הקוד כולל ניקוי זכרון מטמון תקופתי כל עשר דקות, אך התוכן שמועלה או מיוצר מעובד על שרתי השירות הפתוח.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗