OpenLRM

מה זה

אתם מעלים תמונה בודדת בפורמט RGBA, ומקבלים תצוגה מעובדת שלה לצד סרטון mp4 שמציג רינדור של האובייקט מכל הכיוונים. הממשק כולל כמה הגדרות בסיסיות שמשפיעות ישירות על התוצאה, כמו אפשרות להסרת רקע אוטומטית, מרכוז מחדש של האובייקט במסגרת, ומחוון לקביעת מרחק המצלמה בטווח שבין 1.0 ל־3.5.

מאחורי הקלעים רץ המודל openlrm-mix-base-1.1 יחד עם המודל dino-vitb16 של פייסבוק לחילוץ מאפיינים חזותיים. יש בממשק גם דוגמאות מובנות שמאפשרות לבדוק את התהליך מיד בלי להעלות קובץ אישי, כך שאפשר לראות איך האלגוריתם מבודד עצמים שונים ובונה עבורם את הנפח הנדרש לפני שמנסים תמונות מורכבות יותר מהמחשב שלכם.

מתאים ל

• בדיקת נפח של חפצים

  העלאת צילום מוצר כדי לראות איך האלגוריתם מנחש ומרנדר את הצדדים הנסתרים שלו בסרטון סיבוב מהיר.

• יצירת תצוגות מונפשות

  הפקת סרטון קצר של אובייקט שמסתובב על צירו מתוך תמונה סטטית אחת ללא צורך בעבודת אנימציה ידנית.

• בחינת יכולות OpenLRM

  ניסוי מעשי של שילוב המודלים עם dino-vitb16 על סוגי תמונות שונים כדי לבדוק דיוק לפני הרצה מקומית.

איפה זה נופל

הכלי מייצר רק קובץ וידאו מרונדר ולא מודל תלת ממדי גולמי כמו OBJ או GLB שניתן להוריד ולערוך בתוכנות גרפיות. החיסרון הבולט ביותר כרגע הוא שהאפליקציה נמצאת במצב של שגיאת ריצה, כך שסביר להניח שהיא לא תעבוד בכלל עד שהמפתח יתקן אותה. בנוסף, חילוץ התלת ממד נשען על הסרת רקע טובה, ואם האובייקט מטושטש או הרקע מורכב מדי, התוצאה תתעוות.

איך משתמשים

לוחצים על כפתור ההעלאה, בוחרים תמונה, מוודאים שהאפשרויות להסרת רקע ומרכוז מסומנות לפי הצורך, ולוחצים על כפתור Generate. ההרצה מוגדרת על מעבד גרפי חזק מסוג A10G Large, מה שאמור לספק רינדור זריז בלי להמתין דקות ארוכות. אין צורך להתחבר או להירשם כדי לנסות, אבל כרגע העמוד מדווח על שגיאת ריצה, כך שהשרת עלול לא להגיב בפועל.

הרישיון

הקוד והפרויקט מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה של הקוד. עם זאת, התמונות שאתם מעלים נשלחות לשרתי המארח ומעובדות שם, כך שלא כדאי להעלות קבצים רגישים או חומרים מסחריים סודיים לפני שמוודאים את מדיניות השמירה של השרת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗