LLaMA-Mesh

מה זה

במקום לחבר מודל דיפוזיה חיצוני או להרחיב את המילון בטוקנים מיוחדים, החוקרים אימנו מודל שפה רגיל לכתוב קואורדינטות וקודקודים של קובצי OBJ כאילו היו טקסט רגיל. הבסיס הוא Llama 3.1 בגודל 8B, שעבר כוונון עדין על 30 אלף דגמים ממאגר Objaverse.

התוצאה היא רשת אחת שמסוגלת לקבל הנחיה מילולית, להחזיר תשובה טקסטואלית ולשלב בתוכה את הגדרות המבנה התלת ממדי. לפי נתוני המאמר, איכות המבנים שנוצרת משתווה לזו של מערכות ייעודיות שנבנו מאפס לתלת ממד, בלי שהיכולת הטקסטואלית של מודל הבסיס תיפגע.

מתאים ל

• יצירת צורות בסיסיות בשיחה

  הוא מפיק קבצי OBJ פשוטים מתוך הנחיה טקסטואלית ישירה בלי תוכנת תלת ממד ברקע.

• מחקר על תפיסה מרחבית

  הוא מאפשר לבחון איך מודל שפה מבין ומייצג גיאומטריה תלת ממדית כרצף טקסט.

• פענוח נתוני מבנה קיימים

  הוא מסוגל לקרוא קואורדינטות של קודקודים ולפרש את הצורה המרחבית שהם מייצגים.

איפה זה נופל

הנתונים אומנו אך ורק על צורות פשוטות עם פחות מ־500 פאות מתוך מאגר Objaverse. זה אומר שלא תקבלו מודלים מורכבים, מפורטים או מוכנים לשימוש במשחקים כבדים, אלא צורות בסיסיות למדי. בנוסף, חלון הקלט והפלט בפועל מוגבל ל־8k טוקנים למרות המפרט של מודל הבסיס, מה שחוסם יצירת גיאומטריה צפופה שדורשת רשימות קודקודים ארוכות.

איך מריצים

המשקלים תופסים 15 ג'יגה בייט בפורמט bfloat16 ודורשים כרטיס מסך עם לפחות 16 עד 24 ג'יגה בייט זיכרון כדי לבצע היקש בסיסי ב־PyTorch. המפתחים בדקו אותו על גבי A100 בסביבת Linux, והכרטיס מציין תמיכה בארכיטקטורת Ada של אנבידיה.

המגבלה המרכזית בהרצה היא אורך הפלט המרבי, שעומד על 8,000 טוקנים עבור קובץ הטקסט שמרכיב את הרשת התלת ממדית. בגלל שמדובר בפרויקט מחקרי ללא שירות ענן מסחרי מוכן, תצטרכו להרים שרת GPU עצמאי בענן או להריץ על חומרה מקומית חזקה.

from transformers import pipeline

pipe = pipeline("text-to-3d", model="Zhengyi/LLaMA-Mesh")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• tokenizer_config.json51.3 KB
• model.safetensors.index.json23.9 KB
• LICENSE_LLAMA7.6 KB
• README.md6.3 KB
• LISENCE4.2 KB
• .gitattributes1.5 KB
• config.json856 B
• special_tokens_map.json439 B
• generation_config.json184 B

הרישיון

הרישיון כאן מגביל ומורכב משני חלקים. המודל מופץ תחת רישיון NSCLv1 שמתיר שימוש לא מסחרי בלבד, לצד תנאי הרישיון הקהילתי של Llama 3.1 המחייבים לציין Built with Llama. אי אפשר לשלב אותו במוצר מסחרי או למכור שירותים המבוססים עליו.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗