LLaMA-Mesh — הדגמה

קוד פתוח

Zhengyillama3.12024-11-18

gradio

הדגמה שיוצרת מודלים תלת-ממדיים ישירות מתוך שיחה טקסטואלית רגילה. היא מיועדת למי שרוצה לבחון איך מודל שפה מייצר קוד גיאומטרי בלי לעבור בתוכנות עיצוב כבדות.

8Bפרמטרים
131,072טוקנים בהקשר
15.0 GBמשקל הקבצים
—הורדות בחודש

מה זה

אתם כותבים בקשת טקסט בחלון צ'אט, והמודל עונה בתיאור מילולי לצד נתוני קוד שמגדירים את המבנה הגיאומטרי. מתחת למכסה המנוע רץ המודל Zhengyi/LLaMA-Mesh דרך הספרייה transformers, כשהוא משתמש בארכיטקטורה שמייצרת טקסט שמייצג נקודות וחיבורים במרחב.

אחרי שהצ'אט פולט את הנתונים, מעתיקים את ייצוג התלת-ממד שיצא ומדביקים אותו בתיבת טקסט ייעודית בצד המסך. לחיצה על כפתור התצוגה מפעילה ספרייה בשם trimesh, שממירה את הטקסט למבנה תלת-ממדי ומייצאת אותו לקובץ glb שמוצג ישירות ברכיב ויזואלי בדפדפן.

מתאים ל

בדיקת יכולות המודל
התנסות ביצירת גיאומטריה תלת-ממדית ישירות מפקודות טקסט קצרות.
תצוגת רשת פשוטה
המרת נתוני טקסט שמייצגים קודקודים לקובץ glb ויזואלי בדפדפן.
בחינת פרמטרים
משחק עם סליידרים של אורך ייצור כדי לראות את השפעתם על המבנה.

איפה זה נופל

זה לא כלי שמייצר קובץ מוכן להורדה בלחיצה אחת, והמעבר בין הצ'אט לתצוגה התלת-ממדית דורש העתקה והדבקה ידנית. המודל מוגבל ביכולת שלו לייצר פרטים מורכבים מאוד או טקסטורות עשירות, כי הוא מנסה לתאר קודקדקודים ישירות דרך טוקנים של שפה. אם המודל יחזיר שגיאת תחביר במבנה הקוד, ספריית trimesh תיכשל בעיבוד ולא תראו שום מודל על המסך.

שאלות
נפוצות

האם השימוש באפליקציה עולה כסף?

לא, הגישה לדמו פתוחה בחינם דרך הדפדפן. אין צורך להזין אמצעי תשלום כדי להריץ שאילתות וליצור אובייקטים. המשאבים מוקצים על בסיס שיתופי בחומרה הזמינה.

מה קורה עם הטקסט שאני מזין בצ'אט?

הטקסט נשלח לעיבוד במודל שרץ על השרת כדי לייצר את התשובה. מכיוון שמדובר בסביבה ציבורית, לא מומלץ להזין שם מידע רגיש או קוד סודי. הנתונים משמשים להרצת ההדגמה הנוכחית בלבד.

האם אפשר להריץ את הכלי הזה במחשב האישי?

כן, הקוד מסתמך על ספריות סטנדרטיות כמו transformers ו־trimesh, והמשקלים זמינים להורדה. תצטרכו חומרה עם כרטיס מסך חזק שמסוגל להריץ מודלים מסוג זה, בדומה לכרטיס A10G שמוגדר בפרויקט. התקנת הסביבה דורשת ידע בסיסי בפייתון.

למה המודל לא מופיע מיד בחלון התצוגה?

הצ'אט עצמו רק מדפיס את נתוני הטקסט שמגדירים את הגיאומטריה. כדי לראות את המודל, חובה להעתיק את הפלט הטקסטואלי, להדביק אותו בתיבה הייעודית וללחוץ על כפתור הוויזואליזציה. זהו תהליך ידני שהממשק דורש כרגע.

איך מריצים

מזינים תיאור של חפץ בתיבת השיחה, ואם רוצים אפשר לפתוח את תפריט הפרמטרים ולשנות ערכים בסליידרים שקובעים את אורך הפלט וההגדרות שלו. התשתית משתמשת במאיץ מסוג zero-a10g שמקצה משאבים לפי דרישה, כך שזמן ההמתנה תלוי בעומס ובמשך הזמן שלוקח למודל לפלוט את כל הנקודות. אחרי שהפלט מוכן, יש שלב ידני: מעתיקים את תוכן התלת-ממד, מדביקים אותו בתיבה הימנית ולוחצים על כפתור התצוגה כדי לראות את האובייקט מסתובב על המסך. אין צורך בהתחברות כדי להתחיל.

pip install -U huggingface_hub
hf download Zhengyi/LLaMA-Mesh

הקבצים

14 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט פועל תחת רישיון llama3.1, מה שמטיל את תנאי השימוש וההגבלות המסחריות של מטא על המודל ועל התוצרים שלו. הקוד והדמו פתוחים לצפייה, אבל שימוש מסחרי נרחב דורש עמידה במגבלות הרישיון המקורי.

שימוש מסחרי עד 700 מיליון משתמשים
שינוי הקוד
חובת ייחוס

הרישיון המלא בעמוד המודל ↗