LLaMA-Mesh-GGUF

קוד פתוח

bartowskillama3.12024-11-20

gguf
mesh-generation
text-to-3d
endpoints_compatible
conversational

גרסת GGUF מכווצת למודל שמייצר רשתות תלת ממד מטקסט. מי שמחפש להריץ יצירת תלת ממד ישירות על חומרת צרכנים מקומית ימצא כאן את כל דרגות הכיווץ האפשריות.

119 GBמשקל הקבצים
1,820הורדות בחודש
45לייקים

מה זה

המאגר הזה לוקח את המודל המקורי של Zhengyi וממיר אותו לעבודה מקומית דרך סביבות כמו llama.cpp או LM Studio, תוך שימוש בכיול imatrix. המשימה המוצהרת שלו היא ייצור מודלים תלת ממדיים מתוך תיאור טקסטואלי, מבנה שמחייב פלט מדויק של קודקודים ופאות ולא רק מלל רגיל.

במקום להתמודד עם משקלי המקור הכבדים, bartowski מציע פריסה רחבה מאוד שמתחילה מקובץ f16 מלא בנפח 16.07 ג'יגה בייט ועד גרסאות דחוסות ברמת שתי סיביות בנפח של פחות מ־3 ג'יגה בייט. בחלק מהגרסאות, כמו Q4_K_L או Q6_K_L, שכבות ההטמעה והפלט נשמרות ברמת דיוק גבוהה יותר של Q8_0 כדי למנוע שיבושים במבנה הגיאומטרי שנוצר.

מתאים ל

ייצור מודלים מקומי
יצירת קבצי תלת ממד מטקסט ישירות על מחשב אישי בלי תלות ברשת או שרתים חיצוניים.
פיתוח על כרטיסי 8GB
גרסת Q4_K_M יושבת בתוך 4.92 ג'יגה בייט ומאפשרת עבודה מהירה על כרטיסי מסך בסיסיים.
עיבוד על שרתי מעבד
גרסת Q4_0_8_8 מותאמת להרצה יעילה על מעבדי AVX ושרתים ללא כרטיס גרפי ייעודי.

איפה זה נופל

הכרטיס מדגיש שגרסאות מסוימות מאבדות איכות בצורה ניכרת. גרסאות Q3_K_S ומטה מסומנות כבעלות איכות נמוכה מאוד, מה שעלול להחריב לחלוטין גיאומטריה תלת ממדית עדינה. מעבר לזה, גרסאות ה־IQ אינן נתמכות תחת Vulkan, והרצה על מעבדי אפל בגרסאות אלו תהיה אטית בהרבה בהשוואה לקבצי K סטנדרטיים.

שאלות
נפוצות

באיזה קובץ כדאי לבחור אם יש לי כרטיס מסך ביתי?

הבחירה היציבה והמאוזנת ביותר היא Q4_K_M ששוקל 4.92 ג'יגה בייט. הוא שומר על איכות טובה של המודל ונכנס בקלות בכל כרטיס עם 6 או 8 ג'יגה בייט זיכרון.

האם אפשר להשתמש בגרסאות ה־ARM על מחשבי Mac?

לא. הכרטיס מציין במפורש שגרסאות כמו Q4_0_4_4 אינן מיועדות למחשבי מק או להרצה על כרטיסי מסך, ועבור מק כדאי לקחת קובץ K רגיל.

איך מריצים

כדי להריץ אותו במהירות מקסימלית תצטרכו כרטיס מסך עם זיכרון גדול בגיגה או שניים מגודל הקובץ הנבחר. קובץ ברירת המחדל המומלץ לרוב השימושים הוא Q4_K_M ששוקל 4.92 ג'יגה בייט, מה שאומר שהוא נכנס בנוחות על כרטיס צרכני פופולרי עם 8 ג'יגה זיכרון.

אם יש לכם מחשב מבוסס מעבדי ARM או שרת עם AVX, קיימות גרסאות ייעודיות כמו Q4_0_4_4 ו־Q4_0_8_8 שרצות ישירות על המעבד, אך אסור להריץ אותן על מחשבי מק או דרך כרטיס מסך. אין למודל הזה שירות ענן רשמי בחומר, כך שהרצה מקומית היא ברירת המחדל.

ollama run hf.co/bartowski/LLaMA-Mesh-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

27 קבצים במאגר, 119 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המוגדר הוא רישיון llama3.1 של חברת מטא. מותר להשתמש במודל לצרכים מסחריים ומחקר, אך כפופים למגבלות השימוש המקובלות של מטא, כולל דרישה לרישוי מיוחד אם כמות המשתמשים הפעילים החודשית חוצה מאות מיליונים.

שימוש מסחרי עד 700 מיליון משתמשים
שינוי הקוד
חובת ייחוס

הרישיון המלא בעמוד המודל ↗