AtomicChat/Ornith-1.5-35B-A3B-GGUF

מה זה

מדובר בהמרה מותאמת אישית של מודל המומחים Ornith-1.5, שכולל תמיכה בקלט של טקסט ותמונה יחד. הוא מחזיק 256 מומחים בסך הכל ומפעיל רק 8 מהם בכל טוקן, כך שצוואר הבקבוק העיקרי עובר מכוח העיבוד של המעבד הגרפי אל נפח הזיכרון ורוחב הפס. ארכיטקטורת הקשב שלו היא היברידית, עם קשב מלא בעשר שכבות בלבד וקשב לינארי ביתר שלושים השכבות, לצד חלון הקשר ענק שמגיע עד 262,144 טוקנים.

המפרסמים בנו כאן קוונטיזציות ייעודיות לכל טנסור בנפרד, ולא הסתפקו בהגדרות ברירת המחדל של llama.cpp. הבדיקות שהם צירפו מראות יתרון ברור לשכבות המותאמות. למשל, הגרסה המותאמת בגודל ארבעה ביטים, AD-Q4_K-IQ4_XS, שוקלת כמעט גיגהבייט פחות מגרסת Q4_K_M הרגילה, ומורידה את סטיית המידע ב־34 אחוזים מול מודל הבסיס. זה אומר שמקבלים תשובות שקרובות בהרבה לדיוק המקורי בלי לשלם בזיכרון נוסף.

מתאים ל

• ניתוח מסמכים חזותיים

  הבנת תרשימים ודוחות ויזואליים, בזכות שילוב עיבוד תמונה וקשב ארוך.

• מערכות שיחה מהירות

  מענה קולי או טקסטואלי בזמן אמת, שמנצל את מהירות החישוב של 3B פרמטרים.

• שרתים עם זיכרון בינוני

  הרצה מקומית על תחנת עבודה בודדת, תוך פריסת מומחים בין ה־GPU ל־RAM.

איפה זה נופל

ארכיטקטורת מומחים דלילה רגישה מאוד לדחיסה, והמרות נמוכות גורמות לנתב המומחים לפספס ולשלוח שאלות למומחה הלא נכון. כתוצאה מכך, ברמות דחיסה של 3 ו־2 ביטים הדיוק של הטוקן המוביל צונח מ־95 אחוזים לאזור ה־84 אחוזים, והשגיאה מצטברת מהר.

בעבודה עם תמונות, חובה להגדיר ידנית את הפרמטר image-min-tokens לערך של 1024. בלי זה, תמונות צפופות כמו צילומי מסך וגרפים מקבלות מעט מדי טוקנים, והמודל פשוט ממציא פרטים על בסיס ידע מוקדם במקום לקרוא את התמונה. בנוסף, אי אפשר להפעיל במקביל פיענוח ספקולטיבי ויכולות ראייה ממוחשבת בתוך llama.cpp.

אותה משפחה

Ornith-1.5 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

בשביל להריץ אותו כמו שצריך, הדרישות תלויות בעיקר בנפח הזיכרון הגרפי. לגרסה המאוזנת של 4 ביטים צריך כרטיס עם 24 גיגהבייט זיכרון כדי להשאיר מקום גם להקשר, כאשר לגרסת 8 ביטים מלאה תצטרכו 48 גיגהבייט. אם יש לכם כרטיס קטן יותר, למשל של 12 או 16 גיגהבייט, הטריק פה הוא להריץ את שכבות המומחים על זיכרון המחשב באמצעות הדגל cpu-moe, כי רק 3 מיליארד פרמטרים מחושבים בכל רגע והחישוב עצמו נשאר קל.

אם אין לכם כרטיס גרפי מתאים עם לפחות 16 עד 24 גיגהבייט זיכרון מהיר, עדיף לפנות ל־API חיצוני. הרצה של מודל בגודל הזה כשהמומחים זולגים לזיכרון איטי תייצר צוואר בקבוק משמעותי, שפשוט יהרוס את מהירות התגובה למשתמש.

ollama run hf.co/AtomicChat/Ornith-1.5-35B-A3B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

18 קבצים במאגר, 276 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Ornith-1.5-35B-A3B-Q8_0.gguf36.9 GB
• Ornith-1.5-35B-A3B-AD-Q6_K.gguf29.1 GB
• Ornith-1.5-35B-A3B-Q6_K.gguf28.5 GB
• Ornith-1.5-35B-A3B-AD-Q6_K-Q5_K.gguf26.2 GB
• Ornith-1.5-35B-A3B-Q5_K_M.gguf24.7 GB
• Ornith-1.5-35B-A3B-AD-Q5_K-Q4_K.gguf22.1 GB
• Ornith-1.5-35B-A3B-AD-Q5_K-IQ4_XS.gguf21.5 GB
• Ornith-1.5-35B-A3B-Q4_K_M.gguf21.2 GB
• Ornith-1.5-35B-A3B-AD-Q4_K-IQ4_XS.gguf20.1 GB
• Ornith-1.5-35B-A3B-IQ4_XS.gguf18.7 GB
• Ornith-1.5-35B-A3B-AD-IQ4_XS-IQ3_S.gguf17.6 GB
• Ornith-1.5-35B-A3B-AD-IQ3_S-IQ3_XXS.gguf15.5 GB
• Ornith-1.5-35B-A3B-AD-IQ3_XXS-IQ2_S.gguf13.7 GB
• btn_atomic.png22.0 KB
• btn_discord.png20.5 KB
• btn_github.png14.4 KB
• README.md12.8 KB
• .gitattributes3.3 KB

הרישיון

הרישיון הוא MIT, וזה אומר חופש כמעט מוחלט. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים סגורים ולהפיץ אותו הלאה, בלי לשלם תמלוגים. הדרישה היחידה היא לכלול את הודעת זכויות היוצרים ואת נוסח הרישיון המקורי יחד עם הקוד או המוצר שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗