FINAL-Bench_Darwin-35B-A3B-Opus-GGUF

קוד פתוח

bartowskiapache-2.02026-04-01

gguf
merge
evolutionary-merge
darwin
darwin-v5

גרסת GGUF מכווצת למודל מולטימודלי של 35 מיליארד פרמטרים. היא מיועדת למי שרוצה לעבד תמונות וטקסט מקומית על גבי חומרה ביתית או שרת עצמאי.

532 GBמשקל הקבצים
2,192הורדות בחודש
47לייקים

מה זה

המאגר מכיל המרות שונות לקובצי GGUF של מודל המשלב קלט תמונה וטקסט ומייצר טקסט. ברטובסקי יצר את הכיולים באמצעות imatrix ומערך נתונים ייעודי כדי לצמצם את אובדן האיכות שנובע מהדחיסה, במיוחד במשקלים הרגישים של שכבות הפלט וההטמעה.

המודל כולל פורמט הנחיה ייעודי עם תגית חשיבה שמכוונת אותו לבצע שלבי היסק לפני מתן המענה. רשימת השפות הנתמכות כוללת אנגלית, סינית, קוריאנית, יפנית, גרמנית, צרפתית, ספרדית ורוסית. טבלת הביצועים שמופיעה בעמוד מציגה בדיקות על מודל אחר לגמרי לצורך הדגמת טכנולוגיית הדחיסה במעבדי שרת, כך שאין כאן נתוני השוואה ישירים לגבי יכולות הראייה או פתרון הבעיות של המודל הספציפי הזה מול אלטרנטיבות באותו סדר גודל.

מתאים ל

ניתוח תמונות בארגון סגור
הרצה מקומית מלאה ללא הוצאת מסמכים ותמונות רגישות לרשת חיצונית.
עיבוד ויזואלי בשפות זרות
זיהוי תמונות ויצירת טקסט בשפות נתמכות כמו אנגלית, ספרדית או יפנית.
פיתוח יישומים ב־LM Studio
טעינה נוחה של קובץ GGUF בודד לבדיקות מקומיות על מחשב פיתוח חזק.

איפה זה נופל

הכרטיס לא מספק נתוני דיוק או מדידות על היכולות המולטימודליות של המודל, ולכן אי אפשר לדעת מראש איך הוא מתמודד עם זיהוי אובייקטים מורכבים או קריאת מסמכים. שפות כמו עברית כלל אינן מופיעות ברשימת השפות הרשמית, ולכן סביר להניח שהיכולת שלו לנתח תמונות עם טקסט בעברית או לייצר פלט תקין מקומית תהיה מוגבלת מאוד. בגרסאות מתחת ל־Q4_K_M הדחיסה חותכת חלק ניכר מהאיכות והמודל עשוי לייצר שגיאות גסות.

שאלות
נפוצות

איזה קובץ כדאי להוריד למחשב עם כרטיס מסך של 24GB?

הקובץ המומלץ למרבית השימושים הוא Q4_K_M ששוקל 21.39 גיגה בייט. הוא יושב כמעט כולו בתוך זיכרון כרטיס המסך ומציע איזון סביר בין שמירה על דיוק המשקלים למהירות תגובה.

האם המודל יודע לקרוא עברית מתוך תמונה?

השפה העברית אינה ברשימת השפות הנתמכות בכרטיס המודל. בהיעדר תמיכה רשמית ואימון ייעודי, לא כדאי להסתמך עליו לניתוח טקסט עברי או תמונות עם כיתוב מקומי.

איך מריצים

כדי להריץ אותו צריך תוכנה מבוססת llama.cpp, למשל LM Studio, koboldcpp או ramalama. הקובץ המלא שוקל 69.38 גיגה בייט, וגרסאות דחוסות ברמה שמישה מתחילות באזור 21 גיגה בייט לקובץ Q4_K_M. כדי לקבל ביצועים סבירים תצטרכו כרטיס מסך עם לפחות 24 גיגה בייט של זיכרון ייעודי כדי להחזיק את המשקלים הדחוסים במלואם.

אם יש לכם פחות מזה, תצטרכו לפצל את המודל בין הזיכרון של כרטיס המסך לזיכרון המערכת או להסתפק בגרסאות מכווצות מאוד כמו IQ2 ששוקלות פחות מ־10 גיגה בייט, במחיר כבד של איכות הפלט. מי שאין לו כרטיס ייעודי חזק יגלה שהרצה מקומית כבדה ואיטית מדי ביחס לשימוש ב־API מנוהל.

ollama run hf.co/bartowski/FINAL-Bench_Darwin-35B-A3B-Opus-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

33 קבצים במאגר, 532 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי של הקוד והמשקלים והפצה פנימית או חיצונית במוצר, בלי תשלום תמלוגים. התנאי העיקרי הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקבצים שתפיצו.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗