GPT
הוספת כלי
M

marin-32b-base

קוד פתוח

marin-communityapache-2.02025-10-25

  • transformers
  • safetensors
  • qwen3
  • text-generation
  • en

מודל בסיס פתוח לחלוטין שמציג שקיפות נדירה בנתוני האימון וארכיטקטורת Qwen3. הוא מיועד למי שרוצה לאמן מודל משלו על תשתית חזקה בלי תלות מסחרית סגורה.

  • 33Bפרמטרים
  • 4,096טוקנים בהקשר
  • 121 GBמשקל הקבצים
  • 2,028הורדות בחודש

מה זה

הפרויקט הזה מגיע מיוזמה שיתופית בקוד פתוח, והוא אומן על כ־6.44 טריליון טוקנים לאורך כמה שלבים מתועדים היטב. המודל בנוי בארכיטקטורת Qwen3 של 32 מיליארד פרמטרים עם מנגנון תשומת לב מסוג QK-Norm וטוקנייזר באוצר מילים של Llama 3. הגרסה הראשית הנוכחית היא Mantis, שלב קירור ששיפר מאוד את הביצועים הטכניים ביחס לגרסת Bison הקודמת.

במבחני הביצועים הוא מגיע לממוצע של 65.2 נקודות ומנצח מתחרים פתוחים כמו OLMo 2 32B ו־Gemma 3 27B PT. הוא רושם 42.7% ב־HumanEval ו־69.1% ב־GSM8K. עם זאת, הוא נשאר מאחורי Qwen 2.5 32B Base שמוביל עליו בכל מבחני החשיבה, המתמטיקה והקוד, ולכן היתרון כאן הוא השקיפות המלאה של הדאטה ולא שיא ביצועים מוחלט בקטגוריה.

מתאים ל

  • בסיס לכוונון עדין מותאם

    נקודת מוצא מצוינת לאימון מודל הוראות ארגוני באנגלית על גבי תשתית פתוחה לחלוטין.

  • מחקר על תהליכי אימון

    כל שלבי האימון, הריצות ב־W&B ומערכי הנתונים מתועדים ופתוחים לבדיקה מעמיקה.

  • השלמת קוד מקומית

    ביצועים סבירים ב־HumanEval שמאפשרים להטמיע אותו כמנוע השלמה בתוך סביבת פיתוח פנימית.

איפה זה נופל

זהו מודל בסיס שלא עבר שום התאמת בטיחות או אימון להוראות, ולכן הוא לא עונה לשאלות אלא ממשיך טקסט, ועלול לפלוט תוכן שגוי או פוגעני. חלון ההקשר שלו מוגבל ל־4,096 טוקנים בלבד, מספר נמוך מאוד כיום שלא יספיק למסמכים ארוכים. המודל יודע אנגלית בלבד ולא הוכשר על עברית. תאריך סיום הידע שלו הוא יולי 2024, ובמבחן MATH הוא מקבל 15.3% בלבד, כך שאינו מתאים לפתרון בעיות מתמטיות קשות.

שאלות
נפוצות

האם אפשר להשתמש בו ישירות כבוט לצ'אט?

לא. זהו מודל בסיס שנועד להשלמת טקסט ולא עבר אימון מסוג Instruction Tuning או RLHF. אם תקלידו לו שאלה, הוא ינסה להמשיך את המשפט במקום לספק תשובה, ולכן חובה לאמן אותו קודם.

האם המודל תומך בעברית?

הכרטיס מציין אנגלית בלבד כשפת היעד של המודל. אף שהטוקנייזר שלו מבוסס על Llama 3, נתוני האימון הם באנגלית וללא אימון נוסף ביצועיו בעברית צפויים להיות ירודים מאוד.

איך מריצים

המשקלים תופסים 121 ג'יגה־בייט ב־21 קבצים, כך שאי אפשר להריץ אותו על כרטיס בודד ללא כימות. כדי לטעון אותו במצב מלא צריך לפחות שני כרטיסי A100 או H100 של 80GB, או לחלופין שרת עם מספר כרטיסי 24GB אם מבצעים קוונטיזציה ל־4 או 8 ביט.

הוא נתמך ישירות בספריית transformers הרגילה של פייתון. אם אתם צריכים רק צ'אט או משימות הפקה מיידיות בלי לעשות כוונון עדין על הדאטה שלכם, עדיף בהרבה לפנות ל־API של מודלים מאומנים ומוכנים לשיחה, במקום לשלם על שרת ייעודי כבד.

from transformers import pipeline

pipe = pipeline("text-generation", model="marin-community/marin-32b-base")
print(pipe("שלום"))

הקבצים

21 קבצים במאגר, 121 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקלים משוחררים ברישיון Apache 2.0 המלא. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, לבצע כוונון עדין ולהפיץ אותו כחלק ממוצר סגור, בלי לשלם תמלוגים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי. יש לשים לב שחלק ממאגרי הטקסט ששימשו לאימון כפופים לתנאי השימוש המקוריים שלהם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗