GPT
הוספת כלי
D

Dolphin3.0-R1-Mistral-24B

קוד פתוח

dphnרישיון לא דווח2025-02-06

  • transformers
  • safetensors
  • mistral
  • text-generation
  • conversational

גרסה פתוחה ומבוססת חשיבה על בסיס מיסטרל, למי שרוצה מודל מקומי ללא מגבלות יישור תאגידיות שמתאים לתכנות, מתמטיקה והפעלת פונקציות.

  • 24Bפרמטרים
  • 32,768טוקנים בהקשר
  • 43.9 GBמשקל הקבצים
  • 989הורדות בחודש

מה זה

מדובר במודל הוראות וחשיבה שמבוסס על ארכיטקטורת MistralForCausalLM עם 24B פרמטרים. המפתחים אימנו אותו במשך 3 תקופות אימון על 800 אלף עקבות חשיבה ממאגר Dolphin-R1, במטרה לספק יכולות של הסקת מסקנות, קוד, מתמטיקה, וקריאות לפונקציות.

בניגוד למודלים סגורים מסחריים, כאן אין שכבת יישור שכופה קווי מוסר או הנחיות תוכן. מי שמריץ אותו קובע את הכללים דרך הוראת המערכת, והמודל מעוצב לציית לפקודות בלי לסנן אותן עצמאית.

הוא מיועד לעבודה באנגלית עם חלון הקשר של 32,768 טוקנים. אין בכרטיס המודל תוצאות מדידה או מבחני ביצועים רשמיים, כך שאי אפשר להשוות את היכולות שלו למתחרים על בסיס ציונים אובייקטיביים.

מתאים ל

  • עבודה עצמאית עם סוכנים

    אימון על מאגרי פונקציות וכלים מתאים למי שבונה סוכנים שצריכים להפעיל קריאות API מקומית.

  • פתרון בעיות קוד ומדע

    שרשרת החשיבה הפנימית והאימון על מאגרי מתמטיקה וקוד מסייעים לפרק בעיות טכניות מורכבות.

  • הנחיית מערכת מותאמת אישית

    היעדר מנגנוני יישור כפויים מאפשר להגדיר לו כללים, סגנון והתנהגות ישירות דרך פרומפט המערכת.

איפה זה נופל

המודל רגיש מאוד להגדרת הטמפרטורה, וחריגה מעבר לטווח של 0.05 עד 0.1 פוגעת ישירות באיכות התשובות. בנוסף, הוא אומן באנגלית בלבד וללא נתוני בדיקה או מדדים רשמיים בכרטיס, מה שמחייב לבדוק אותו עצמאית לפני כל שימוש בפועל. חוסר הסינון המובנה אומר שכל האחריות על בקרת התוכן חלה עליכם.

שאלות
נפוצות

האם אפשר להשתמש במודל הזה בעברית?

המודל סווג לשפה האנגלית בלבד. הוא עשוי להחזיר מילים בעברית עקב מאגרי האימון הרחבים של מודל הבסיס, אך הוא לא נבדק או הותאם לכך, ולכן לא מומלץ להסתמך עליו בעיבוד טקסט עברי.

למה התשובות משתבשות כשהטמפרטורה מוגדרת מעל 0.1?

היוצרים ציינו שבמודלים המבוססים על Mistral-24B, טמפרטורה גבוהה גורמת למודל לחשוב מחדש באמצע התהליך ולהתווכח עם עצמו, מה שמוביל לנסיגה מתשובות נכונות שכבר הגיע אליהן.

איך מריצים

המשקל המלא של המודל בפורמט bfloat16 מגיע ל־43.9 GB המחולקים ל־20 קבצים, כך שהרצה ישירה ללא קוונטיזציה דורשת משאבי זיכרון וידאו גדולים מאוד בשרתים ייעודיים. מי שרוצה להריץ מקומית יכול להשתמש בגרסת קוונטים של Ollama שתופסת כ־13 GB, או להוריד קובצי GGUF דרך כלי הרצה כמו LM Studio, vllm או sglang.

המפתחים ממליצים במפורש להשתמש בטמפרטורה נמוכה במיוחד, בין 0.05 ל־0.1. טמפרטורה גבוהה יותר גורמת לו לפקפק בעצמו ולשנות תשובות נכונות תוך כדי יצירת הפלט.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/Dolphin3.0-R1-Mistral-24B")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 43.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון לא דווח בעמוד המודל. במצב כזה אין אישור משפטי מוגדר לשימוש מסחרי או הפצה, ולא כדאי להטמיע אותו במוצר בלי אישור מפורש מיוצרי המודל.

הרישיון המלא בעמוד המודל ↗