dolphin-2.1-mistral-7b

מה זה

הבסיס כאן הוא Mistral 7B, שעבר אימון על דאטה־סט Dolphin המבוסס על Orca של מיקרוסופט, יחד עם נתוני Airoboros שנועדו לשפר יצירתיות. המטרה המרכזית באימון הייתה להסיר יישור ערכי ומנגנוני סירוב מובנים, כך שהתוצאה היא מודל ממושמע במיוחד שמבצע בדיוק מה שמבקשים ממנו.

במדדים הכלליים הוא מציג ציון ממוצע של 53.47 בלוח התוצאות הפתוח. הוא חזק בהבנת שפה והגיון כללי, עם 84.92 ב־HellaSwag ו־63.32 ב־MMLU, אבל ציוני החישוב וההסקה הכמותית שלו נמוכים מאוד, עם 20.77 בלבד ב־GSM8K ו־7.56 ב־DROP. כלומר, מדובר בכלי טוב לניסוח, שיחה ועבודה טקסטואלית, אבל חלש בפתרון בעיות מתמטיות מורכבות.

מתאים ל

• עוזר שיחה ללא סירובים

  מערכת שלא מסרבת להוראות מערכת מורכבות ומבצעת הנחיות ישירות במבנה ChatML.

• כתיבה יצירתית חופשית

  אימון על Airoboros נותן לו גמישות בסגנון ובתוכן בלי לחסום נושאים רגישים.

• בסיס למודל ארגוני ייעודי

  נקודת מוצא נקייה ממגבלות מובנות, שמאפשרת להטמיע כללי התנהגות מותאמים אישית.

איפה זה נופל

המודל מוגדר כלא מצונזר באופן מודע, מה שאומר שאין בו מנגנוני סינון, מניעת הטיה או מעצורים אתיים. אם תבקשו תוכן בעייתי, פוגעני או מסוכן, הוא יענה בלי לחשוב פעמיים, ולכן חובה להקים שכבת סינון ובקרה משלכם לפני שמחברים אותו למוצר פעיל.

הוא אומן באנגלית בלבד, כך שאין לצפות לביצועים סבירים בעברית. בנוסף, תוצאות ה־DROP וה־GSM8K הנמוכות מראות שהוא יטעה בקלות בשאלות שדורשות חישוב, מעקב לוגי רב־שלבי או דיוק מספרי.

איך מריצים

המשקל המלא שוקל 27 גיגה־בייט בפורמט bfloat16, כך שכדי להריץ אותו כמו שהוא צריך כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון גרפי. האימון המקורי דרש 48 שעות על ארבעה כרטיסי A100. עובדים איתו דרך ספריית transformers ומשתמשים במבנה הפרומפט של ChatML, עם תגיות מערכת, משתמש ועוזר.

אם אין לכם חומרה ייעודית מקומית, החזקת מאיץ כזה בענן רק בשביל מודל 7B עולה לא מעט. במקרה שאתם לא חייבים פרטיות מלאה או פעולה מקומית לא מקושרת, שירותי אירוח חיצוניים שמריצים מודלים פתוחים יתנו פתרון זול ופשוט יותר.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/dolphin-2.1-mistral-7b")
print(pipe("שלום"))

הקבצים

19 קבצים במאגר, 27.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin9.9 GB
• model-00001-of-00002.safetensors9.9 GB
• pytorch_model-00002-of-00002.bin4.5 GB
• model-00002-of-00002.safetensors4.5 GB
• tokenizer.model493.4 KB
• trainer_state.json147.7 KB
• model.safetensors.index.json25.1 KB
• zero_to_fp32.py24.2 KB
• pytorch_model.bin.index.json23.9 KB
• README.md6.2 KB
• training_args.bin5.9 KB
• tokenizer_config.json1.7 KB
• .gitattributes1.5 KB
• configs/dolphin-mistral-7b.yml1.3 KB
• config.json622 B
• generation_config.json116 B
• special_tokens_map.json100 B
• added_tokens.json51 B
• latest15 B

הרישיון

הרישיון הוא Apache 2.0, שמאפשר שימוש חופשי לחלוטין לצרכים פרטיים ומסחריים כאחד. מותר לשנות את הקוד והמשקלים, לשלב אותם באפליקציות סגורות ולהפיץ אותם, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗