dolphin-2.0-mistral-7b

מה זה

מדובר בכיוונון של מיסטרל 7B על בסיס דאטה־סטים של Orca ו־Airoboros, שמהם סוננו החוצה מגבלות בטיחות והטיות מכוונות. המטרה כאן היא צייתנות גבוהה. המודל פשוט עונה, גם על שאלות שמודלים מסחריים רגילים זורקים עליהן שגיאה או מתחילים להסביר למה הבקשה לא ראויה.

במבחני הביצועים הוא מציג תמונה מעורבת. ב־HellaSwag הוא מגיע ל־80.26 וב־Winogrande ל־75.37, מה שמראה על הבנת שפה טבעית והקשר ברמה טובה מאוד לגודל שלו. מצד שני, במתמטיקה הוא חלש להחריד, עם 18.65 בלבד ב־GSM8K, וגם ב־MMLU הוא נעצר על 56.90. זה אומר שהוא מבין טקסט ורעיונות, אבל אל תבנו עליו לפתרון בעיות חישוביות מורכבות.

מתאים ל

• עוזר מחקר ללא חסימות

  ניתוח טקסטים רגישים שמעוררים סירובים מיותרים במודלים רגילים.

• כתיבה יצירתית חופשית

  יצירת תוכן בדיוני ועלילות מורכבות ללא מגבלות תוכן שמסרסות את הכתיבה.

• מעבדה לבדיקות בטיחות

  בחינת שכבות סינון והגנה חיצוניות על מודל שמציית לכל פקודה.

איפה זה נופל

הבעיה המרכזית היא חוסר הסינון המוחלט. המודל יענה על הכל, כולל בקשות לא מוסריות או מזיקות, ולכן אי אפשר לחבר אותו ישירות למשתמשי קצה בלי לבנות שכבת הגנה משלכם. בנוסף, הוא אומן באנגלית בלבד. בעברית הוא כנראה יגמגם או ימציא, וזה לבד פוסל אותו מרוב השימושים המקומיים. היכולת החישובית הנמוכה שלו ב־GSM8K גם מעידה שהוא נוטה להזיות כשהעסק דורש דיוק כמותי.

איך מריצים

המשקלים שפורסמו כאן מגיעים בפורמט float32 ושוקלים 14 גיגה־בייט, כך שלהרצה מקומית תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון כדי לטעון אותו ולעבוד עם קונטקסט סביר. הפורמט הנדרש לפניות הוא ChatML, עם תגיות מערכת ומשתמש מוגדרות, ואם לא תקפידו עליו התוצאות ייפגעו.

אם יש לכם כרטיס ביתי חלש יותר, עדיף לחפש גרסאות מכווצות או לפנות ל־API חיצוני שמארח אותו. להרים שרת ייעודי בענן בשביל 7B זה מהלך הגיוני רק אם הפרטיות קריטית לכם ואתם חייבים מודל שלא חוסם שום פלט.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/dolphin-2.0-mistral-7b")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 14.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin9.9 GB
• pytorch_model-00002-of-00002.bin5.1 GB
• tokenizer.model493.4 KB
• pytorch_model.bin.index.json23.9 KB
• README.md6.2 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.5 KB
• config.json628 B
• generation_config.json116 B
• special_tokens_map.json95 B

הרישיון

הרישיון הוא Apache 2.0 מלא. מותר להשתמש בו לצרכים מסחריים ופרטיים, לשנות את הקוד ולהפיץ אותו הלאה, כל עוד שומרים על הודעת הרישיון וזכויות היוצרים המקוריות. אין כאן הגבלות שימוש מוזרות, ואתם חופשיים לשלב אותו במוצר שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗