dolphin-2.2.1-mistral-7b

מה זה

המודל מבוסס על Mistral 7b ועבר אימון על שילוב של כמה מאגרי מידע, כולל יישום פתוח של Orca, דאטה־סט של Samantha לשיחות אישיות ורגישות, וקטעים מתוך Airoboros ו־WizardLM. המטרה של המהדורה הספציפית הזו, 2.2.1, היא תיקון של אימון יתר מהגרסה הקודמת, שבה המודל נטה לייצר שרשראות חשיבה ארוכות גם כשלא התבקש והסכים לפקודות חסרות היגיון.

בגזרה הטכנית הוא מחזיק חלון הקשר רחב של 32,768 טוקנים ומשתמש בפורמט ChatML. בניגוד לרוב המודלים בגודל 7B שמוגבלים על ידי שכבות יישור נוקשות של החברות הגדולות, המפתח סינן כאן בכוונה את מנגנוני הבטיחות כדי לקבל ציות מקסימלי והתנהגות טבעית יותר בשיחה מתמשכת.

מתאים ל

• בוט שיחה ואמפתיה

  מאגר Samantha מעניק לו אופי שיחתי קשוב ועמוק בהרבה מרוב המודלים הקטנים.

• מחקר ללא מסנני בטיחות

  מאפשר לבחון שאילתות וטקסטים שמודלים מסחריים רגילים מסרבים לגעת בהם מראש.

• ניתוח הקשרים ארוכים

  תמיכה בעד 32 אלף טוקנים מאפשרת לעבד שיחות מתמשכות ומסמכים מרובי עמודים.

איפה זה נופל

החיסרון הגדול ביותר נובע ישירות מהתכונה המרכזית שלו, הוא לא מצונזר כלל. היוצר מבהיר שהמודל ייענה לכל בקשה, כולל בקשות לא מוסריות, ולכן חובה לבנות שכבת בדיקות וסינון עצמאית לפני שפותחים אותו למשתמשי קצה.

בנוסף, האימון נעשה באנגלית בלבד. אל תצפו לביצועים סבירים בעברית, לא ברמת ההבנה הדקה ולא באיכות התחביר. מדובר במודל 7B, כך שגם עם שיפורי האימון יש לו נטייה להזיות תחת לוגיקה מורכבת.

איך מריצים

המשקל המלא של הקבצים מגיע ל־27 גיגה־בייט בדיוק של bfloat16, כך שתצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון כדי לטעון אותו כמו שהוא דרך transformers. מי שרוצה להריץ אותו מקומית על חומרה צנועה יותר יצטרך לחפש גרסאות מכווצות בקוונטיזציה.

אם אתם לא מחזיקים שרת GPU זמין ורוצים לבדוק אותו מהר, עדיף להרים מופע ענן לפי שעה או להשתמש בנקודת קצה קיימת שמארחת אותו. ההרצה דורשת שימוש קפדני בתבנית ה־ChatML המוגדרת, אחרת התוצאות מאבדות עקביות.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/dolphin-2.2.1-mistral-7b")
print(pipe("שלום"))

הקבצים

19 קבצים במאגר, 27.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin9.9 GB
• model-00001-of-00002.safetensors9.9 GB
• pytorch_model-00002-of-00002.bin4.5 GB
• model-00002-of-00002.safetensors4.5 GB
• tokenizer.model493.4 KB
• trainer_state.json97.1 KB
• model.safetensors.index.json25.1 KB
• zero_to_fp32.py24.2 KB
• pytorch_model.bin.index.json23.9 KB
• training_args.bin5.9 KB
• README.md4.3 KB
• tokenizer_config.json1.7 KB
• .gitattributes1.5 KB
• configs/dolphin-mistral-7b.yml1.4 KB
• config.json618 B
• special_tokens_map.json443 B
• generation_config.json114 B
• added_tokens.json51 B
• latest14 B

הרישיון

הרישיון הוא Apache 2.0 מלא. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים בלי תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית ותנאי הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗