GPT
הוספת כלי
D

dolphin-2.6-mistral-7b

קוד פתוח

dphnapache-2.02023-12-27

  • transformers
  • pytorch
  • safetensors
  • mistral
  • text-generation

גרסה לא מצונזרת של מיסטרל שמכוונת חזק לתכנות וממלאת הוראות בלי לחנך אתכם. היא מתאימה למי שצריך מודל ממושמע שלא חוסם בקשות רגישות.

  • 7.2Bפרמטרים
  • 32,768טוקנים בהקשר
  • 13.7 GBמשקל הקבצים
  • 788הורדות בחודש

מה זה

הבסיס פה הוא מיסטרל 7B, אבל עם כוונון עמוק שמיועד להעיף את שכבות הסינון הרגילות. היוצר סינן מראש את דאטהסט האימון כדי להסיר התאמות של בטיחות והטיות, כך שהתוצאה היא מודל שמציית כמעט לכל פקודה. הוא אומן עם כמות גדולה של דאטה של קוד, כולל שילוב של קפיברה ודאטה שמכוון לאמפתיה מסמנתה, כך שהוא אמור לתת מענה טכני חזק לצד שיחה ישירה.

המודל אומן במשך יומיים על ארבעה כרטיסי A100 על כל המשקלים. אין בכרטיס תוצאות של מבחני ביצועים, הם סומנו שם ככאלה שיעלו בהמשך, כך שאי אפשר להסתמך על ציונים יבשים. מה שברור הוא שהדגש כאן הוא על היעדר סירובים וחופש מוחלט בהוראות, בלי מנגנוני DPO שמאלצים אותו להתנהג לפי תבניות מוסר של חברות מסחריות.

מתאים ל

  • פיתוח וכתיבת קוד

    הוא אומן על מאגרי קוד ייעודיים ומתאים למשימות תכנות כשנמאס לכם מסירובים גנריים.

  • מחקר אבטחה ובדיקות

    היעדר הסינון מאפשר לבדוק תרחישי קיצון, פגיעויות וסקריפטים שמודלים רגילים מסרבים לנתח.

  • סוכן שיחה פנימי מותאם

    ציות גבוה לפרומפט מאפשר להלביש עליו אישיות מדויקת בלי התנגשויות עם סינונים מובנים.

איפה זה נופל

המודל הזה לא עבר כוונון DPO, ולכן לפעמים תצטרכו ללחוץ עליו בפרומפט המערכת כדי לקבל בדיוק את מה שרציתם. החיסרון המשמעותי ביותר הוא שהוא לא בטוח לשימוש ציבורי ישר מהקופסה. המפתח מבהיר שהמודל יציית לכל בקשה, כולל הוראות לא אתיות או מזיקות, ולכן אם אתם מחברים אותו לשירות עם משתמשים אמיתיים, חובה לבנות שכבת הגנה וסינון משלכם. בנוסף, הוא אומן באנגלית בלבד וללא שום דגש על עברית, כך שלא כדאי לבנות עליו לעיבוד שפה מקומית.

אותה משפחה

dolphin-2.6-mistral יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

dolphin-2.6-mistral-7b-dpo256

שאלות
נפוצות

האם אפשר לחבר אותו ישירות לצ'אט באתר של החברה?

לא מומלץ בלי מעטפת הגנה. המודל אומן במפורש ללא מנגנוני בטיחות ויענה על כל שאלה בלי לסנן תוכן פוגעני או בעייתי, כך שחובה להוסיף שכבת בדיקה לפני שמציגים פלט ללקוחות.

האם הוא יעבוד טוב בעברית?

הכרטיס מציין אנגלית בלבד. מודלים שמבוססים על מיסטרל 7B מסוגלים לפעמים לקרוא מעט עברית, אבל בלי אימון מכוון הוא כנראה ייצר שגיאות תחביר ואיטיות משמעותית בשפה הזו.

איך מריצים

המשקלים תופסים 13.7 גיגה בפורמט bfloat16, מה שאומר שכדי להריץ אותו כמו שהוא בלי קוונטיזציה תצטרכו כרטיס מסך עם לפחות 16 גיגה של זיכרון גרפי, ועדיף 24 גיגה אם אתם רוצים לנצל הקשרים ארוכים. המודל עובד עם פורמט פרומפט של ChatML שבו סיום ההודעה ממופה לטוקן ספציפי, מה שמתאים לכלים כמו koboldAI או לטעינה רגילה דרך ספריית transformers.

אם אין לכם כרטיס מתאים מקומית, החזקה של שרת ענן ייעודי בשבילו תעלה כסף לפי שעה. במקרים שבהם אתם לא חייבים מודל נטול צנזורה לחלוטין או שאתם לא מריצים עיבודים רגישים שחייבים להישאר על הברזל שלכם, שירותי API של חברות גדולות יהיו זולים ופשוטים יותר לתחזוקה שוטפת.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/dolphin-2.6-mistral-7b")
print(pipe("שלום"))

הקבצים

22 קבצים במאגר, 13.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא. אתם יכולים להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים שלכם בלי לשלם תמלוגים, כל עוד אתם שומרים על הודעת זכויות היוצרים והתנאים של הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗