dolphin-2.8-mistral-7b-v02

מה זה

מדובר בכיוונון מלא על בסיס Mistral 7b v0.2, שפותח בידי אריק הרטפורד וצוות Cognitive Computations. המטרה העיקרית כאן היא הסרת יישור וסינון מראש, כך שהפלט צייתני לחלוטין ולא נחסם מול בקשות שנויות במחלוקת. המודל מתמקד בהוראות, שיחה וכתיבת קוד, כשהוא מציע חלון הקשר של עד שלושים ושניים אלף טוקנים, אם כי תהליך האימון עצמו התבצע על רצפים באורך שש עשרה אלף טוקנים.

מבחינת מדדי אימון, הכרטיס מציג ירידה רציפה בערך הלוס לאורך ארבעה מחזורים, מציון התחלתי של 1.0338 ועד 0.4828 בסט הבדיקה. המדידה הזו מעידה על התכנסות טובה ויציבה של המודל על דאטה האימון שלו, בלי שבירה פתאומית של המשקלים. עם זאת, אין כאן מבחני ביצועים חיצוניים שמראים דיוק משימתי מול מודלים אחרים.

מתאים ל

• עוזר פיתוח מקומי לקוד

  מתאים לכתיבה וניתוח קוד ישירות על החומרה שלכם, בלי לשלוח פקודות רגישות לענן.

• סוכן בדיקות חוסן אבטחה

  מייצר תרחישי תקיפה ובודק נקודות תורפה בלי להיחסם על ידי מסנני בטיחות גנריים.

• עיבוד טקסטים ארוכים באנגלית

  הקשר של עד 32k טוקנים מאפשר לנתח מסמכים רחבים ולחלץ מהם תובנות מדויקות.

איפה זה נופל

המגבלה הכי משמעותית נובעת ישירות מהאופי הלא מצונזר שלו. היוצר מדגיש בפירוש שאין שום שכבת הגנה, והמודל ישתף פעולה גם עם הוראות לא אתיות או מזיקות. מעבר לכך, התמיכה המוצהרת היא באנגלית בלבד, כך שבלי בדיקה מעמיקה לא כדאי להסתמך עליו בעיבוד טקסטים בעברית. לפני שמשלבים אותו בממשק שפונה למשתמשים, חייבים לבנות שכבת סינון עצמאית כדי לא לחטוף תקלות תוכן.

איך מריצים

כדי לטעון את המשקלים הגולמיים בדיוק המקורי נדרשים כארבעה עשר גיגה בייט של קבצים, מה שמחייב כרטיס מסך עם לפחות שישה עשר עד עשרים וארבעה גיגה זיכרון כדי לעבוד בנוחות עם הקשר מלא. המודל נתמך ישירות בספריית transformers של פייתון, כך שטעינה סטנדרטית דרך הקוד לא דורשת כלים מיוחדים.

אם אין לכם חומרה ייעודית, קיימות חלופות קוונטיזציה של צד שלישי כמו GGUF או AWQ, שמאפשרות להריץ אותו מקומית על כרטיסים צנועים יותר או על זיכרון המחשב. פנייה לשירותי ענן או API חיצוניים תהיה עדיפה רק אם אתם צריכים סקייל מיידי ולא רוצים לנהל שרתים עצמאיים תחת עומס.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/dolphin-2.8-mistral-7b-v02")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors4.5 GB
• tokenizer.model493.4 KB
• eval_results.json138.5 KB
• model.safetensors.index.json23.9 KB
• README.md7.7 KB
• tokenizer_config.json1.7 KB
• eval.sh1.5 KB
• .gitattributes1.5 KB
• config.json657 B
• special_tokens_map.json443 B
• generation_config.json137 B
• added_tokens.json51 B

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו חופשי, לשנות את הקוד ולהטמיע אותו במוצרים מסחריים בלי לשלם תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים. רק קחו בחשבון שדאטה האימון כלל מידע שיוצר באמצעות מודלים כמו GPT-4, נקודה שחשוב להכיר מבחינת תנאי השימוש של יוצרי הדאטה המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗