dolphin-2.9.4-llama3.1-8b

מה זה

מדובר בכיוונון עדין על בסיס המודל הפתוח של מטא, שעבר סינון של שכבות האיזון והצנזורה המקוריות. המטרה כאן היא לייצר ציות מלא למה שתגדירו בהנחיית המערכת, בלי סירובים מובנים ובלי הרצאות על אתיקה. הוא משתמש במבנה פקודות מסוג ChatML, ומיועד להבנת הוראות, כתיבת קוד, והפעלת סוכנים שתומכים בקריאות לפונקציות.

האימון שלו נמשך שלושה מחזורים והגיע לערך שגיאה סופי של 0.5655 במבחני הבדיקה. המספר הזה מראה שהמודל התכנס בצורה יציבה על מערך הנתונים של דולפין, אבל הכרטיס לא מציג תוצאות במבחני ביצועים מקובלים כמו בדיקות ידע כללי או היגיון. המשמעות היא שאת רמת החדות והדיוק בפועל תצטרכו לבדוק בעצמכם מול המשימות הספציפיות שלכם.

מתאים ל

• סוכנים אוטונומיים

  התאמה טובה לחיבור לכלים חיצוניים בזכות תמיכה בקריאות לפונקציות וציות קפדני להנחיות מערכת.

• יצירת תוכן ללא סירובים

  מענה ישיר לנושאים שבהם מודלים רגילים נוטים לסרב בגלל מנגנוני בטיחות מחמירים מדי.

• כתיבת קוד ובדיקות

  אימון ייעודי למשימות תכנות שמאפשר הפקת קטעי קוד וסקריפטים בלי הפרעות של מנגנוני צנזורה.

איפה זה נופל

החיסרון המרכזי הוא היעדר מוחלט של מנגנוני בטיחות פנימיים. המודל יענה על כל בקשה בלי סינון, כולל דברים מזיקים או לא חוקיים, ולכן אסור לחבר אותו למשתמשי קצה בלי לבנות שכבת הגנה חיצונית משלכם. בנוסף, אף על פי שארכיטקטורת הבסיס תומכת בחלון הקשר עצום, האימון עצמו בוצע עם אורך רצף של 8,192 טוקנים בלבד, כך שהתנהגות המודל בהקשרים ארוכים בהרבה עשויה להיות פחות יציבה.

אותה משפחה

dolphin-2.9.4-llama3.1 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ את הקבצים המקוריים בדיוק המלא צריך כרטיס גרפי עם לפחות 16 עד 24 גיגה זיכרון וידאו, למשל כרטיס בודד מהסדרות החזקות. המשקל הכולל של הקבצים מגיע ל־15 גיגה, מה שמחייב חומרה ייעודית ולא משאיר הרבה מקום למשתמשים במחשבים אישיים רגילים ללא קוונטיזציה.

אם אין לכם שרת מקומי עם מאיץ מתאים, הרצה עצמית של המודל תדרוש השכרת שרת ענן עם כרטיס גרפי מתאים. במקרים שבהם אין לכם צורך מוחלט בפרטיות מקומית של המידע, שימוש בשרת מנוהל שמגיש מודלים כאלה יחסוך את עלויות החומרה והתחזוקה.

pip install -U huggingface_hub
hf download dphn/dolphin-2.9.4-llama3.1-8b

הקבצים

13 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• trainer_state.json198.1 KB
• tokenizer_config.json51.2 KB
• model.safetensors.index.json23.9 KB
• README.md18.4 KB
• .gitattributes1.5 KB
• config.json904 B
• special_tokens_map.json454 B
• generation_config.json211 B

הרישיון

השימוש כפוף לרישיון הרשמי של מטא עבור מודלי Llama 3.1. הרישיון מתיר שימוש מסחרי, כל עוד המוצר שלכם לא עובר 700 מיליון משתמשים חודשיים פעילים ביום שבו הוא מופץ. אם אתם מתכננים מוצר בהיקף כזה תצטרכו אישור מיוחד ממטא, ועליכם גם לוודא שהפלט שנוצר תואם לתנאי השימוש שהרישיון מכתיב.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗