dolphin-2.9.1-llama-3-8b

מה זה

מדובר בכוונון מלא על כל שמונת מיליארד הפרמטרים של לאמה 3, שנבנה כדי לנקות את מנגנוני הסינון וההטיה של מטא. הגרסה הזו מתקנת בעיות מגרסת 2.9 הקודמת, שבה המודל נטה להישען יותר מדי על הנחיות המערכת ולייצר תשובות קצרות מדי, ולכן הסירו מאימון את הדאטה־סטים של סיסטם־צ'אט ואולטרה־צ'אט.

הוא מאומן בתבנית צ'אט־מל ומציע יכולות שיחה, כתיבת קוד, תמיכה בהפעלת פונקציות וצעדים ראשונים בהפעלת סוכנים עצמאיים. ההבדל המרכזי מול מודלים רגילים בגודל הזה הוא הצייתנות המוחלטת, שנובעת גם מדאטה שנוצר בעזרת מודלים כמו ג'יפיטי 4.

מתאים ל

• סוכנים ואוטומציות קוד

  תומך בהפעלת פונקציות ולא נחסם כשהקוד נוגע בתחומים רגישים כמו בדיקות חדירות.

• כתיבה יוצרת ללא מגבלות

  מייצר עלילות ותכנים ישירים בלי לסרב לתרחישי קונפליקט או לנושאים בוגרים.

• מחקר וניתוח נתונים גולמיים

  מאפשר לעבד ולסווג טקסטים קשים בלי שהמודל יסרב לנתח את המידע.

איפה זה נופל

החיסרון הבולט הוא היעדר כל מנגנון בטיחות. המודל יענה על הכל, כולל בקשות שאינן אתיות או מזיקות, ולכן לא מתאים לפריסה ישירה מול משתמשי קצה בלי שכבת סינון עצמאית שתוסיפו בעצמכם. בנוסף, אף על פי שלמודל הבסיס יש הקשר של שמונת אלפים טוקנים, האימון עצמו הוגבל לארבעת אלפים בלבד, מה שעלול לפגוע באיכות כשהקלט ארוך במיוחד.

אותה משפחה

dolphin-2.9.1-llama-3 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ את קבצי המקור המלאים בפורמט bfloat16 תצטרכו כרטיס מסך עם לפחות עשרים וארבעה גיגה־בייט זיכרון, כמו ארבעים ותשעים או כרטיס שרת מקביל. הקבצים שוקלים חמישה עשר גיגה, כך שעל חומרה צנועה יותר תצטרכו לחפש קוונטיזציה או להריץ על מעבד עם הרבה זיכרון ראם.

אם אתם לא צריכים דווקא את האופי הלא מצונזר שלו, אין סיבה להחזיק שרת ייעודי בשבילו. במקרים של עומס משתנה עדיף להשתמש במודל מגודר דרך ממשק ענן מוכן ולחסוך את עלויות החומרה.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/dolphin-2.9.1-llama-3-8b")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• tokenizer_config.json51.3 KB
• model.safetensors.index.json23.9 KB
• README.md6.4 KB
• .gitattributes1.5 KB
• config.json701 B
• special_tokens_map.json444 B
• generation_config.json172 B

הרישיון

הרישיון מוגדר כמותאם אישית וכפוף לרישיון הקהילתי של מטא ללאמה 3. היוצרים מאשרים שימוש מסחרי כל עוד הוא עומד בתנאים של מטא, אך צריך לזכור שהמודל אומן בין היתר על נתונים סינתטיים מתוצרי ג'יפיטי 4.

הרישיון המלא בעמוד המודל ↗