dolphin-2.9-llama3-8b

מה זה

מדובר בכוונון מלא לכל המשקולות של מודל הבסיס מבית מטא, שעבר אימון עם סט נתונים שסוננו ממנו מנגנוני הבטיחות המקוריים. המודל מתמקד במענה להוראות, שיחה, כתיבת קוד, וכולל תמיכה בקריאות לפונקציות ויכולות ראשוניות להפעלת סוכנים. הפורמט שבו הוא מדבר מבוסס על צ'אט אמ אל, כך שצריך לבנות את הבקשות במבנה מתאים כדי להוציא ממנו תוצאות טובות.

במהלך האימון, שנמשך יומיים וחצי על חומרת ענן, אובדן האימות ירד בתחילה אך החל לעלות מעט לקראת סוף הריצה באזור האפוק השני. התנהגות כזו מעידה על התחלה מסוימת של התאמת יתר לנתוני האימון, ולכן התוצרים עלולים להיות לעיתים מקובעים לסגנון הטקסטים שעליהם אומן, שכללו בין היתר נתונים שנוצרו על ידי מודלים מסחריים גדולים.

מתאים ל

• פיתוח סוכני קוד

  תמיכה מובנית בקריאות לפונקציות ויכולות קידוד, בלי עצירות של מנגנוני בטיחות.

• סימולציות תוכן מורכב

  יצירת טקסטים חופשיים בנושאים רגישים שמודלים רגילים נוטים לסרב לעבד.

• ניתוח נתונים פנימי

  עיבוד מידע פרטי על שרת מקומי כשחייבים ציות מלא לפקודות ללא סינון.

איפה זה נופל

המודל הזה מציית לכל הוראה בלי שיקול דעת, כולל בקשות שעלולות להיות מזיקות, ולכן אי אפשר לחשוף אותו למשתמשי קצה בלי לבנות שכבת הגנה חיצונית. בנוסף, קיימת תקלה מוכרת בנתוני האימון שגורמת לו לדבר יותר מדי על הודעת המערכת, מה שמחייב הוספת הנחיה מפורשת בהוראות הפתיחה כדי למנוע ממנו לעסוק בזה. לא הייתי בונה עליו משימות שדורשות בטיחות מובנית מהקופסה.

אותה משפחה

dolphin-2.9-llama3 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל המקורי בדיוק מלא תופס כ־15 גיגה בייט ומחייב כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון כדי לטעון אותו ולעבד טוקנים. אם רוצים לחסוך במשאבים, קיימות גרסאות מכווצות בפורמטים שונים שמאפשרות להריץ אותו גם על חומרה צנועה בהרבה או על מעבד רגיל.

אימון הבסיס בוצע באורך רצף של 4,000 טוקנים אף על פי שחלון ההקשר המקורי תומך ביותר מזה. אם אין לכם שרת ייעודי או צורך אמיתי במודל מקומי נטול מגבלות, הרצה עצמאית דורשת תחזוקה שלא תמיד מצדיקה את עצמה לעומת שירותים מוכנים.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/dolphin-2.9-llama3-8b")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• trainer_state.json1.1 MB
• tokenizer_config.json51.3 KB
• model.safetensors.index.json23.9 KB
• README.md8.2 KB
• LICENSE7.8 KB
• training_args.bin7.7 KB
• .gitattributes1.5 KB
• scheduler.pt1.1 KB
• config.json699 B
• special_tokens_map.json444 B
• generation_config.json142 B
• latest15 B

הרישיון

הרישיון מוגדר כאחר אך כפוף ישירות לתנאי השימוש הקהילתיים של לאמה 3 מבית מטא. היוצרים מאשרים שימוש מסחרי כל עוד הוא עומד בהגבלות של מטא, וצריך לזכור שהמודל אומן בין היתר על נתונים שנוצרו במודלים סגורים, דבר שדורש זהירות משפטית במוצרים מסחריים.

הרישיון המלא בעמוד המודל ↗