Dolphin3.0-Llama3.1-8B

מה זה

המודל מבוסס על הארכיטקטורה של לאמה 3.1 בגודל שמונה מיליארד פרמטרים, ועבר אימון הוראות כדי להתאים לתכנות, מתמטיקה, הפעלת פונקציות ושימוש בסוכנים אוטונומיים. היוצרים שמו דגש על הסרת סינונים מובנים, כך שהתשובות מוכתבות לחלוטין מההנחיה שאתם מגדירים ולא מכללי בטיחות שנכפו מראש. התבנית כאן היא צ'אט אמ אל סטנדרטית.

במבחני הביצועים של לוח התוצאות הפתוח, הוא מציג תמונה מעורבת שחשוב להכיר. הוא קיבל ציון גבוה יחסית של 76.21 במבחן ההוראות, מה שאומר שהוא מקשיב וממלא הנחיות מבנה היטב. מצד שני, במבחני חשיבה מורכבים הוא מתקשה, עם 22.13 במבחן הידע המקצועי ו־10.50 בלבד במתמטיקה ברמה חמש. הממוצע הכללי שלו עומד על 24.97.

מתאים ל

• הפעלת פונקציות וכלים

  הוא אומן על מאגרי נתונים ייעודיים לקריאת פונקציות ומצטיין במילוי הוראות מדויק לפי מבחן ההנחיות.

• עוזר פיתוח מקומי

  אימון על מאגרי קוד מאפשר לו להמיר שפות ולכתוב סקריפטים בסביבה פרטית שלא דולפת החוצה.

• מערכות ללא סינון תוכן

  מתאים ליישומים שבהם מודלים מסחריים רגילים מסרבים לפעול בגלל מילות מפתח או נושאים רגישים.

איפה זה נופל

הנתונים מראים נפילה חדה במשימות שדורשות הבנה אקדמית מעמיקה והסקה מדעית. במבחן השאלות ברמת מומחה הוא עומד על 4.36 בלבד, ובמבחן החשיבה הרב שלבי הוא השיג 8.97. בנוסף, הסרת הסינונים מעבירה את כל האחריות אליכם, ואם לא תקפידו על הנחיית מערכת מוגדרת היטב, התשובות עלולות לסטות מהסגנון הרצוי. המודל מתועד באנגלית בלבד ואין מידע לגבי יכולותיו בעברית.

אותה משפחה

Dolphin3.0-Llama3.1 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל המלא בדיוק המקורי מגיע ל־15 גיגה בייט ומחולק ל־13 קבצים. כדי לטעון אותו כמו שהוא צריך כרטיס מסך עם זיכרון ייעודי גדול מספיק להחזיק את כל המשקלים יחד עם זיכרון פעיל להקשר, כאשר הרצה בספריות כמו וי אל אל אם, אס ג'י אל אנג'ין או טי ג'י איי תדרוש משאבים מתאימים.

אם רוצים לחסוך במשאבים על חומרה מקומית, עדיף להשתמש בגרסת קוונטיזציה מוקטנת דרך אולמה או אל אם סטודיו, בדיוק כפי שהיוצרים מציינים עם גרסת ארבע ביט. שירות מנוהל מתאים בעיקר אם אין ברשותכם את כוח העיבוד הדרוש להחזיק מודל כזה באוויר ברציפות.

pip install -U huggingface_hub
hf download dphn/Dolphin3.0-Llama3.1-8B

הקבצים

13 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json17.2 MB
• trainer_state.json1.1 MB
• tokenizer_config.json51.2 KB
• model.safetensors.index.json23.9 KB
• README.md9.6 KB
• .gitattributes1.6 KB
• config.json936 B
• special_tokens_map.json444 B
• generation_config.json206 B

הרישיון

הרישיון הוא רישיון לאמה 3.1 המקורי של מטא. הוא מאפשר שימוש מסחרי חופשי כל עוד לא עוברים את רף 700 מיליון המשתמשים הפעילים בחודש, ומחייב לכלול את תנאי השימוש והייחוס של מטא בכל הפצה של המוצר.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗