Dolphin3.0-Llama3.1-8B-GGUF

קוד פתוח

dphnllama3.12025-01-02

gguf
en
endpoints_compatible
conversational

גרסה מכווננת ונטולת צנזורה על בסיס לאמה שמונה ביליון, בפורמט שמיועד להרצה מקומית. מי שבוחר בה מחפש שליטה מלאה בהנחיות המערכת בלי סירובים מובנים.

96.4 GBמשקל הקבצים
43,154הורדות בחודש
221לייקים

מה זה

המודל הזה לוקח את הבסיס המוכר ומאמן אותו מחדש על שורה ארוכה של מאגרי מידע לקוד, מתמטיקה והפעלת פונקציות. המטרה של היוצרים היתה לנקות את שכבת הסינון וההטפה שקיימת במודלים מסחריים סגורים, ולהחזיר את ההחלטה על הטון והגבולות למי שמגדיר את הפרומפט.

הוא משתמש בתבנית השיחה המוכרת של צ'אט אמ אל, ומיועד לשמש ככלי עבודה כללי, מכתיבת סקריפטים ועד ניהול סוכנים אוטונומיים. בכרטיס המודל אין עדיין תוצאות מדידה מספריות, הן מסומנות ככאלה שיגיעו בהמשך, כך שהביצועים בפועל נשענים על איכות הדאטהסטים ששימשו לאימון ולא על מבחנים רשמיים שפורסמו כאן.

מתאים ל

עוזר פיתוח מקומי
הוא אומן על מאגרי קוד רחבים ומתאים ליצירת פונקציות ישירות על המחשב ללא תלות ברשת.
קריאות לפונקציות וסוכנים
כולל אימון ייעודי למבנה נתונים והפעלת כלים, מה שמאפשר שילוב בצנרת אוטומציה.
סביבות עם צורך בפרטיות
רץ מקומית בלי לשלוח שום שאילתה החוצה, מתאים לחברות שלא רוצות לחשוף מידע לשרתים זרים.

איפה זה נופל

הכרטיס מדגיש שהמודל לא כולל מנגנוני בטיחות עצמאיים. אם לא תגדירו הנחיית מערכת מדויקת וקפדנית, הוא עלול לייצר תוכן בעייתי, לא מדויק או לא יציב. בנוסף, רשימת המדדים הרשמיים ריקה לחלוטין, כך שאין שום הבטחה מספרית לגבי רמת הדיוק שלו בכתיבת קוד או פתרון בעיות מתמטיות מורכבות לפני שבודקים אותו ידנית.

אותה משפחה

Dolphin3.0-Llama3.1 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Dolphin3.0-Llama3.1-8B90,390

שאלות
נפוצות

האם המודל יודע לעבוד בעברית?

השפה המדווחת בכרטיס היא אנגלית בלבד. הבסיס של לאמה מכיל מעט עברית, אך אימוני ההמשך כאן התמקדו באנגלית ובקוד, ולכן לא הייתי בונה עליו לעיבוד טקסט עברי מורכב.

למה יש עשרים ושניים קבצים במאגר?

המאגר מרכז גרסאות כיול שונות של אותו המודל בדיוק. אתם צריכים להוריד קובץ יחיד בלבד, לפי רמת הדיוק ונפח הזיכרון שיש לכם בחומרה.

איך שולטים על התשובות שלו בלי סינון מובנה?

חייבים להזין הנחיית מערכת ברורה בתחילת כל שיחה. המודל בנוי לציית להגדרות התפקיד שאתם קובעים, אחרת הוא יפעל לפי ברירת המחדל שלו.

איך מריצים

קבצי הפורמט הזה נועדו לטעינה ישירה בכלים כמו אולמה או אל אם סטודיו, בלי להסתבך עם סביבות פיתוח כבדות. בגלל שמדובר במודל שמונה ביליון, קובץ מכווץ בודד דורש סביב חמישה עד שמונה גיגה בייט של זיכרון גרפי, מה שאומר שהוא רץ חלק על כרטיס מסך ביתי ממוצע או על מחשבי מק עם מעבדי אפל.

המאגר כולל עשרים ושניים קבצים שונים ששוקלים יחד מעל תשעים גיגה בייט, אבל אתם מורידים רק קובץ כיול אחד שמתאים לחומרה שלכם. אם אתם צריכים מענה לאלפי משתמשים במקביל או שאין לכם כרטיס מסך זמין, עדיף להשתמש בממשק מרוחק במקום להחזיק שרת ייעודי.

ollama run hf.co/dphn/Dolphin3.0-Llama3.1-8B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

F1616.1 GB Q8_08.5 GB Q6_K6.6 GB Q5_16.1 GB Q5_K5.7 GB Q5_K_M5.7 GB Q5_05.6 GB Q5_K_S5.6 GB Q4_15.1 GB Q4_K4.9 GB Q4_K_M4.9 GB Q4_K_S4.7 GB Q4_04.7 GB Q3_K_L4.3 GB Q3_K4.0 GB Q3_K_M4.0 GB Q3_K_S3.7 GB Q2_K3.2 GB

הקבצים

22 קבצים במאגר, 96.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא הרישיון המקורי של לאמה 3.1. מותר להשתמש בו לצרכים מסחריים, אך יש מגבלות של מטא לגבי שימוש בתוצרים לאימון מודלים מתחרים, ותקרה למספר משתמשים חודשיים לחברות ענק.

שימוש מסחרי עד 700 מיליון משתמשים
שינוי הקוד
חובת ייחוס

הרישיון המלא בעמוד המודל ↗