dolphin-2.9.4-llama3.1-8b-gguf

קוד פתוח

dphnllama3.12024-08-07

gguf
generated_from_trainer
endpoints_compatible
conversational

גרסה לא מצונזרת של מטא שרצה מקומית בלי חסימות תוכן. היא עושה בדיוק מה שמבקשים ממנה בקוד, שיחה והפעלת פונקציות, בלי לסרב להוראות שלכם.

57.3 GBמשקל הקבצים
4,079הורדות בחודש
74לייקים

מה זה

מדובר בהתאמה של המודל הבסיסי שפותחה על ידי אריק הרטפורד וקבוצת קוגניטיב קומפיוטיישנס, כשהמטרה העיקרית כאן היא ציות מוחלט לפקודות. בניגוד לגרסאות המקוריות של מטא שמלאות במנגנוני זהירות וסירובים, כאן סיננו את נתוני האימון כדי להעיף את ההטיות והצנזורה המובנית. המודל מתמקד בכתיבת קוד, שיחה, יכולות של סוכנים אוטונומיים ותמיכה בקריאת פונקציות.

הבסיס מגיע עם חלון הקשר של 128 אלף טוקנים, אבל תהליך הכוונון העדין הספציפי הזה השתמש ברצפים של 8,192 טוקנים בלבד. מבחינת מדדים מהאימון, לוס האימות הסופי נעצר על 0.5655 אחרי שלושה מחזורים, מה שמראה התכנסות יציבה של המשקלים על נתוני ההדרכה.

מתאים ל

סוכנים חכמים וקוד
הוא כולל תמיכה מובנית בקריאת פונקציות והבנת פקודות מערכת מדויקות בלי סירובים מיותרים.
עבודה ללא הגבלות תוכן
הנתונים נוקו מהטיות וצנזורה, מה שמאפשר לו לעבד טקסטים רגישים שמודלים רגילים מסרבים לגעת בהם.
הרצה מקומית על מחשב יחיד
הוא מותאם ישירות לסביבות עבודה עצמאיות בלי תלות באינטרנט או בתשלום לפי טוקן לחברות ענן.

איפה זה נופל

הבעיה המרכזית פה היא גם התכונה המרכזית שלו, המודל הזה לא מסנן כלום ויענה גם על בקשות בעייתיות בלי להסס. מי שבונה עליו שירות לקהל הרחב חייב לשים שכבת הגנה וסינון משלו לפני שהוא חושף אותו למשתמשי קצה, כי המפתח מצהיר במפורש שהאחריות כולה על מי שמריץ אותו. בנוסף, האימון הוגבל לאורך רצף של 8,192 טוקנים, כך שאי אפשר לצפות ממנו לשמור על אותה איכות בחלון הענקי המקורי של מטא בלי לבדוק התנהגות בפועל.

אותה משפחה

dolphin-2.9.4-llama3.1 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

dolphin-2.9.4-llama3.1-8b1,621

שאלות
נפוצות

איזה פורמט כתיבה צריך לשלוח למודל כדי שיעבוד נכון?

הוא מאומן לעבוד עם תבנית ChatML שמפרידה בין פקודות מערכת, משתמש ועוזר. שימוש בתבנית הזו הכרחי כדי לגרום לו לציית לפקודות הבסיס שאתם מגדירים לו.

האם הוא ישמור על כל חלון ההקשר המקורי של מטא?

הבסיס תומך בנפח של 128 אלף טוקנים, אבל האימון הספציפי הזה נעשה על אורך רצף של 8,192 בלבד. כדאי לבדוק אותו מקומית לפני שמסתמכים על מסמכים ארוכים במיוחד.

איך מריצים

המשקלים מגיעים בפורמט שמיועד להרצה מקומית בכלים כמו llama.cpp, ollama או lmstudio, כשהפורמט הזה מאפשר להריץ אותו בקלות גם על מעבדים ביתיים וגם על כרטיסי מסך צרכניים. סך כל הקבצים בדף שוקל 57.3 גיגה בייט ומחולק לארבעה עשר קבצים של רמות דיוק וכימות שונות, כך שאפשר לבחור קובץ בודד שמתאים לגודל הזיכרון שיש לכם בפועל.

אם יש לכם מחשב עם שמונה עד שישה עשר גיגה זיכרון גרפי, עדיף להוריד קובץ מכויל אחד ולהריץ אצלכם בלי לשלם על שרתים. שימוש בשירות ענן חיצוני עדיף בעיקר אם אתם מתכננים עומס עבודה רציף עם משתמשים מרובים במקביל, או כשאין לכם חומרה ייעודית מתאימה להרצה מקומית שוטפת.

ollama run hf.co/dphn/dolphin-2.9.4-llama3.1-8b-gguf:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_08.5 GB Q6_K6.6 GB Q5_K_M5.7 GB Q5_05.6 GB Q5_K_S5.6 GB Q4_K_M4.9 GB Q4_K_S4.7 GB Q4_04.7 GB Q3_K_L4.3 GB Q3_K_M4.0 GB Q3_K_S3.7 GB Q2_K3.2 GB

הקבצים

14 קבצים במאגר, 57.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא של מטא ומאפשר שימוש מסחרי ברוב המקרים, אבל כפוף למגבלות המקוריות של החברה. אין כאן חופש מוחלט, ואתם עדיין כפופים לכללי השימוש הבסיסיים של המשפחה הזו אם אתם משלבים אותו במוצר.

שימוש מסחרי עד 700 מיליון משתמשים
שינוי הקוד
חובת ייחוס

הרישיון המלא בעמוד המודל ↗