dolphin-2.9-llama3-8b-GGUF

מה זה

מדובר בהמרה של דולפין 2.9 לפורמט שמתאים להרצה דרך llama.cpp. המפתחים לקחו את המודל הבסיסי ואימנו את כל המשקולות שלו מחדש על כל הפרמטרים, אבל הסירו מדאטה-סט האימון חסימות יישור והטיות מכוונות כדי להפוך אותו לצייתן במיוחד. מעבר לשיחה רגילה ולכתיבת קוד, הוסיפו לו תמיכה בסיסית בהפעלת פונקציות וביכולות של סוכנים.

תוצאות האימון מראות שהפסד הוולידציה ירד מנקודת פתיחה של 1.1064 עד לשפל של 0.6168 בסביבות האפוק השני, ואז התייצב ועלה מעט לאזור 0.66 באפוק השלישי. זה מעיד על כוונון יעיל סביב נתוני השיחה, עם סימנים קלים להתחלת התאמת יתר בסוף הריצה של 6105 הצעדים.

מתאים ל

• הפעלת פונקציות וסוכנים

  הוא כולל תמיכה מובנית בקריאות לפונקציות ויכולות סוכן, ורץ מקומית דרך llama.cpp בלי שירותים חיצוניים.

• מחקר וניסויי התנהגות

  מאחר שהוא נקי מחסמי יישור, אפשר לבחון תגובות גולמיות של המודל ללא סינונים מלאכותיים של חברות הענן.

• עוזר פיתוח מקומי

  הוא אומן על משימות תכנות ושיחה, ומאפשר עבודה על קוד רגיש שאי אפשר להוציא לרשת.

איפה זה נופל

המאפיין המרכזי כאן הוא היעדר מוחלט של יישור, והיוצר מצהיר מפורשות שהמודל ישתף פעולה גם עם פניות לא אתיות ויענה עליהן בלי בעיה. אם אתם חושפים אותו למשתמשי קצה בלי לבנות שכבת סינון ובקרה משלכם, אתם מקבלים כלי שאין לו שום מעצורים מובנים. בנוסף, חלון ההקשר באימון הוגבל לאורך רצף של 4k בלבד למרות שהבסיס תומך ב־8k, כך שהוא עלול להתבלבל בטקסטים ארוכים.

איך מריצים

המשקל הכולל בריפו מגיע ל־67.7 ג'יגה-בייט שמחולקים בין 16 קבצים, שזה למעשה מגוון רמות כימוס שונות ולא קובץ בודד שצריך להוריד במלואו. בשביל להריץ גרסת כימוס ממוצעת של מודל 8B תצטרכו מחשב מקומי עם כרטיס מסך שיש לו לפחות 8 עד 12 ג'יגה זיכרון גרפי, או מספיק זיכרון מערכת להרצה על המעבד.

המודל דורש פורמט פניות מסוג ChatML כדי להגיב נכון. אם אתם לא צריכים ספציפית מודל מקומי נטול חסימות או שאין לכם חומרה שמסוגלת לתת קצב טוקנים מהיר, שירותי ענן עם API מסחרי יהיו פשוטים יותר לתחזוקה שוטפת.

ollama run hf.co/QuantFactory/dolphin-2.9-llama3-8b-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

16 קבצים במאגר, 67.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• dolphin-2.9-llama3-8b.Q8_0.gguf8.5 GB
• dolphin-2.9-llama3-8b.Q6_K.gguf6.6 GB
• dolphin-2.9-llama3-8b.Q5_1.gguf6.1 GB
• dolphin-2.9-llama3-8b.Q5_K_M.gguf5.7 GB
• dolphin-2.9-llama3-8b.Q5_0.gguf5.6 GB
• dolphin-2.9-llama3-8b.Q5_K_S.gguf5.6 GB
• dolphin-2.9-llama3-8b.Q4_1.gguf5.1 GB
• dolphin-2.9-llama3-8b.Q4_K_M.gguf4.9 GB
• dolphin-2.9-llama3-8b.Q4_K_S.gguf4.7 GB
• dolphin-2.9-llama3-8b.Q4_0.gguf4.7 GB
• dolphin-2.9-llama3-8b.Q3_K_L.gguf4.3 GB
• dolphin-2.9-llama3-8b.Q3_K_M.gguf4.0 GB
• dolphin-2.9-llama3-8b.Q3_K_S.gguf3.7 GB
• dolphin-2.9-llama3-8b.Q2_K.gguf3.2 GB
• README.md7.2 KB
• .gitattributes2.5 KB

הרישיון

הרישיון מוגדר כחריג וכפוף ישירות לרישיון הקהילתי של מטא עבור לאמה 3. היוצר מתיר כל שימוש, כולל שימוש מסחרי, כל עוד אתם עומדים בתנאים של מטא, אך חשוב לקחת בחשבון שהאימון כלל מידע שנוצר באמצעות GPT-4.

הרישיון המלא בעמוד המודל ↗