dolphin-2.9-llama3-8b-gguf
קוד פתוחdphnother2024-04-21
גרסה לא מצונזרת של לאמה 3 בגודל שמונה מיליארד פרמטרים, שמגיעה בפורמט קל להרצה. מי שבוחר בה מחפש מודל שמציית לבקשות בלי לחנך או לחסום תשובות.
- 27.8 GBמשקל הקבצים
- 6,207הורדות בחודש
- 93לייקים
מה זה
מדובר בהתאמה מלאה על כל הפרמטרים של לאמה 3, שנבנתה כדי להסיר לחלוטין את מנגנוני היישור והבטיחות המקוריים של מטא. היוצרים סיננו את סט הנתונים במטרה לנקות הטיות וסירובים, כך שהתוצאה היא מודל שמבצע בדיוק מה שמבקשים ממנו. הוא כולל תמיכה בשיחה, תכנות, יכולות סוכן ראשוניות וקריאה לפונקציות, כשהוא עובד עם תבנית הצ'אט של ChatML ומבוסס בין היתר על נתונים שנוצרו באמצעות מודלים כמו GPT-4.
האימון עצמו רץ במשך יומיים וחצי על שמונה כרטיסי L40S, עם חלון רצף של 4k טוקנים, למרות שלבסיס יש יכולת של 8k. במדדי האימון רואים שההפסד ירד בצורה עקבית לאורך שלושת הסיבובים, מציון של 1.14 בהתחלה ועד לאזור 0.39 בסוף. במקביל, הפסד הוולידציה נעצר סביב 0.61 באמצע הריצה והתייצב על 0.66, מה שמראה שהמודל למד היטב את סגנון התשובות והציות המבוקש בלי לקרוס לחלוטין לשינון עיוור.
מתאים ל
- פיתוח סוכנים וקריאות קוד
מתאים לחיבור לפונקציות וביצוע משימות מוגדרות מראש, בזכות התמיכה המובנית ביכולות סוכן.
- מחקר בדיקות חדירה וסייבר
מבצע פקודות ניתוח אבטחה ישירות בלי לסרב או לחסום שאלות מקצועיות בגלל הגדרות בטיחות.
- עיבוד טקסט מקומי ללא סינון
מעבד שיחות ותוכן חופשי ישירות על החומרה המקומית שלכם, בלי ששום בקשה תסורב באמצע התהליך.
איפה זה נופל
החיסרון הבולט הוא היעדר כל מנגנון סינון פנימי. המודל יענה על כל בקשה בלי להסס, כולל דברים לא אתיים, פוגעניים או מסוכנים, והיוצרים מציינים במפורש שחובה לבנות שכבת הגנה משלכם אם אתם מתכוונים לפתוח אותו למשתמשי קצה. בנוסף, האימון הוגבל לארבעת אלפים טוקנים בלבד, ולכן קלטים ארוכים במיוחד עלולים לאבד מהדיוק שלהם.
אותה משפחה
dolphin-2.9-llama3 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל יסרב לענות על נושאים רגישים?
לא. סט הנתונים עבר סינון כדי להסיר מנגנוני סירוב, ולכן הוא ייענה לכל הוראה שתתנו לו. אם המערכת שלכם פונה לקהל רחב, תצטרכו לסנן את התשובות בעצמכם.
כמה זיכרון דרוש כדי להריץ את המודל הזה?
המשקל הכולל של כל הקבצים יחד הוא כמעט עשרים ושמונה גיגה, אבל מורידים רק קובץ בודד בהתאם לרמת הכיווץ. בגרסאות קלות תוכלו להריץ אותו בנוחות גם עם שמונה עד שנים עשר גיגה זיכרון פנוי.
האם הוא מוגבל לארבעת אלפים טוקנים בלבד?
הבסיס המקורי של לאמה 3 תומך בשמונת אלפים טוקנים, אך אימון ההתאמה בוצע עם אורך של 4k בלבד. מעבר לטווח הזה המודל עשוי להתנהג בצורה פחות יציבה.
איך מריצים
החבילה הזו מכילה שבעה קובצי GGUF במשקל כולל של כמעט עשרים ושמונה גיגה בייט, כך שתוכלו לבחור את הקוונטיזציה שמתאימה לחומרה שלכם. מודל של שמונה מיליארד פרמטרים בגרסאות מכווצות יכול לרוץ בקלות על מעבד מחשב נייד מודרני עם שמונה או שישה עשר גיגה זיכרון, או על כרטיס מסך בודד עם שמונה גיגה זיכרון גרפי, בלי צורך בשרתים מורכבים.
אם אתם מחפשים תפוקה יציבה לייצור מסחרי בעומס גבוה, להחזיק תשתית מקומית כזו עשוי לדרוש ניהול משאבים שלא תמיד משתלם. במקרה כזה שווה לפנות לשירותי ענן שמארחים אותו, אבל לפיתוח, בדיקות פרטיות או עבודה בלי חיבור לרשת, ההרצה המקומית בפורמט הזה עובדת מצוין.
ollama run hf.co/dphn/dolphin-2.9-llama3-8b-gguf:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
7 קבצים במאגר, 27.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר כמשני וכפוף לתנאי השימוש הקהילתיים של מטא עבור לאמה 3. היוצרים מתירים שימוש מסחרי כל עוד הוא עומד בהגבלות של מטא, אך קחו בחשבון שהמודל אומן על נתונים סינתטיים שנוצרו ב־GPT-4, מה שעשוי ליצור התנגשות עם תנאי השימוש של ספקיות דאטה מסוימות אם אתם מפתחים מוצר מתחרה.