GPT
הוספת כלי
D

dolphin-2.9.1-llama-3-70b

קוד פתוח

dphnllama32024-05-22

  • transformers
  • safetensors
  • llama
  • text-generation
  • generated_from_trainer

גרסה מכווננת ונטולת צנזורה של Llama 3 בגודל 70B, שמיועדת למי שצריך מודל חזק שיבצע בדיוק מה שמבקשים ממנו בלי סירובים.

  • 71Bפרמטרים
  • 8,192טוקנים בהקשר
  • 131 GBמשקל הקבצים
  • 8,478הורדות בחודש

מה זה

המודל הזה נבנה מעל Llama 3 70B במטרה ברורה להסיר את מנגנוני הסינון וההטיה המובנים של מטא. הצוות אימן אותו מחדש כדי לתקן בעיות מהגרסה הקודמת, שבהן המודל נטה להישען יותר מדי על ה־system prompt וקיצר תשובות שלא לצורך. לצורך כך הם הוציאו לחלוטין את מערכי הנתונים Systemchat ו־Ultrachat מתהליך האימון.

בפועל אתם מקבלים מודל עם יכולות שיחה, כתיבת קוד, תמיכה בהפעלת פונקציות וניצני יכולות של סוכן אוטונומי. בשונה ממודלים מסחריים סגורים או המקור של מטא, הוא לא מתחמק משאלות ולא מטיף מוסר, אלא עונה ישירות על ההנחיה בפורמט ChatML, כל עוד שומרים על ההגדרות הנכונות.

מתאים ל

  • עוזר פיתוח וכתיבת קוד

    מספק יכולות תכנות של Llama 3 70B בלי חסימות מיותרות ובלי סירובים סביב בדיקות אבטחה.

  • הפעלת פונקציות וסוכנים

    תומך ב־function calling ובמשימות אוטונומיות ראשוניות שדורשות ציות מדויק להוראות מערכת.

  • מחקר וניתוח טקסט חופשי

    מתאים לעיבוד מידע רגיש או תוכן גולמי שמודלים מסחריים נוטים לצנזר או לחסום מראש.

איפה זה נופל

החיסרון המרכזי כאן הוא היעדר מוחלט של מנגנוני הגנה. המודל יענה על כל בקשה, כולל בקשות לא אתיות, מה שאומר שאסור לחבר אותו למשתמשי קצה בלי להקים שכבת סינון ובקרה משלכם. בנוסף, למרות שהבסיס תומך בחלון של 8k טוקנים, האימון עצמו בוצע על רצפים של 4k בלבד, כך שבטקסטים ארוכים במיוחד הביצועים עלולים לרדת.

אותה משפחה

dolphin-2.9.1-llama-3 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

dolphin-2.9.1-llama-3-8b9,046

שאלות
נפוצות

האם המודל יסרב לבקשות של משתמשים?

לא, המודל הוגדר כלא מצונזר והוסרו ממנו מגבלות הבטיחות הרגילות. הוא יענה כמעט על כל הוראה שתתנו לו, ולכן אתם אחראים בלעדית לתוכן שיוצא ממנו ולשכבות ההגנה שתשימו סביבו.

באיזה פורמט פרומפט צריך להשתמש כדי לקבל תוצאות טובות?

הוא אומן על תבנית ChatML מלאה. שימוש במבנה של im_start ו־im_end עם הגדרת תפקידי system, user ו־assistant הכרחי כדי שהוא לא יתבלבל בין ההוראות לתשובות.

איך מריצים

מדובר במשקל כבד של 131 גיגה־בייט ב־bfloat16 על פני 71 מיליארד פרמטרים. כדי להריץ אותו מקומית בלי קוונטיזציה תצטרכו שרת עם לפחות שני כרטיסי A100 או H100 של 80GB כל אחד, אחרת המודל פשוט לא ייכנס לזיכרון הגרפי.

אם אין לכם חומרה ייעודית כזו בענן או במשרד, עדיף בהרבה לפנות לשירותי אירוח שמציעים אותו מוכן דרך API. להרים שרת כזה לבד שווה רק אם אתם חייבים פרטיות מוחלטת של המידע או עובדים בסביבה מנותקת רשת.

from transformers import pipeline

pipe = pipeline("text-generation", model="dphn/dolphin-2.9.1-llama-3-70b")
print(pipe("שלום"))

הקבצים

38 קבצים במאגר, 131 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון כפוף לתנאי Llama 3 של מטא ומאפשר שימוש מסחרי, אבל יש בו מגבלות שחשוב להכיר. בנוסף, המודל אומן על מידע שנוצר בין היתר באמצעות GPT4, נקודה שעלולה לייצר בעיות משפטיות מול תנאי השימוש של חברות אחרות אם אתם מוציאים מוצר מסחרי רחב.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗