GPT
הוספת כלי
C

Cat-Llama-3-70B-instruct

קוד פתוח

turboderpllama32024-05-05

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

זהו כוונון עדין של לאמה 3 שמיועד למשחקי תפקידים ולהיצמדות קיצונית להוראות מערכת. הוא מספק תשובות מפורטות במיוחד בנושאי מדע ורפואה בלי להישבר מהדמות.

  • 71Bפרמטרים
  • 8,192טוקנים בהקשר
  • 131 GBמשקל הקבצים
  • 8,338הורדות בחודש

מה זה

מדובר בגרסה מכווננת של לאמה 3 עם 70 מיליארד פרמטרים, שעברה אימון של ארבעה מחזורים על 16 מאיצי A100. היוצר סינן את הנתונים באמצעות מודלים שבדקו איכות מול גיפיטי 4, והסיר באופן יזום כעשרים אחוז מהתשובות שכללו סירובים. המטרה היתה ליצור מודל שלא יוצא מהדמות שהגדרתם לו, ולא מתחמק ממענה.

האימון כלל דגש חזק על פירוק תהליכי חשיבה לתשובות ארוכות, עם מעל חמישים טוקנים לכל שלב מחשבה, ושילוב של דאטהסטים רפואיים כמו צ'אט דוקטור. זה הופך אותו לגרסה שמתמחה בביולוגיה ומדעים כלליים, כל עוד הם מוגשים בתוך הקשר של שיחה או משחק תפקידים.

מתאים ל

  • משחקי תפקידים מורכבים

    הוא תוכנן לא להישבר מהגדרות האישיות והמקום שקבעתם בכרטיס המערכת.

  • הסברים מדעיים ורפואיים

    האימון הכיל נתונים ייעודיים מתחום הביולוגיה ומאגר צ'אט דוקטור.

  • פתרון בעיות בשלבים

    הדאטהסט סונן כך שיכלול שרשראות חשיבה ארוכות בכל מענה יחיד.

איפה זה נופל

חלון ההקשר עומד על 8,192 טוקנים בלבד, שזה מעט מאוד למודלים מהתקופה הזו ומוגבל לשיחות קצרות יחסית. בנוסף, העובדה שהיוצר סינן בכוונה תשובות עם סירובים ושאב המון מידע רפואי אומרת שהמודל הזה עלול לספק אבחנות או ייעוץ רפואי בלי מעצורים. חובה לבדוק היטב הזיות בענייני בריאות לפני שחושפים אותו למשתמשי קצה.

שאלות
נפוצות

איך צריך לנסח את הפרומפט כדי שהמודל יעבוד נכון?

היוצר מציין שחובה להשתמש בתבנית צ'אט אמ אל יחד עם טוקן הפתיחה הייעודי של לאמה 3. תגיות המערכת, המשתמש והעוזר צריכות להיסגר במדויק כדי לקבל את רמת ההיצמדות להוראות שהמודל אומן עליה.

האם המודל כולל שרשרת חשיבה מובנית בפלט?

לא באופן אוטומטי. בכרטיס המודל מובהר שהצגת תהליך החשיבה נעשית דרך הנחיות מפורשות בכרטיס המערכת, ולא הוטמעה כהתנהגות קבועה במשקלי המודל.

איך מריצים

המשקל המלא הוא 131 גיגה בייט בפורמט פלואוט 16, מה שאומר שאתם חייבים לפחות שני כרטיסי A100 של 80 גיגה כדי לטעון אותו ישירות מהספרייה טרנספורמרס. למשתמש הביתי אין מה לחפש כאן בלי קוונטיזציה רצינית לפורמטים מכווצים יותר.

בזמן ההרצה חובה להקפיד על הפורמט המשולב של צ'אט אמ אל יחד עם טוקן הפתיחה של לאמה 3. אם תפספסו את המבנה הזה, ההיצמדות להוראות המערכת תיפגע. למי שאין שרת ייעודי כבד פועל, עדיף להשתמש בשרותי ענן לפי דקה.

from transformers import pipeline

pipe = pipeline("text-generation", model="turboderp/Cat-Llama-3-70B-instruct")
print(pipe("שלום"))

הקבצים

38 קבצים במאגר, 131 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון לאמה 3 הרשמי של מטא. הוא מאפשר שימוש מסחרי ומחקר, בתנאי שלא עוברים 700 מיליון משתמשים פעילים בחודש ומשמרים את תנאי השימוש המקוריים של מטא.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗