GPT
הוספת כלי
H

Hermes-3-Llama-3.1-8B

קוד פתוח

NousResearchllama32024-07-28

  • transformers
  • safetensors
  • llama
  • text-generation
  • Llama-3

גרסה מכווננת של לאמה שמיועדת להפעלת סוכנים וקריאות לפונקציות. היא מקשיבה להוראות מערכת קשיחות בלי להתווכח על סגנון.

  • 8Bפרמטרים
  • 131,072טוקנים בהקשר
  • 15.0 GBמשקל הקבצים
  • 381,822הורדות בחודש

מה זה

מדובר בכיוונון של לאמה 3.1 בגודל 8 מיליארד פרמטרים שמתמקד בשיחה מרובת תורות, כתיבת קוד והחזרת פלט מובנה. במקום המבנה הרגיל של מטא, הכניסו כאן תמיכה מלאה בפורמט צ'אט אמ אל, מה שמקל על מי שרגיל לעבוד מול נקודות קצה של אופן איי איי ורוצה להעביר פרומפטים מורכבים עם תפקידי מערכת ברורים.

במדדים היבשים של לוח התוצאות הפתוח הוא קיבל ציון ממוצע של 23.49 נקודות. במעקב אחרי הוראות מורכבות הוא עומד על 61.7, שזה סביר לקטגוריה הזו, אבל במתמטיקה ברמה חמש הוא מוציא רק 4.76 ובשאלות מדעיות קשות של ג'י פי קיו איי הוא מגרד את ה 6.38. זה לא מנוע חישוב למשימות אקדמיות, אלא כלי שנועד לבצע תהליכים מוגדרים מראש על בסיס טקסט.

מתאים ל

  • הפעלת סוכנים אוטונומיים

    הוא אומן להחזיר קריאות כלים בפורמט ג'ייסון מדויק שמנועי הרצה יודעים לפענח בקלות.

  • חילוץ מידע לפלט מובנה

    מגיב ישירות לפי סכמה מוגדרת מראש של פיידנטיק בלי להוסיף טקסט מיותר מסביב.

  • משחקי תפקידים ושיחה

    פורמט המערכת מאפשר לכפות עליו אישיות, סגנון וכללי תגובה בלי שהוא ינסה לצאת מהדמות.

איפה זה נופל

הנתונים מראים נפילה כבדה כשהבעיה דורשת פתרון מתמטי מורכב או היגיון מדעי עמוק. ציונים של פחות מחמישה אחוזים במתמטיקה מתקדמת אומרים שאסור לבנות עליו לחישובים, ניתוח נתונים פיננסי או קבלת החלטות לוגיות סבוכות. בנוסף, המודל אומן על אנגלית בלבד. אם תפנו אליו בעברית או תבקשו ממנו לנתח טקסט מקומי, הביצועים שלו ודיוק הקריאות לפונקציות ירדו בצורה חדה ביחס לאנגלית.

אותה משפחה

Hermes-3-Llama-3.1 יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Hermes-3-Llama-3.1-8B-GGUF27,455 Hermes-3-Llama-3.1-70B2,865 Hermes-3-Llama-3.1-70B-GGUF2,035 Hermes-3-Llama-3.1-405B1,147

שאלות
נפוצות

האם אפשר לסמוך עליו בעברית?

הכרטיס מצהיר על תמיכה באנגלית בלבד. אפשר לנסות להעביר לו עברית בגלל משקלי הבסיס של לאמה, אבל לא כדאי לבנות עליו במערכות שדורשות דיוק שפתי או חילוץ פרמטרים בעברית.

במה הוא עדיף על לאמה 3.1 אינסטראקט המקורי?

היוצרים שלו התמקדו בהיענות חזקה יותר לפרומפט המערכת ובשילוב מובנה של קריאות לפונקציות. הוא מתאים למי שרוצה לשלוט בהתנהגות המודל בלי לחטוף סירובים מיותרים.

איך מריצים

המשקל הגולמי של הקבצים עומד על 15 גיגה בייט בפורמט בי פלוט 16, מה שאומר שכדי להריץ אותו בלי שום דחיסה תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון גרפי. אפשר להעלות אותו ישירות עם וי אל אל אם בפקודה אחת כדי לקבל שרת מקומי, או להשתמש בגרסאות מכווצות של ג'י ג'י יו אף שפורסמו עבורו אם אתם מוגבלים לחומרה שולחנית רגילה.

אם כל מה שאתם צריכים זה ניסוי קצר או קריאות בודדות של פונקציות פעם בשעה, להחזיק כרטיס דולק סתם יעלה לכם יותר כסף מזמן פיתוח. עדיף להרים אותו עצמאית רק אם אתם חייבים פרטיות מלאה לנתונים של הכלים שלכם או שיש לכם נפח עבודה קבוע ששולח מאות בקשות בדקה.

from transformers import pipeline

pipe = pipeline("text-generation", model="NousResearch/Hermes-3-Llama-3.1-8B")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון כאן כפוף לרישיון של לאמה 3 של מטא. מותר להשתמש בו לצרכים מסחריים כל עוד המוצר שלכם לא חוצה את רף מאות מיליוני המשתמשים החודשיים שהוגדר במקור, ואתם נדרשים לשמור על תנאי השימוש המקובלים של מטא לגבי הפצה ושיוך.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗