GPT
H

Hathor_Stable-v0.2-L3-8B

קוד פתוח

Nitral-AIother2024-06-09

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

גרסת כוונון עדין של Llama 3 8B שמכוונת למשחקי תפקידים וכתיבה עלילתית. המפתח אימן אותה על דאטה פרטי, סינתטי וספרותי במטרה לקבל שיחות יצירתיות שנשמעות פחות כמו רובוט שירות.

  • 8Bפרמטרים
  • 8,192טוקנים בהקשר
  • 15.0 GBמשקל הקבצים
  • 3,142הורדות בחודש

מה זה

מדובר במודל שנוצר על בסיס Llama 3 8B Instruct ועבר אימון של שלושה אפוקים על תערובת של נתונים פרטיים, הוראות שנוצרו עם אופוס, רומנים קלאסיים וקלים, ושיחות רולפליי. המטרה כאן ברורה לגמרי, לתת מענה לטקסט יוצר, דמויות ואינטראקציה עלילתית, במקום להתחרות בפתרון בעיות היגיון.

מבחני הביצועים של הלידרבורד חושפים בדיוק איפה הוא עומד. ציון של 71.75 ב־IFEval מראה שהוא מקשיב להנחיות עיצוב ומבנה בצורה מצוינת. מצד שני, ממוצע כולל של 25.70 יחד עם ציונים חד ספרתיים במתמטיקה ובמדעים מבהירים שלא מדובר בכלי רב־תכליתי לעבודה אנליטית.

מתאים ל

  • משחקי תפקידים בצ'אט

    הוא אומן במיוחד על צמדי שיחה של רולפליי ויודע להישאר בתוך דמות בלי להישמע מנוכר.

  • כתיבת סיפורים ודיאלוגים

    האימון כלל ספרות קלאסית וקלה, מה שנותן לו סגנון זורם ועשיר יותר בטקסט חופשי באנגלית.

  • בוטים עם אישיות מוגדרת

    הציון הגבוה בעקיבה אחר הוראות מאפשר לקבוע לו גבולות התנהגות וסגנון כתיבה קבוע מראש.

איפה זה נופל

המודל הזה פשוט גרוע במתמטיקה, במדעים ובמשימות היגיון מורכבות. הוא הוציא 9.21 במתמטיקה רמה חמש, 4.92 ב־GPQA ו־5.56 ב־MuSR, שזה ברמה של ניחוש אקראי. אם תתנו לו לנתח קוד מסובך, לבצע חישובים או להסיק מסקנות עובדתיות, הוא יחרטט בביטחון. בנוסף, הוא אומן באנגלית בלבד ולכן לא מתאים לעבודה בעברית.

שאלות
נפוצות

האם כדאי להשתמש בו כבסיס לעוזר אישי כללי לחברה?

לא, הוא יקרוס בכל משימה שדורשת דיוק עובדתי או חישובים. הוא מיועד לטקסט יצירתי ושיחות עלילתיות, לא לעבודה משרדית או שליפת מידע.

האם הוא יעבוד טוב בעברית?

הכרטיס מגדיר תמיכה באנגלית בלבד. יכול להיות שהוא יפלוט כמה מילים בעברית בזכות מודל הבסיס, אבל הוא לא מכוונן לזה וזה יעבוד רע.

איך מריצים

במשקל מלא של 15 גיגהבייט בדיוק bfloat16, תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגהבייט זיכרון כדי להריץ אותו כמו שצריך דרך ספריית transformers. לקריאות מהירות בעומס נמוך, זה ידרוש חומרה ייעודית ולא סתם לפטופ רגיל.

אם אתם לא רוצים לשלם על שרת יקר, יש לו גרסאות מכווצות בפורמטים כמו GGUF ו־exl2 של משתמש בשם Bartowski. הגרסאות האלה יאפשרו לכם להריץ אותו מקומית על כרטיסים צרכניים קטנים בהרבה או אפילו על זיכרון המחשב, במחיר זניח של ירידה באיכות.

from transformers import pipeline

pipe = pipeline("text-generation", model="Nitral-AI/Hathor_Stable-v0.2-L3-8B")
print(pipe("שלום"))

הרישיון

הרישיון מוגדר בתור רישיון אחר ללא פירוט נוסף בכרטיס המודל. במצב כזה אי אפשר לדעת אם מותר להשתמש בו במוצר מסחרי, וכל עוד היוצר לא פרסם תנאים ברורים, שימוש באפליקציה עסקית חושף אתכם לסיכון משפטי.

הרישיון המלא בעמוד המודל ↗