GPT
הוספת כלי
A

Athene-70B

קוד פתוח

Nexusflowother2024-07-19

  • transformers
  • safetensors
  • llama
  • text-generation
  • RLHF

גרסת RLHF חזקה על בסיס לאמה 3 של 70 מיליארד פרמטרים. היא נותנת פייט רציני למודלים מסחריים מובילים במבחני שיחה, אבל דורשת חומרה כבדה ורישיון מחקרי בלבד.

  • 71Bפרמטרים
  • 8,192טוקנים בהקשר
  • 131 GBמשקל הקבצים
  • 1,402הורדות בחודש

מה זה

מדובר בכיוונון של Llama-3-70B-Instruct שנעשה באמצעות RLHF על ידי הצוות של Nexusflow. המטרה היתה למתוח את היכולות של המודל בשיחה חופשית ולהתקרב לביצועים של מודלים סגורים ענקיים, תוך שמירה על משקולות פתוחות להורדה.

במבחן Arena-Hard-Auto הוא מציג ציון של 77.8 אחוזים, שזה זינוק עצום מול 46.6 האחוזים של מודל הבסיס Llama-3-70B. הנתון הזה שם אותו קרוב מאוד לקלוד 3.5 סונט ו־GPT-4o במבחן הזה, ועוקף מודלים כמו ג'מיני 1.5 פרו. בפועל זה אומר שהתשובות שלו בשיחה נשמעות טבעיות, מדויקות ומשכנעות בהרבה מהמקור.

מתאים ל

  • בוט שיחה באנגלית

    הוא מגיע לתוצאות קרובות למודלים סגורים במבחני שיחה, ומתאים למחקר של צ'אטבוטים מתקדמים.

  • מחקר על שיטות RLHF

    הדגמה טובה לאיך אימון RLHF נכון מקפיץ מודל קיים בלי להגדיל את כמות הפרמטרים.

  • בדיקות מקומיות ללא ענן

    למי שחייב להריץ מודל חזק על ברזלים משלו לצורכי בדיקות ומחקר, בלי להוציא דאטה לרשת.

איפה זה נופל

המודל מוגדר רשמית לאנגלית בלבד, כך שאין מה לבנות עליו לעברית בלי בדיקה מקיפה, וכנראה שהוא ייפול שם. חלון ההקשר עומד על 8,192 טוקנים, שזה מעט מאוד לעומת מודלים מודרניים אחרים ופוסל אותו לעבודה על מסמכים ארוכים.

בנוסף, כל המדידות שפורסמו מתבססות על בנצ'מרק יחיד של שיחה. אין שום נתונים על יכולות כתיבת קוד, פתרון בעיות מתמטיות או שליפת מידע מורכבת.

אותה משפחה

Athene יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Athene-V2-Chat3,387

שאלות
נפוצות

האם אפשר להשתמש במודל הזה באפליקציה מסחרית?

לא. הרישיון המצורף הוא רישיון מחקר בלבד של Nexusflow, ולכן אי אפשר להטמיע אותו במוצרים מסחריים.

האם הוא תומך בעברית או בטקסטים ארוכים?

המודל מאומן ומוגדר לאנגלית בלבד, וחלון ההקשר שלו מוגבל ל־8,192 טוקנים. הוא לא מתאים לעיבוד מסמכים כבדים או לשפה העברית.

איך מריצים

כדי להריץ אותו מקומית בדיוק bfloat16 מלא תצטרכו לפחות 140 גיגה זיכרון וידאו, מה שאומר שני כרטיסי A100 או H100 של 80GB. הקבצים עצמם שוקלים 131 גיגה ומחולקים ל־39 חלקים, כך שההורדה והטעינה כבדות למדי.

הוא עובד ישירות מתוך ספריית transformers עם אותו chat template של לאמה 3. אם אין לכם גישה לשרת ייעודי עם חומרה ברמה הזו או קוונטיזציה אגרסיבית, להרים אותו עצמאית זה כאב ראש יקר, ועדיף להשתמש ב־API של מודל סגור.

from transformers import pipeline

pipe = pipeline("text-generation", model="Nexusflow/Athene-70B")
print(pipe("שלום"))

הקבצים

39 קבצים במאגר, 131 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון מחקר של Nexusflow. זה אומר שאי אפשר לשלב אותו במוצר מסחרי, למכור שירותים שרצים עליו או להשתמש בו בסביבה עסקית. השימוש מוגבל למחקר ובדיקות בלבד.

הרישיון המלא בעמוד המודל ↗