GPT
הוספת כלי
T

Teuken-7B-instruct-research-v0.4

קוד פתוח

openGPT-Xother2024-09-23

  • transformers
  • safetensors
  • llama
  • text-generation
  • de

מודל אירופי מבוסס Llama שמכוון לכיסוי 24 שפות האיחוד האירופי. מתאים למי שחייב ביצועים יציבים בגרמנית ובשפות אירופיות נוספות במקום התמקדות בלעדית באנגלית.

  • 7.5Bפרמטרים
  • 4,096טוקנים בהקשר
  • 13.9 GBמשקל הקבצים
  • 1,677הורדות בחודש

מה זה

מדובר במודל שנוצר כחלק מיוזמת מחקר גרמנית במימון ממשלתי, אומן מראש על ארבעה טריליון טוקנים, ועבר כוונון ייעודי למילוי הוראות עם חלוקה שווה בין דאטה באנגלית ובגרמנית. במבחנים הרב־לשוניים באירופה הוא עוקף מודלים כמו Mistral ומתחרה ראש בראש מול Llama 3.1 בציון הממוצע, בעיקר בזכות חוזק במבחני ידע והיגיון בסיסיים כמו HellaSwag ו־ARC.

ההבדל מול מתחרים באותו סדר גודל הוא המיקוד בשפות היבשת והניסיון לייצג תפיסות אירופיות. עם זאת, הוא נשאר מאחור במבחני ידע כללי רחב כמו MMLU לעומת Llama 3.1, כך שלא מדובר בהכרח במודל חכם יותר באופן כללי, אלא במודל שמכויל ספציפית למרחב השפות הללו.

מתאים ל

  • עיבוד טקסטים בגרמנית

    חצי מנתוני הכוונון היו בגרמנית, מה שמספק תוצאות עקביות יותר ממודלים שמתמקדים באנגלית.

  • תרגום ומחקר בלשני באירופה

    האימון כלל את 24 שפות האיחוד האירופי ומתאים לניתוח השוואתי מקומי.

  • הסקה מקומית מאובטחת

    גודל של 7.5 מיליארד פרמטרים שרץ על כרטיס מסך בודד ללא תלות בענן חיצוני.

איפה זה נופל

היוצרים מגדירים מפורשות שהמודל אינו מיועד למשימות תכנות או מתמטיקה, כך שאין טעם לצפות ממנו לקוד אמין. בנוסף, חלון ההקשר קצר מאוד ועומד על 4,096 טוקנים בלבד, מה שפוסל אותו לעבודה עם מסמכים ארוכים. עברית אינה ברשימת השפות שבהן אומן, והוא סובל מהזיות והטיות רגילות שמאפיינות מודלים בגודל הזה.

שאלות
נפוצות

האם המודל מתאים לפיתוח בוטים שמייצרים קוד?

לא. המפתחים הגדירו מפורשות שמשימות כתיבת קוד ומתמטיקה נמצאות מחוץ לטווח השימוש של המודל. עבור קוד עדיף להשתמש במודלים ייעודיים שנבנו למטרה זו.

איך הביצועים שלו בעברית?

המודל לא מיועד לעברית ולא נכלל ברשימת השפות שבהן אומן. הוא מתמקד בשפות הרשמיות של האיחוד האירופי ובאנגלית, ולכן התוצאות בעברית יהיו נחותות מאוד.

האם אפשר להשתמש במודל לניתוח מסמכים ארוכים?

לא ממש. חלון ההקשר מוגבל ל־4,096 טוקנים, שזה טווח קצר שמתאים רק לשיחות קצרות או קטעי טקסט מצומצמים ולא לספרים או קבצי ענק.

איך מריצים

המודל שוקל כמעט 14 גיגה־בייט בפורמט bfloat16, מה שאומר שכדי להריץ אותו מקומית בהסקה מהירה תצטרכו כרטיס מסך יחיד עם לפחות 16 עד 24 גיגה־בייט VRAM. אפשר להעלות אותו ישירות דרך transformers או להרים שרת באמצעות vLLM, אך חובה לספק תבנית שיחה ייעודית שכוללת הגדרת שפה כדי לקבל תוצאות הגיוניות.

אם אתם צריכים רק שאילתות בודדות או תמיכה באנגלית בלבד, הרצת שרת ייעודי כזה בבית או בענן פרטי מיותרת לחלוטין. קריאה ל־API מסחרי מוכר תהיה זולה ופשוטה יותר, אלא אם הדרישה היא עיבוד מקומי קפדני של טקסט בגרמנית או שפות אירופיות אחרות ללא תלות בספק חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="openGPT-X/Teuken-7B-instruct-research-v0.4")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 13.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר במאגר כ־other והשם כולל research, מה שאומר שאין כאן רישיון קוד פתוח סטנדרטי ומתירני. השימוש המוצהר מתמקד במחקר, ולכן אי אפשר לשלב אותו במוצר מסחרי בלי לבדוק ישירות מול המפתחים את תנאי ההפצה המדויקים ולקבל אישור.

הרישיון המלא בעמוד המודל ↗