GPT
הוספת כלי
T

Teuken-7B-instruct-commercial-v0.4

קוד פתוח

openGPT-Xapache-2.02024-10-25

  • transformers
  • safetensors
  • llama
  • text-generation
  • de

מודל שיחה אירופי בגודל 7.5 מיליארד פרמטרים שאומן מראש על 24 שפות האיחוד. הוא מיועד למי שמחפש רישיון פתוח לחלוטין ותמיכה חזקה בגרמנית ובשפות אירופיות נוספות לצד אנגלית.

  • 7.5Bפרמטרים
  • 4,096טוקנים בהקשר
  • 13.9 GBמשקל הקבצים
  • 1,151הורדות בחודש

מה זה

הפרויקט הזה מגיע מגרמניה, במימון ממשלתי ובשיתוף מכוני מחקר כמו פראונהופר. הבסיס אומן על 4 טריליון טוקנים, וגרסת ההוראות הזו עברה כוונון ששם דגש כבד מאוד על גרמנית ואנגלית, עם מעל 77 אלף דוגמאות בכל אחת מהן, לצד ייצוג קטן יותר לשאר 22 השפות הרשמיות של האיחוד האירופי.

בניגוד לרוב המודלים בגודל 7B שמרוכזים בעיקר באנגלית, הדגש כאן הוא על תאימות רב לשונית אירופית. עם זאת, בטבלת המבחנים הרב לשוניים של 21 שפות שמופיעה בתיעוד, מודלים כמו Llama 3.1 8B ו Mistral 7B עדיין מובילים עליו בביצועים הכוללים במבחני ידע והבנה כמו MMLU ו ARC. היתרון שלו מול המתחרים הוא ההתמקדות המכוונת בשפות אירופיות וערכים אירופיים תחת רישיון חופשי.

מתאים ל

  • בוט שירות לקוחות בגרמנית

    אימון ההוראות כולל עשרות אלפי דוגמאות בגרמנית ומספק בסיס טוב לשיחה שוטפת בשפה זו.

  • סיווג טקסטים בשפות האיחוד

    הוא מכיר 24 שפות אירופיות שונות מהאימון המקדים ויכול לזהות ולעבד מסמכים רב לשוניים מקומיים.

  • עיבוד מקומי בארגונים

    רישיון חופשי והרצה על חומרה צנועה יחסית מאפשרים להשאיר את המידע בשרתי החברה ללא גישה לרשת.

איפה זה נופל

היוצרים מציינים במפורש שהמודל לא מיועד למשימות תכנות או מתמטיקה, כך שאי אפשר לבנות עליו לכתיבת קוד. חלון ההקשר קצר מאוד ועומד על 4,096 טוקנים בלבד, מה שמגביל מאוד ניתוח מסמכים ארוכים. המודל עלול להזות ולייצר תוכן פוגעני, נתוני האימון נחתכו בספטמבר 2023, והוא לא כולל שום תמיכה בעברית.

שאלות
נפוצות

האם המודל הזה מתאים לעבודה בעברית?

לא. המודל אומן על שפות האיחוד האירופי בלבד עם דגש על אנגלית וגרמנית, ואין בו תמיכה או כוונון לעברית. למשימות בעברית כדאי לבחור מודל אחר.

למה התוצאות יוצאות משובשות בהרצה רגילה?

המודל תלוי לחלוטין בתבנית שיחה ייעודית לפי שפה שמוגדרת בכרטיס המודל. אם מריצים אותו בלי התבנית הזו או בלי להעביר את פרמטר השפה הנכון בשרת vLLM, הפלט לא יהיה עקבי.

איך מריצים

כדי להריץ את 13.9 הג'יגה בייט של המשקלים בפורמט bfloat16, צריך כרטיס מסך בודד עם לפחות 16 עד 24 ג'יגה זיכרון וידאו, כמו RTX 3090 או כרטיס שרת מקביל. הרצה מקומית דורשת שימוש בשרת vLLM או בספריית transformers, וחייבים להגדיר תבנית שיחה ייעודית עם קוד השפה המתאים כדי לקבל פלט סביר.

אם אתם צריכים רק שאילתות בודדות או עובדים באנגלית בלבד, להרים שרת ייעודי בשביל המודל הזה כנראה לא משתלם מול API חיצוני של מודלים חזקים יותר. ההרצה העצמית שווה את המאמץ רק כשיש דרישה קשיחה לפרטיות מידע בתוך תשתית מקומית או צורך בעיבוד כמויות גדולות של טקסט גרמני ואירופי בלי תלות בספק חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="openGPT-X/Teuken-7B-instruct-commercial-v0.4")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 13.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו לצרכים מסחריים ומחקריים, לשנות את המשקלים, לשלב אותו במוצרים פנימיים או למכור שירותים שמבוססים עליו, בלי לשלם תמלוגים. התנאי היחיד הוא שמירה על הודעת הרישיון וציון זכויות היוצרים המקוריות.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗