GPT
E

EuroLLM-22B-Instruct-2512

קוד פתוח

utter-projectapache-2.02025-12-05

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

מודל אירופי פתוח שמתמחה בתרגום ומענה בעשרות שפות, בעיקר של מדינות האיחוד. מי שצריך חלופה עצמאית לחברות האמריקאיות ימצא כאן ביצועי שפה חזקים בקוד פתוח אמיתי.

  • 23Bפרמטרים
  • 32,768טוקנים בהקשר
  • 42.2 GBמשקל הקבצים
  • 85,025הורדות בחודש

מה זה

הפרויקט הזה מגיע מקונסורציום אקדמי אירופי במימון האיחוד, במטרה לבנות מודל חופשי שמכיר לעומק את כל השפות הרשמיות ביבשת ועוד כמה שפות בולטות מסביב. הוא עבר אימון על 4 טריליון טוקנים, כולל נתונים מקבילים רבים ומסנני איכות ייעודיים לטקסט רב לשוני. מעבר לגרסת הבסיס, גרסת ההוראות הזו עברה התאמה לשיחה על גבי מאגרים כמו טולו 3 והרמס 3.

לפי כרטיס המודל, בתרחישי תרגום בשפות היעד הוא מתחרה ראש בראש ואף עוקף מודלים כמו קוון 32B וג'מה 27B. זה אומר שבמשימות עיבוד ותרגום באירופית הוא מפיק פלטים טבעיים ומדויקים יותר מרוב המתחרים בנפח שלו, בלי לגרור משקל מנופח של 70 מיליארד פרמטרים.

מתאים ל

  • תרגום מסמכים באירופה

    הוא מציג ביצועים שמשתווים למודלים כבדים בהרבה בכל שפות האיחוד, מה שמבטיח איכות תרגום גבוהה.

  • סוכן תמיכה רב לשוני

    עבר כוונון ייעודי למעקב אחר הוראות ומסוגל לענות למשתמשים בלמעלה משלושים שפות שונות.

  • הטמעה מקומית בענן פרטי

    רישיון חופשי לחלוטין שמאפשר לארגונים להריץ אותו אצלם ללא תלות בספקי צד שלישי.

איפה זה נופל

הכרטיס מצהיר בפירוש שהמודל לא עבר תהליך יישור להעדפות אנושיות, כמו RLHF. המשמעות ברורה: הוא נוטה להזיות, עשוי לייצר תוכן פוגעני או שגוי עובדתית, ולא מרוסן כמו מודלים מסחריים רגילים. בנוסף, חלון ההקשר שלו נעצר ב־32 אלף טוקנים, כך שהוא לא בנוי לספרים שלמים או מסדי קוד ענקיים. לקהל המקומי, עברית כלל אינה ברשימת השפות הנתמכות שלו, ואסור לבנות עליו לפרויקטים בעברית.

שאלות
נפוצות

האם המודל מבין ומייצר עברית?

לא. רשימת השפות הרשמית כוללת את שפות האיחוד האירופי וכמה שפות נוספות כמו ערבית ורוסית, אך עברית אינה חלק מהאימון.

האם אפשר להריץ אותו ישירות מול לקוחות קצה?

לא מומלץ בלי שכבת סינון נוספת. המפתחים מציינים שהוא לא עבר יישור מול בני אדם, ולכן הוא עלול להמציא עובדות או לפלוט תוכן בעייתי.

כמה זיכרון כרטיס מסך נדרש כדי להריץ אותו?

במשקלים המקוריים תצטרכו לפחות 48GB של זיכרון גרפי. אם תמירו אותו לפורמט מכווץ תוכלו להסתפק בכרטיס של 24GB.

איך מריצים

בגודל של קצת יותר מ־22 מיליארד פרמטרים ובדיוק של bfloat16, המשקלים תופסים כ־42 ג'יגה בייט על הדיסק. כדי להריץ אותו מקומית בלי לאבד איכות תצטרכו כרטיס מקצועי של 48GB כמו A6000 או צמד כרטיסי 24GB. אם תבצעו קוונטיזציה ל־4 ביט, אפשר יהיה לדחוף אותו לכרטיס בודד של 16GB עד 24GB, אבל זה ידרוש המרה מראש דרך ספריות ייעודיות.

הקוד הבסיסי פשוט ועובד ישר מתוך ספריית transformers עם הטוקנייזר והפונקציה generate. אם אתם צריכים רק שאילתות בודדות או בדיקות היתכנות, כרגע אין לו שירות ענן מנוהל ישיר בכרטיס, כך שתצטרכו להרים שרת מבוסס vLLM בעצמכם על מכונה שכורה לשעה במקום לשלם לפי קריאת API.

from transformers import pipeline

pipe = pipeline("text-generation", model="utter-project/EuroLLM-22B-Instruct-2512")
print(pipe("שלום"))

הרישיון

רישיון אפאצ'י 2.0 מלא וחופשי. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן עליו מודלים פנימיים ולשלב אותו במוצרים סגורים בלי תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗