EuroLLM-1.7B

מה זה

מדובר במודל שפה של 1.7 מיליארד פרמטרים, פרי פיתוח של קונסורציום אירופי במימון האיחוד האירופי, שאומן על 4 טריליון טוקנים. המטרה המרכזית שלו היא כיסוי רחב של כל שפות האיחוד האירופי ועוד כמה שפות מרכזיות כמו ערבית, סינית ויפנית. עברית, כדאי לדעת מראש, אינה ברשימת השפות הנתמכות שלו.

המבנה שלו כולל ארכיטקטורת Llama סטנדרטית עם מנגנון Grouped Query Attention שיורד ל־8 ראשי מפתח ערך כדי להאיץ את שלב ההסקה. במבחני הבנצ'מרק לתרגום מכונה, גרסת ההוראות שלו עוקפת את Gemma 2B בצורה ניכרת ומתחרה ראש בראש מול Gemma 7B הגדולה ממנה בהרבה. מצד שני, במבחני היגיון כלליים כמו Arc Challenge הוא מקבל ציון ממוצע של 0.3496, נמוך יותר מ־Gemma 2B, בעיקר בגלל כמות נמוכה יחסית של פרמטרים שאינם שכבות הטמעה.

מתאים ל

• תרגום מכונה מקומי

  תרגום מהיר בין שפות אירופיות בתוך שרת פנימי, עם תוצאות חזקות מאוד ביחס למשקל של שלושה גיגהבייט.

• בסיס לאימון מותאם

  מודל תשתית מוכן לכוונון עדין על דאטה פנימי, בזכות אימון רחב על ארבעה טריליון טוקנים.

• השלמת טקסט במכשיר קצה

  הרצה מקומית על חומרה חלשה יחסית למשימות ניסוח וסיום משפטים בשפות האיחוד האירופי.

איפה זה נופל

המודל הזה לא עבר יישור מול העדפות אנושיות, ולכן הוא מייצר הזיות, תוכן פוגעני וטעויות עובדתיות בלי שום מנגנון בלימה מובנה. חלון ההקשר מוגבל ל־4,096 טוקנים בלבד, כך שהוא לא מתאים למסמכים ארוכים. בנוסף, מי שבונה על עברית יגלה שהשפה לא נכללה באימון, ובמשימות היגיון ופתרון בעיות הוא מציג ביצועים פושרים למדי.

אותה משפחה

EuroLLM יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

במשקל קבצים של 3.1 גיגהבייט ודיוק של bfloat16, המודל הזה רץ בקלות על כמעט כל כרטיס מסך ביתי מודרני עם 6 עד 8 גיגהבייט זיכרון גרפי, ואפילו על מעבד רגיל דרך ספריית transformers. אין צורך בשרתים מורכבים כדי לבדוק אותו מקומית.

חשוב לזכור שזהו מודל בסיס שנועד בעיקר להשלמת טקסט. אם המטרה היא צ'אט או מענה להוראות מוגדרות מראש בלי לכתוב פרומפטים בפורמט השלמה, עדיף להוריד ישירות את גרסת ההוראות EuroLLM-1.7B-Instruct, או לפנות למודלים כלליים גדולים דרך ממשקי ענן מוכנים.

from transformers import pipeline

pipe = pipeline("text-generation", model="utter-project/EuroLLM-1.7B")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 3.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin3.3 GB
• tokenizer.json8.2 MB
• tokenizer.model2.4 MB
• README.md12.7 KB
• .gitattributes1.5 KB
• tokenizer_config.json960 B
• config.json637 B
• special_tokens_map.json414 B
• generation_config.json111 B

הרישיון

במטא־דאטה של העמוד נרשם שהרישיון לא דווח, אך בתוך כרטיס המודל עצמו המפתחים מציינים שהוא כפוף לרישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי חופשי, שינוי והפצה של הקוד והמשקולות, בכפוף לשמירה על תנאי הרישיון ומתן קרדיט ליוצרים המקוריים.

הרישיון המלא בעמוד המודל ↗