GPT
הוספת כלי
E

EuroLLM-1.7B-Instruct

קוד פתוח

utter-projectapache-2.02024-08-06

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

מודל קומפקטי של 1.7 מיליארד פרמטרים שמתמחה בתרגום שפות אירופיות. הפתרון מיועד למי שרוצה תרגום מהיר מקומית בלי לשלם על מודל ענק.

  • 1.7Bפרמטרים
  • 4,096טוקנים בהקשר
  • 3.1 GBמשקל הקבצים
  • 16,898הורדות בחודש

מה זה

מדובר במודל שפותח במימון האיחוד האירופי ואומן על 4 טריליון טוקנים, עם כוונון מיוחד להוראות ותרגום מכונה. הוא מכסה את כל שפות האיחוד הרשמיות ובנוסף שפות כמו ערבית, סינית, יפנית, טורקית ואוקראינית. עברית אינה ברשימת השפות הנתמכות.

הייחוד שלו הוא בביצועי התרגום ביחס לגודל. במבחני FLORES-200 ו־WMT הוא עוקף את Gemma-2B בהפרש ברור ומגיע לתוצאות שמתחרות ישירות ב־Gemma-7B, שגדול ממנו פי ארבעה. במשימות כלליות של הבנה והיגיון כמו Arc Challenge הוא מציג תוצאות צנועות יותר, בין היתר בגלל שרבע מהפרמטרים שלו מוקדשים לשכבת המילים ולא לחישוב עצמו.

מתאים ל

  • תרגום מקומי בין שפות אירופה

    מציג ביצועי תרגום שמשתווים למודלים של 7B, ורץ מקומית על חומרה בסיסית וזולה.

  • עיבוד טקסט ללא אינטרנט

    בזכות משקל של 3.1 גיגה בייט הוא מתאים למכשירים מקומיים שצריכים עיבוד רב־לשוני מנותק רשת.

  • מענה קצר להוראות בשפות זרות

    עבר כוונון ייעודי להוראות בשפות אירופיות ומחזיר פלט מהיר בזכות ארכיטקטורת GQA.

איפה זה נופל

יוצרי המודל מבהירים שהוא לא עבר יישור להעדפות אנושיות, ולכן הוא נוטה לייצר הזיות, שגיאות עובדתיות ותוכן בעייתי ללא סינון. מעבר לכך, חלון ההקשר שלו מוגבל ל־4,096 טוקנים בלבד, מה שלא מתאים למסמכים ארוכים. בעברית הוא אינו נתמך כלל.

אותה משפחה

EuroLLM יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

EuroLLM-9B-Instruct18,981 EuroLLM-1.7B10,037 EuroLLM-9B1,082

שאלות
נפוצות

האם המודל תומך בעברית?

לא. רשימת השפות כוללת את שפות האיחוד האירופי לצד שפות בודדות נוספות כמו ערבית, רוסית וסינית. עברית לא נכללת במאגר האימון ולא נבדקה בכרטיס המודל.

האם הוא מתאים לשימוש כצ'אטבוט שירותי ללקוחות?

לא מומלץ לחבר אותו ישירות למשתמשי קצה. המודל לא עבר תהליכי יישור ובטיחות, מה שמגדיל את הסיכון להזיות ופליטת תוכן לא מבוקר.

איך מריצים

המשקל הכולל של הקבצים הוא 3.1 גיגה בייט בדיוק של bfloat16, כך שאפשר להריץ אותו בקלות על כרטיס מסך צרכני פשוט עם 4 עד 6 גיגה זיכרון, או ישירות על מעבד ומחשב נייד דרך ספריית transformers.

אם אתם צריכים רק תרגום שוטף בין שפות אירופיות מרכזיות, עדיף להריץ אותו לבד ולחסוך עלויות תשתית וקריאות רשת. אם המטרה היא שיחה חכמה, ניתוח לוגי או עבודה בעברית, עדיף לפנות ל־API של מודל כללי גדול.

from transformers import pipeline

pipe = pipeline("text-generation", model="utter-project/EuroLLM-1.7B-Instruct")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 3.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים, כל עוד שומרים על תנאי הרישיון ומתן הקרדיט המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗