GPT
הוספת כלי
V

Viking-7B

קוד פתוח

LumiOpenapache-2.02024-02-16

  • transformers
  • safetensors
  • llama
  • text-generation
  • fi

מודל בסיס שנועד מראש לעבודה עם פינית, שפות סקנדינביות, אנגלית וקוד. אם אתם צריכים שפות צפון אירופיות בקוד פתוח, הוא נבנה בדיוק בשביל זה.

  • 7.6Bפרמטרים
  • 4,096טוקנים בהקשר
  • 14.1 GBמשקל הקבצים
  • 2,895הורדות בחודש

מה זה

מדובר במודל שפותח בשיתוף פעולה אקדמי ותעשייתי בפינלנד, ואומן על מחשב העל LUMI באמצעות 256 מעבדי AMD. הוא מבוסס על ארכיטקטורת LLaMA עם 7.55 מיליארד פרמטרים, ואומן על מאגר נתונים מעורב של 2 טריליון טוקנים שכולל אנגלית, פינית, שוודית, דנית, נורווגית, איסלנדית וקוד מחשב.

בניגוד למודלים גנריים בגודל הזה שרואים בשפות נורדיות רעש רקע, כאן בנו טוקנייזר ייעודי בגודל 128 אלף טוקנים כדי לייצג אותן ביעילות. הוא מגיע בשלושה גדלים במשפחה, 7B, 13B ו־33B, ומסוגל לבצע תרגום בסיסי בין השפות הנתמכות לצד כתיבת קוד.

מתאים ל

  • אימון מודל שיחה לשוק הנורדי

    בסיס התחלתי לכוונון עדין של בוטים בארצות סקנדינביה, הודות לטוקנייזר מותאם שפותח עבורן.

  • תרגום טכני בין שפות צפוניות

    תרגום ישיר ופשוט בין פינית, שפות סקנדינביות ואנגלית ללא צורך במודלים מסחריים סגורים.

  • מחקר על מודלים לאורך אימון

    השוואת ביצועים בין צ'קפוינטים שונים לאורך ציר של 2 טריליון טוקנים הזמינים בענפי הקוד.

איפה זה נופל

זהו מודל בסיס לא מכוונן, והמפתחים מציינים במפורש שהוא דורש fine tuning כמעט לכל שימוש מעשי. הוא פולט טקסט גולמי, אינו מאולף לשיחה, ועלול לייצר תשובות שגויות או מוטות שמקורן בנתוני הרשת. בנוסף, אין לו שום שליטה בשפות אחרות מעבר לאלו שצוינו, כך שעברית כלל לא באה בחשבון, ותוצאות המדידה המלאות טרם פורסמו בכרטיס.

שאלות
נפוצות

האם המודל מבין או מייצר עברית?

לא. המודל אומן רק על אנגלית, שפות סקנדינביות, פינית וקוד. הוא חסר יכולת ממשית בכל שפה אחרת, ולא יפיק עברית תקינה.

האם אפשר להשתמש בו ישירות כעוזר אישי או צ'אט?

לא מומלץ ללא אימון נוסף. מדובר במודל בסיס שמשלים טקסט ולא במודל שעבר התאמה להוראות או שיחה, כך שהוא לא יענה כמו בוט רגיל.

איך מריצים

כדי להריץ אותו בפורמט המקורי של bfloat16 תצטרכו כרטיס מסך עם לפחות 16 גיגה זיכרון, כמו RTX 4080 או כרטיס שרת מקביל, כי המשקלים תופסים כ־14.1 גיגה. אפשר להשתמש בספריית transformers הרגילה, והיוצרים מעמידים צ'קפוינטים שונים בענפים נפרדים לפי כמות הטוקנים, מ־100B ועד 2000B.

אם אתם לא בונים שירות ייעודי לשוק הנורדי או לא מתכננים אימון המשך משלכם, החזקת שרת ייעודי עבורו לא משתלמת. במקרים כאלה עדיף לפנות למודל גדול יותר דרך API כללי.

from transformers import pipeline

pipe = pipeline("text-generation", model="LumiOpen/Viking-7B")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 14.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר תחת רישיון Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לבצע עליו אימוני המשך ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗