GPT
הוספת כלי
S

sabia-7b

קוד פתוח

maritaca-aiרישיון לא דווח2023-11-08

  • transformers
  • safetensors
  • llama
  • text-generation
  • pt

התאמה ממוקדת של ארכיטקטורת LLaMA לפורטוגזית, שמתאימה למי שצריך מודל בסיס מקומי בשפה הזו. המטרה כאן היא הבנה טובה יותר של טקסט בפורטוגזית בהשוואה למודלים כלליים.

  • 6.7Bפרמטרים
  • 2,048טוקנים בהקשר
  • 12.6 GBמשקל הקבצים
  • 804הורדות בחודש

מה זה

מדובר במודל שמתבסס על המשקולות והארכיטקטורה של LLaMA המקורית בגודל 7 מיליארד פרמטרים, עם אימון המשך על עשרה מיליארד טוקנים של תוכן בפורטוגזית מתוך מאגר ClueWeb22. המטרה המרכזית שלו הייתה להשלים את הפער שהיה למודל המקורי בשפה הזו, בלי לפגוע באופן מורגש בביצועים באנגלית.

במבחן Poeta שמאגד 14 מאגרי מידע בפורטוגזית, הוא מגיע לציון NPM של 48.5, שזה גבוה יותר מגרסת הבסיס של LLaMA הראשונה וגם מהגרסה השנייה באותו הגודל. באנגלית הוא שומר על רמה דומה למקור. המודל מתמקד ביצירת טקסט בלבד ולא עבר שלב של התאמה להוראות.

מתאים ל

  • מחקר אקדמי בפורטוגזית

    הוא מציג ביצועים טובים יותר בבנצ'מרקים מקומיים ביחס למודלים מקבילים בגודל שלו.

  • בסיס לאימון המשך

    משמש נקודת מוצא טובה לכוונון נוסף על נתונים פנימיים בשפה הפורטוגזית.

  • משימות סיווג עם דוגמאות

    מתאים לניתוח טקסט בפורטוגזית כשמספקים לו מספר דוגמאות מוגדרות מראש בפרומפט.

איפה זה נופל

המודל לא עבר שום אימון להוראות ולכן הוא מתקשה במשימות שדורשות הבנה ישירה בלי דוגמאות מקדימות. הוא דורש שימוש בפרומפטים עם דוגמאות בשיטת few-shot כדי להוציא תוצאות סבירות. חלון ההקשר מוגבל ל־2,048 טוקנים, מה שלא מתאים למסמכים ארוכים, והנתונים שעליהם אומן מגיעים רק עד אמצע 2022. בנוסף, הוא מיועד לטקסט בלבד ולא תומך בקלט תמונה או סוגי מדיה אחרים.

שאלות
נפוצות

האם אפשר להשתמש במודל הזה כצ'אטבוט מוכן לשימוש?

לא, הוא לא עבר כוונון להוראות או לשיחה. הוא מתפקד כמודל השלמת טקסט בסיסי וידרוש מכם אימון נוסף או ניסוח פרומפטים מובנים היטב.

האם הוא מתאים למוצר מסחרי?

לא. המפתחים הגדירו שהרישיון מבוסס על תנאי LLaMA הראשונה, שמגבילים את המודל למטרות מחקר בלבד ולא לשימוש מסחרי.

איך מריצים

כדי להריץ אותו ישירות צריך כרטיס מסך עם לפחות 16 גיגה זיכרון כדי לטעון את המשקולות בפורמט bfloat16. אם הזיכרון מוגבל, הכרטיס מציע טעינה בפורמט של 8 ביט דרך bitsandbytes כדי לחסוך מקום, אך מציין שתהיה ירידה באיכות הפלט.

ההרצה מתבצעת ישירות מקוד פייתון בעזרת ספריית transformers עם LlamaForCausalLM. אם אין לכם תשתית מקומית מתאימה ואתם לא צריכים דווקא שרת פרטי, כנראה יהיה זול ופשוט יותר להשתמש בפתרונות API קיימים.

from transformers import pipeline

pipe = pipeline("text-generation", model="maritaca-ai/sabia-7b")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 12.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

למרות שבמטה־דאטה הרשמי מצוין שהרישיון לא דווח, כרטיס המודל מבהיר שהשימוש כפוף לתנאים של LLaMA-1. המשמעות היא שהמודל מוגבל אך ורק לצורכי מחקר, ואי אפשר להטמיע אותו במוצר מסחרי.

הרישיון המלא בעמוד המודל ↗