GPT
הוספת כלי
L

Llama-3.1-70B-LatamGPT-SFT-1.0

קוד פתוח

latam-gptllama3.12026-05-29

  • transformers
  • safetensors
  • llama
  • text-generation
  • research

התאמה אזורית של מודל ענק עבור אמריקה הלטינית בספרדית ופורטוגזית. שווה לבדוק אותו רק אם המוצר שלכם פונה לשווקים האלה ודורש סלנג, הקשר תרבותי ומקומיות מדויקת.

  • 71Bפרמטרים
  • 4,096טוקנים בהקשר
  • 131 GBמשקל הקבצים
  • 116,363הורדות בחודש

מה זה

הבסיס כאן הוא מודל שבעים מיליארד הפרמטרים של מטא, שעבר אימון המשך על כמעט שלוש מאות מיליארד טוקנים מאמריקה הלטינית והקריביים, לצד כוונון להוראות ושיחה. המטרה היא לכסות ניבים, מונחים גיאוגרפיים, היסטוריה ורגולציה מעשרים מדינות באזור, נושאים שמודלים גלובליים מפספסים או מערבבים עם ספרדית אירופית.

היוצרים לא פרסמו ציוני בנצ'מרק השוואתיים בכרטיס, אלא רק את היקף הנתונים ורשימת המדינות, ולכן אין הוכחה מספרית ליתרון ביצועים מול מודל הבסיס. הוא מיועד לעבודה בספרדית, פורטוגזית ואנגלית, עם דגש על אינטראקציות שיחה, סיכום וניתוח טקסטים באזורים האלה.

מתאים ל

  • שירות לקוחות באמריקה הלטינית

    מבין סלנג מקומי וביטויים אזוריים בספרדית ובפורטוגזית, בלי להישמע כמו תרגום מכונה יבש.

  • סיווג תוכן וחדשות אזוריות

    מזהה ישויות, פוליטיקאים, גיאוגרפיה והקשרים תרבותיים מעשרים מדינות שונות באזור.

  • ניסוח פניות מותאמות לשווקים

    עוזר בכתיבה עסקית ושיווקית המותאמת לניב המקומי של מדינת היעד, ממקסיקו ועד ארגנטינה.

איפה זה נופל

הבעיה הבולטת ביותר היא חלון ההקשר, שעומד על 4,096 טוקנים בלבד, צעד אחורה לעומת המודל המקורי שמגביל מאוד ניתוח מסמכים ארוכים או שיחות מתמשכות. מעבר לזה, המודל לא מותאם לעברית כלל, והיוצרים מציינים במפורש שהוא מועד להזיות, תלוי בניסוח השאלה ומציג פערים באיכות בין מדינות ונושאים שונים. ללא מסננים ובקרה אנושית, אסור לחבר אותו למערכות פיננסיות, רפואיות או משפטיות.

שאלות
נפוצות

האם יש טעם להריץ אותו בשביל עבודה בעברית?

לא. המודל אומן והותאם ספציפית לספרדית, פורטוגזית ואנגלית. הוא לא נבדק לעברית, ביצועיו בשפות אחרות מוגבלים, וחבל לבזבז משאבי חומרה של שבעים מיליארד פרמטרים על משימה שהוא לא יועד לה.

למה לבחור בו על פני Llama 3.1 70B הרגיל?

הסיבה היחידה היא ההיכרות עם הניואנסים הדרום־אמריקאיים. מודל הבסיס נטה להתעלם מהבדלים לשוניים ותרבותיים בין המדינות ביבשת, והגרסה הזו עברה אימון ייעודי על 297 מיליארד טוקנים מהאזור כדי לתקן את זה.

איך מריצים

משקל המודל מגיע ל־131 גיגה־בייט בקבצים, וכדי להריץ אותו ישירות בדיוק המקורי נדרשים כ־140 גיגה־בייט של זיכרון גרפי עבור המשקולות בלבד. בפועל זה אומר שרת עם לפחות שני כרטיסי A100 או H100 של 80 גיגה, או שימוש בקוונטיזציה על כרטיסים צנועים יותר.

אם אין לכם תשתית כבדה שכבר רצה, הקמה עצמית בשביל כמה קריאות בודדות תעלה לכם ביוקר. במקרה כזה עדיף לחכות שספקי ענן יציעו אותו לפי טוקן, אלא אם פרטיות הנתונים מחייבת הרצה פנימית מוחלטת.

from transformers import pipeline

pipe = pipeline("text-generation", model="latam-gpt/Llama-3.1-70B-LatamGPT-SFT-1.0")
print(pipe("שלום"))

הקבצים

42 קבצים במאגר, 131 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון הקהילה של Llama 3.1 מבית מטא. מותר להשתמש בו ליישומים מסחריים ומחקריים, בתנאי שלא עוברים 700 מיליון משתמשים חודשיים פעילים ולא משתמשים בפלט שלו כדי לאמן מודלים מתחרים.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗