GPT
הוספת כלי
S

salamandra-7b-instruct

קוד פתוח

BSC-LTapache-2.02024-09-30

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

אירופה בנתה מודל שיחה של 7.8B מאפס על 35 שפות יבשת, במקום להישען על תערובת האנגלית הרגילה. הוא מיועד למי שמחפש רישיון קוד פתוח אמיתי ותמיכה בשפות אירופיות פחות נפוצות.

  • 7.8Bפרמטרים
  • 8,192טוקנים בהקשר
  • 14.5 GBמשקל הקבצים
  • 27,693הורדות בחודש

מה זה

מרכז מחשוב העל של ברצלונה אימן את המשקל הזה מאפס על כמעט 13 טריליון טוקנים, ללא שימוש במשקלים קיימים של חברות אמריקאיות. הייחוד האמיתי שלו נמצא בהרכב המידע. במקום להתמקד כמעט אך ורק באנגלית, הצוות הוריד במכוון את משקל האנגלית והקוד בחצי והכפיל את הייצוג של שפות חצי האי האיברי לצד עוד עשרות שפות מאירופה, מגרמנית ויוונית ועד דנית וקטלאנית.

הוא בנוי בארכיטקטורת LlamaForCausalLM סטנדרטית עם 32 שכבות וחלון הקשר של 8,192 טוקנים, כך שקל לשלב אותו בספריות מוכרות כמו transformers בלי התאמות מיוחדות. הוא תומך גם ב־92 שפות תכנות הודות לנתוני Starcoder שהוכנסו לאימון. מדובר בגרסת הוראות בסיסית שעברה התאמה לשיחה בעזרת FastChat ותבנית ChatML, אבל בלי צעדי עידון מתקדמים מעבר לכך.

מתאים ל

  • עיבוד טקסט רב־לשוני באירופה

    הוא אומן על 35 שפות אירופיות ומספק מענה לשפות כמו ספרדית, קטלאנית ויוונית.

  • כתיבת שאילתות קוד מקומית

    נתוני Starcoder מאפשרים לו לעזור בכתיבת קוד על שרת פנימי ומאובטח.

  • בסיס לכוונון הוראות נוסף

    הוא משוחרר ברישיון חופשי ומאפשר הוספת שכבת יישור וסינון מותאמת אישית.

איפה זה נופל

היוצרים מזהירים במפורש שמדובר בבדיקת היתכנות ראשונית. המודל עבר כוונון להוראות בלבד ולא עבר תהליכי יישור מסוג RLHF לסינון נושאים רגישים, ולכן הוא עלול לפלוט תוכן פוגעני או לא הולם. בנוסף, אין בו שום מידע או אימון בעברית, ולכן פניות בשפה המקומית יחזירו תוצאות גרועות עד שבורות. חלון ההקשר מוגבל ל־8,192 טוקנים בלבד, מה שמקשה על מסמכים ארוכים.

שאלות
נפוצות

האם המודל מתאים לשימוש בעברית?

לא. האימון התמקד ב־35 שפות אירופיות וקוד, והוא אינו מכיל נתונים בעברית. ניסיון לעבוד איתו בעברית יפיק פלט לקוי ולא שמיש.

האם אפשר להטמיע אותו בבוט ישירות מול לקוחות?

לא הייתי עושה את זה בלי שכבת סינון נפרדת. הכרטיס מציין בפירוש שהמודל לא עבר RLHF ועלול לפלוט טקסט פוגעני או לא הולם בתשובות.

איך מריצים

כדי להריץ אותו בדיוק המקורי של bfloat16 צריך כרטיס מסך עם לפחות 16 עד 20 גיגה־בייט זיכרון, כמו RTX 4090 או כרטיס שרת מקביל, כי המשקלים תופסים 14.5 גיגה־בייט בקבצים. ההרצה נעשית ישירות דרך ספריית transformers עם שימוש ב־ChatML ובפרמטר של תאריך נוכחי בהודעת המערכת.

אם אין לכם חומרה כזו מקומית, עדיף לקרוא למודל שמופעל על תשתית ענן ייעודית. מעבר לכך, מי שמתכוון להריץ אותו על שרת פרטי כדי לשרת פניות של לקוחות יצטרך לבצע קוונטיזציה ל־int8 או int4 כדי להשאיר מקום בזיכרון לחלון הקשר המלא.

from transformers import pipeline

pipe = pipeline("text-generation", model="BSC-LT/salamandra-7b-instruct")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 14.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון apache-2.0 מלא. מותר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לשלב אותו בתוך מוצר סגור או לארח אותו כשירות בתשלום, בלי לשלם תמלוגים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗