SILMA-9B-Instruct-v1.0

מה זה

מדובר במודל שפה של תשעה מיליארד פרמטרים המבוסס על הארכיטקטורה של גמה 2 מבית גוגל, עם אימון ייעודי שמתמקד בשפה הערבית לצד אנגלית. המפתחים שלו מצהירים שהוא עוקף מודלים פתוחים בגודל 72 מיליארד פרמטרים ברוב המשימות בערבית, עד לפברואר 2025. ההבדל המרכזי בינו לבין מודלים כלליים אחרים בגודל הזה הוא ההתאמה התרבותית והלשונית לערבית, תחום שבו מודלים מערביים רבים נוטים לקרטע או לייצר תרגום מילולי מדי.

בפועל הוא יודע לייצר טקסט, לכתוב קוד פשוט, לסכם מסמכים ולנהל שיחה לפי תבנית מוגדרת. למרות שהוא מבוסס על ארכיטקטורה מוכרת ונתמך ישירות בספריית טרנספורמרס, ההתמקדות שלו היא דיוק במענה לשאלות וכתיבת תוכן בערבית. עבור קהל מקומי בישראל שצריך לפתח בוטים, לנתח טקסטים או לספק מענה ללקוחות דוברי ערבית, הוא מציע פתרון מקומי שחוסך שימוש במודלי ענק יקרים.

מתאים ל

• בוט שירות לקוחות בערבית

  ניהול שיחות ותשובות לפניות משתמשים בשפה הערבית בצורה טבעית המותאמת לניואנסים מקומיים.

• סיכום מסמכים ודוחות

  יצירת תקצירים מדויקים לטקסטים ארוכים בערבית ובאנגלית ללא צורך במודל ענק של 70B.

• ניסוח תוכן והודעות

  כתיבת מיילים, הודעות רשמיות וטקסטים שיווקיים בערבית תקנית בעזרת הנחיות מובנות.

איפה זה נופל

היוצרים של המודל כותבים במפורש שהוא לא מתאים למשימות חיפוש ושליפת מידע, וממליצים להשתמש במודל אחר שלהם עבור ארכיטקטורת RAG. חלון ההקשר מוגבל ל־8,192 טוקנים, כך שמסמכים ארוכים מאוד יחייבו חיתוך. המודל עלול לייצר עובדות שגויות, מתקשה עם משימות פתוחות ומורכבות מדי, ואינו כולל תמיכה מובנית בעברית לפי המפרט הרשמי.

איך מריצים

כדי להריץ אותו בדיוק המקורי של bfloat16 צריך כרטיס מסך עם לפחות 48 גיגה זיכרון, כמו כרטיסי A40 או RTX A6000. קבצי המשקלים תופסים 17.2 גיגה בזיכרון האחסון. אם אין לכם חומרה כזו, המפתחים מציינים שאפשר להריץ אותו בכימות של 8 ביט או 4 ביט באמצעות bitsandbytes על כרטיסים צרכניים פופולריים כמו RTX 4090 או כרטיסי 16 עד 24 גיגה.

ההרצה מתבצעת ישירות בפייתון עם ספריית transformers, כולל תמיכה בחיבור לממשק pipeline או שימוש בטעינה רגילה. אם אתם זקוקים למהירות תגובה גבוהה, הכרטיס מציג אפשרות להאצה של עד פי שישה בעזרת torch compile. מי שמחזיק שרת יחיד עם כרטיס חלש יעדיף להשתמש בגרסה מקומטת, אבל אם אין לכם תשתית ענן ייעודית, ניהול שרת פרטי למודל כזה עשוי להיות יקר ביחס לקריאה פשוטה לשירותי צד שלישי.

from transformers import pipeline

pipe = pipeline("text-generation", model="silma-ai/SILMA-9B-Instruct-v1.0")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 17.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00005.safetensors4.0 GB
• model-00004-of-00005.safetensors4.0 GB
• model-00002-of-00005.safetensors4.0 GB
• model-00001-of-00005.safetensors3.9 GB
• model-00005-of-00005.safetensors2.7 GB
• tokenizer.json17.5 MB
• tokenizer.model4.2 MB
• tokenizer_config.json46.9 KB
• model.safetensors.index.json39.1 KB
• README.md25.5 KB
• .gitattributes1.6 KB
• config.json895 B
• special_tokens_map.json636 B
• generation_config.json168 B
• notice.txt96 B

הרישיון

הרישיון המדווח הוא gemma. הרישיון הזה מאפשר שימוש מסחרי ומחקר חופשי בכפוף לתנאי השימוש והמדיניות של גוגל למודלי גמה, לרבות מגבלות אתיות והגבלות על יישומים מזיקים.

• שימוש מסחרי
• שינוי הקוד
• כפוף לתנאי השימוש של Google

הרישיון המלא בעמוד המודל ↗