sarvam-1

מה זה

מדובר במודל השלמת טקסט של 2.5 מיליארד פרמטרים שנבנה מראש לשפות הודיות כמו הינדי, בנגלה, טמילית וטלוגו, לצד אנגלית. המפתחים אימנו אותו על ארבעה טריליון טוקנים, חצי מהם בשפות הודיות, במטרה לתת מענה למקום שבו מודלים מערביים נכשלים בגלל טוקניזציה גרועה. טוקנייזר טיפוסי מפרק מילים בהודית להמון חתיכות קטנות, וכאן שיעור הפירוק נמוך פי שניים עד ארבעה, מה שמוריד את עלויות החישוב ומקצר את זמני הריצה.

במבחנים מול מודלים פופולריים כמו Gemma-2-2B או Llama-3.2-3B, הוא מציג ביצועים עדיפים בשפות האלה, ולפי המדידות הוא מתחרה גם ב־Llama-3.1-8B במשימות של שאלות ותשובות ותרגום. עם זאת, במבחן MMLU מתורגם הוא מגיע לציון של 44.44 בלבד, כך שלא מדובר במנוע חשיבה מורכב אלא בכלי שמתמקד בשפה, הבנה מקומית ויצירת טקסט בסיסית.

מתאים ל

• אימון בוטים בשפות הודיות

  מודל בסיס מצוין למי שרוצה לאמן בעצמו כלי שיחה שמיועד למשתמשים בהודו.

• תרגום טקסטים מהודו ואליה

  יעילות הטוקניזציה שלו מייצרת מהירות גבוהה ומחיר נמוך בעיבוד טקסטים ארוכים.

• מענה לשאלות על מסמכים

  התוצאות שלו ב־TriviaQA ו־BoolQ מאפשרות לחלץ עובדות מתוך טקסטים מקומיים.

איפה זה נופל

זה לא מודל הוראות ולא צ'אטבוט, והיוצרים מציינים זאת במפורש. אם תתנו לו פקודה ישירה הוא לא יידע מה לעשות איתה אלא ינסה להמשיך את הטקסט, מה שמחייב אתכם לעשות לו fine-tuning לפני שתוכלו לחבר אותו למוצר. בנוסף, עברית בכלל לא נמצאת ברשימת השפות הנתמכות, ולכן למשימות מקומיות בישראל אין לו שום שימוש מעשי.

אותה משפחה

sarvam-1 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 4.7 גיגה־בייט בדיוק bfloat16, כך שהוא נכנס בקלות לכל כרטיס מסך מודרני עם 8 עד 12 גיגה זיכרון, ואפשר להריץ אותו אפילו על מחשב נייד חזק דרך ספריית transformers. בזכות ארכיטקטורה עם Grouped-query attention, פעולת ההסקה שלו מהירה מאוד ביחס לגודל.

אין כאן גרסאות שונות להורדה, וזהו מודל בסיס בלבד. אם המטרה היא לקבל צ'אט שעובד מיד בלי להתעסק בתשתיות ובאימון נוסף, עדיף להשתמש ב־API חיצוני של מודל מוכן ולא לנסות להריץ את המשקלים האלה ישירות.

from transformers import pipeline

pipe = pipeline("text-generation", model="sarvamai/sarvam-1")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 4.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors4.8 GB
• model-00002-of-00002.safetensors278.9 MB
• tokenizer.json8.5 MB
• tokenizer.model1.9 MB
• tokenizer_config.json775.1 KB
• model.safetensors.index.json21.0 KB
• LICENSE.md11.5 KB
• README.md2.9 KB
• .gitattributes1.5 KB
• config.json717 B
• special_tokens_map.json414 B
• generation_config.json193 B

הרישיון

הרישיון שהמפתחים הגדירו בכרטיס הוא Sarvam non-commercial license, כלומר רישיון לא־מסחרי. המשמעות פשוטה: מותר להשתמש בו למחקר, בדיקות ופיתוח פנימי, אבל אי אפשר לשלב אותו במוצר שמייצר הכנסות או בפרויקט מסחרי בלי להסדיר מולם אישור נפרד.

הרישיון המלא בעמוד המודל ↗