dots.llm1.base

מה זה

המודל הזה הוא גרסת הבסיס של סדרת dots.llm1, שנבנתה בתצורת תערובת מומחים עם מאה עשרים ושמונה מומחים מנותבים ועוד שני מומחים משותפים. בכל טוקן המערכת מפעילה שישה מומחים בלבד, מה שמביא את מספר הפרמטרים הפעילים לארבעה עשר מיליארד. לפי הדוח הטכני, אימון הבסיס נעשה על דאטה מקורי ללא שימוש בנתונים סינתטיים.

היוצרים מדווחים על ביצועים שמקבילים ל־Qwen2.5-72B, כשהרעיון המרכזי הוא קבלת יכולות של מודל דחוס ועמוק בלי לסחוב את עלויות החישוב הכבדות של כל המשקלים בכל צעד. מעבר לזה, המפתחים שחררו צ'קפוינטים מכל שלבי האימון, מה שמאפשר לנתח את הדינמיקה של תהליך הלמידה לאורך זמן.

מתאים ל

• המשך אימון ואימון ייעודי

  בסיס רחב ללא נתונים סינתטיים שמתאים לכוונון על דאטה ארגוני פנימי.

• חקר התכנסות של מודלים

  היוצרים שחררו נקודות ביניים מהאימון, מה שמאפשר לחקור התנהגות שכבות.

• מערכות השלמת טקסט באנגלית

  הפעלת מומחים חסכונית שמאפשרת תגובה מהירה ביחס למודלים מונוליטיים.

איפה זה נופל

זהו מודל בסיס בלבד ולא מודל שעבר כוונון לשיחה או מילוי הוראות, כך שהוא לא יענה ישירות על שאלות אלא רק ישלים טקסט קיים. לשיחות צריך לקחת את גרסת ה־inst או לאמן אותו לבד. בנוסף, המודל אומן מראש על אנגלית וסינית בלבד. אין תיעוד לתמיכה בעברית, ולכן ניסיון לעבוד איתו בעברית יגרור כנראה פליטת הברות משובשות או תרגום לקוי. חלון ההקשר עומד על שלושים ושניים אלף טוקנים, שזה סביר אבל קצר מול הסטנדרטים הנוכחיים של מאה אלף ויותר.

איך מריצים

המשקלים תופסים מאתיים שישים ושישה גיגה בייט ומחולקים לשמונים וארבעה קבצים, מה שאומר שחובה שרת עם כמה מאיצים גרפיים רק כדי לטעון אותם לזיכרון. הדוגמאות הרשמיות של הפרויקט דורשות שרת עם מקביליות של שמונה כרטיסים באמצעות vLLM או SGLang, עם תמיכה בהרצה דרך דוקר ייעודי.

אם אין לכם קלאסטר של שמונה כרטיסי שרת עם מספיק זיכרון וידאו, חבל על המאמץ להוריד את המשקלים למכונה בודדת. המודל דורש הפעלת קוד מרוחק ומיועד לסביבות ענן רציניות, ובמקרים של תקציב מוגבל עדיף לחפש ספק חיצוני שמגיש אותו או את גרסת ההוראות כשירות מנוהל.

from transformers import pipeline

pipe = pipeline("text-generation", model="dots-studio/dots.llm1.base")
print(pipe("שלום"))

הקבצים

84 קבצים במאגר, 266 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00059-of-00067.safetensors4.3 GB
• model-00006-of-00067.safetensors4.3 GB
• model-00046-of-00067.safetensors4.3 GB
• model-00001-of-00067.safetensors4.3 GB
• model-00032-of-00067.safetensors4.3 GB
• model-00033-of-00067.safetensors4.3 GB
• model-00007-of-00067.safetensors4.3 GB
• model-00008-of-00067.safetensors4.3 GB
• model-00021-of-00067.safetensors4.3 GB
• model-00022-of-00067.safetensors4.3 GB
• model-00034-of-00067.safetensors4.3 GB
• model-00035-of-00067.safetensors4.3 GB
• model-00048-of-00067.safetensors4.3 GB
• model-00009-of-00067.safetensors4.3 GB
• model-00036-of-00067.safetensors4.3 GB
• model-00047-of-00067.safetensors4.3 GB
• model-00010-of-00067.safetensors4.3 GB
• model-00011-of-00067.safetensors4.3 GB
• model-00012-of-00067.safetensors4.3 GB
• model-00015-of-00067.safetensors4.3 GB
• model-00023-of-00067.safetensors4.3 GB
• model-00024-of-00067.safetensors4.3 GB
• model-00027-of-00067.safetensors4.3 GB
• model-00028-of-00067.safetensors4.3 GB
• model-00039-of-00067.safetensors4.3 GB
• model-00040-of-00067.safetensors4.3 GB
• model-00041-of-00067.safetensors4.3 GB
• model-00042-of-00067.safetensors4.3 GB
• model-00051-of-00067.safetensors4.3 GB
• model-00052-of-00067.safetensors4.3 GB
• model-00053-of-00067.safetensors4.3 GB
• model-00054-of-00067.safetensors4.3 GB
• model-00055-of-00067.safetensors4.3 GB
• model-00063-of-00067.safetensors4.3 GB
• model-00005-of-00067.safetensors4.3 GB
• model-00029-of-00067.safetensors4.3 GB
• model-00003-of-00067.safetensors4.3 GB
• model-00004-of-00067.safetensors4.3 GB
• model-00016-of-00067.safetensors4.3 GB
• model-00018-of-00067.safetensors4.3 GB

הרישיון

הפרויקט משוחרר תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי חופשי, שינוי קוד, הפצה ושילוב במוצרים פרטיים בלי תשלום תמלוגים. התנאי היחיד הוא שמירת הצהרת זכויות היוצרים של היוצרים המקוריים בקוד או בהפצה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗