Nandi-Mini-600M-Early-Checkpoint

מה זה

מדובר בגרסת ביניים מוקדמת מאוד של מודל קומפקטי מארכיטקטורת שנאי, שנועדה לתת הצצה ליעילות האימון לפני סיומו. הרעיון הבולט כאן הוא ארכיטקטורת קאש שמשתפת וקטורים ומקטינה את תפיסת הזיכרון בעד חמישים אחוז במחיר של תקורה חישובית קלה, לצד אפשרות לחזור לניהול זיכרון רגיל.

המודל אומן עד כה על מאתיים וחמישים מיליארד טוקנים בלבד, כעשרים אחוז מסך האימון המתוכנן. בבדיקות כלליות מול דגמים מאומנים בהרבה הוא משיג ציון ממוצע של 44.1, מה שמציב אותו מתחת למודלים מבוססים מאותה קטגוריה כמו סדרות קוון וסמול, אך הטוקנייזר שלו מציג יעילות חלוקה טובה מאוד בשפות הודיות בהשוואה למתחרים.

מתאים ל

• עיבוד מקומי של שפות הודיות

  הטוקנייזר יעיל מאוד בבנגלית, טמילית והינדי ומאפשר עיבוד טקסט קצר בלי לחנוק חומרת קצה.

• בדיקת חסכון בזיכרון

  הארכיטקטורה מאפשרת לבחון בפועל איך שיתוף וקטורי קאש משפיע על ביצועי המערכת בזמן אמת.

• מערכות משובצות מחשב

  משקל של 1.2 גיגה בייט ודרישות זיכרון נמוכות מאפשרים הרצה על מעבדים מקומיים ללא כרטיס מסך ייעודי.

איפה זה נופל

זה לא מוצר מוגמר אלא נקודת ביקורת מוקדמת אחרי חמישית מתהליך האימון, ולכן היכולות הלשוניות וההיגיון שלו עדיין חלקיים ומוגבלים. חלון ההקשר עומד כרגע על 2,048 טוקנים בלבד, אין לו שום תמיכה בעברית, והוא דורש הרצת קוד חיצוני של הארכיטקטורה מה שדורש בדיקת אבטחה לפני שילוב בקוד ארגוני.

איך מריצים

המודל שוקל 1.2 גיגה בייט בלבד בדיוק של 16 ביט, כך שאפשר להריץ אותו ישירות דרך ספריית הטרנספורמרס על כרטיס גרפי ביתי פשוט, מעבד של מחשב נייד או חומרת קצה. בעת הטעינה צריך לאשר הרצת קוד מרוחק, ואפשר לבחור בקונפיגורציה בין מצב קאש רגיל לבין מצב משותף שחוסך זיכרון.

אם אתם צריכים תשובות עמוקות, משימות חשיבה מורכבות או הבנה רחבה באנגלית, עדיף לפנות למודל גדול בהרבה דרך שירות ענן. להריץ אותו עצמאית שווה רק אם אתם בונים מערכת למכשירים מוגבלי משאבים או צריכים עיבוד מקומי לשפות הודיות.

from transformers import pipeline

pipe = pipeline("text-generation", model="FrontiersMind/Nandi-Mini-600M-Early-Checkpoint")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 1.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors1.3 GB
• tokenizer.json12.5 MB
• shared_kv_cache_comparison_improved.png204.3 KB
• modeling_nandi.py21.4 KB
• README.md6.2 KB
• tokenization_nandi.py4.5 KB
• configuration_nandi.py4.2 KB
• .gitattributes1.6 KB
• config.json1.0 KB
• tokenizer_config.json367 B

הרישיון

הרישיון הוא אפאצ׳י שתיים אפס. הוא מתיר שימוש מסחרי מלא, שינוי של הקוד והפצה פנימית או מסחרית של המודל בתוך מוצרים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗