GPT
הוספת כלי
N

Nandi-Mini-150M

קוד פתוח

FrontiersMindapache-2.02026-04-01

  • transformers
  • safetensors
  • nandi
  • text-generation
  • custom_code

מודל שפה זעיר של 153 מיליון פרמטרים שמתמקד באנגלית ובשפות הודיות. הוא נכנס בקלות לחומרה מוגבלת ומיועד למי שצריך עיבוד טקסט מקומי, מהיר ובמשקל נוצה.

  • 153Mפרמטרים
  • 2,048טוקנים בהקשר
  • 305 MBמשקל הקבצים
  • 282הורדות בחודש

מה זה

מדובר במודל בסיס קטן שנבנה מאפס על 525 מיליארד טוקנים כדי לפעול בקצה ובחומרה חלשה. הוא משתמש בטכניקות כמו שיתוף שכבות, שמכפיל את עומק הרשת בפועל מ־16 ל־32 שכבות, וצמצום זיכרון ברמת האמבדינגס. המטרה כאן היא להוציא מקסימום ביצועים בלי לנפח את כמות הפרמטרים, כשהדגש המרכזי הוא אנגלית ועשר שפות הודיות שונות כמו הינדי, בנגלי וטמילי.

במבחנים מול מודלים בגודל דומה, כמו סדרת SmolLM, הוא מציג יתרון קל במשימות ידע כמו MMLU עם ציון של 28.86 לעומת כ־25, ו־GPQA עם 28.57 לעומת כ־22. עם זאת, במבחני היגיון כמו HellaSwag הוא מקבל 37.20, שזה נמוך יותר מהמתחרים שלו. היתרון הבולט שלו הוא יעילות הטוקניזציה בשפות היעד, מה שמונע ניפוח טוקנים שמוכר במודלים מערביים, לצד תוצאה טובה בכוונון עדין למשימות סיכום בהינדי.

מתאים ל

  • סיווג טקסט בהתקני קצה

    ניתוח והפניה של טקסטים קצרים באנגלית או בהינדי ישירות על חומרה חלשה בלי צורך בשרת חיצוני.

  • בסיס לכוונון משימה ייעודית

    אימון זול ומהיר למשימות ספציפיות כמו סיכום טקסט או תרגום ממוקד, שם המודל הראה תוצאות עדיפות על מתחריו.

  • השלמת מילים מקומית

    השלמה אוטומטית במקלדות או באפליקציות שפועלות ללא חיבור רשת עבור דוברי שפות הודיות.

איפה זה נופל

זה מודל בסיס ולא מודל שיחה, כלומר הוא רק מנחש את המשך הטקסט ולא עונה להנחיות בלי כוונון נוסף. התוצאות שלו במתמטיקה ובקוד נמוכות מאוד, עם ציון של 2.58 בלבד ב־GSM8K ו־4.27 ב־HumanEval. בנוסף, חלון ההקשר עומד על 2,048 טוקנים בלבד, מה שמונע ממנו לנתח מסמכים ארוכים. בעברית אין לו שום תמיכה או אימון ייעודי, אז אל תבנו עליו לעיבוד שפה מקומית.

אותה משפחה

Nandi-Mini יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Nandi-Mini-150M-Instruct114

שאלות
נפוצות

האם המודל הזה מתאים לעבודה בעברית?

לא. המודל אומן על אנגלית ועשר שפות הודיות בלבד. הוא לא מכיר עברית, והטוקנייזר שלו ייצר רצפים ארוכים ויקרים לכל מילה אם בכלל יצליח להפיק משהו הגיוני.

למה שהמודל הזה יעניין אותי אם יש מודלים גדולים וחכמים בהרבה?

הוא שווה בדיקה אך ורק אם אתם מפתחים לשווקים דוברי שפות הודיות וחייבים לחסוך בעלויות שרתים, או שאתם צריכים להריץ מודל מקומית על טלפונים ומכשירים מוגבלים בזיכרון. לכל שימוש כללי אחר, מודלים של חצי מיליארד פרמטרים ומעלה יתנו תוצאות טובות בהרבה.

איך מריצים

המודל שוקל 305 מגה בייט בלבד, כך שלא צריך כרטיס מסך ייעודי כדי להריץ אותו. מעבד רגיל של מחשב נייד, טלפון או שרת זול יריצו אותו בלי בעיה ובזמני תגובה אפסיים דרך ספריית transformers הרגילה של פייתון.

המפתח שחרר גרסת בסיס וגרסת הוראות, כך שאם אתם רוצים צ'אט או מילוי פקודות ישיר, הגרסה הזו לא מתאימה ותצטרכו את גרסת ה־Instruct או שתאמנו אותה בעצמכם. אם אתם צריכים הבנה כללית עמוקה באנגלית, חשיבה מורכבת או משימות קוד, אין טעם להריץ מודל של 150 מיליון פרמטרים מקומית. עדיף לפנות ל־API מסחרי גדול שיעשה את העבודה בכמה סנטים.

from transformers import pipeline

pipe = pipeline("text-generation", model="FrontiersMind/Nandi-Mini-150M")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 305 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ ברישיון Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן עליו ולשלב אותו במוצרים סגורים בלי לשלם תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗