needle

מה זה

מדובר במודל שמבוסס על ארכיטקטורת אנסמבל של מקודד ומפענח בלי שכבות FFN כלל, שזוקק ישירות מתוך Gemini 3.1 ואומן על 200 מיליארד טוקנים לצד נתוני הפעלת פונקציות. המטרה שלו מוגדרת מאוד. הוא לא מנסה לנהל שיחה, לכתוב שירה או לענות על שאלות ידע כללי, אלא לקבל שאילתה, להבין את הכלים הזמינים ולהחזיר קריאת פונקציה במבנה נקי.

הייחוד כאן הוא המשקל והמהירות. עם 124 מגה בייט בלבד בדיוק bfloat16, המפרסמים מדווחים על קצב של 6,000 טוקנים לשנייה בשלב ה־prefill ו־1,200 בשלב ה־decode כשמריצים אותו על סביבת הריצה הייעודית שלהם. מודלים רגילים בגדלים האלה בדרך כלל מתקשים מאוד לשמור על מבנה JSON תקין בלי לסטות, וכאן כל האימון המקדים והפוסט-טריינינג התמקדו ביכולת הזו בלבד.

מתאים ל

• ניתוב שאילתות לפונקציות

  זיהוי הפונקציה המתאימה וחילוץ הפרמטרים במבנה מוגדר במהירות גבוהה.

• הרצה מקומית על מחשב קצה

  שילוב בתוך יישומי שולחן עבודה בזכות גודל קבצים של 124 מגה בייט בלבד.

• כוונון על כלים פנימיים

  אימון מקומי פשוט על נתוני פקודות של מוצר קיים ללא חשיפת המידע לרשת.

איפה זה נופל

המודל הזה מוגבל להפעלת פונקציות בלבד ואינו כלי שיחה כללי. אוצר המילים שלו קטן מאוד, 8,192 טוקנים בקידוד SentencePiece, מה שאומר שהוא יתקשה מאוד עם שפות שאינן אנגלית, ועברית כנראה תתנפח ותשבור את יעילות הריצה שלו. בנוסף, הארכיטקטורה ויתרה על שכבות FFN כדי להאיץ ביצועים, כך שיכולת ההסקה וההבנה של ניואנסים מורכבים בשאילתה נמוכה משמעותית ממודלים מלאים.

איך מריצים

את הקבצים מריצים דרך ספריית קוד ייעודית של הפרויקט שמבוססת על JAX, או דרך ממשק שורת פקודה שמפעיל שרת מקומי בכתובת המקומית. אפשר לבצע איתו כוונון עדין על קובצי נתונים משלכם ישירות מהמחשב האישי בלי תלות בענן.

מבחינת חומרה, המשקל המגוחך שלו מאפשר להריץ אותו כמעט על כל מחשב נייד מודרני, מק או פיסי, ללא צורך בכרטיסי מסך יקרים של שרתים. אם אתם צריכים רק לנתב קריאות פשוטות בתוך שרת קיים בלי לשלם על כל קריאה ל־API חיצוני, יש היגיון בהרצה עצמית. אם אתם צריכים הבנה מורכבת של הקשר ארוך ורב-שלבי, תשלום ישיר למודל ענן גדול יחסוך שגיאות בייצור.

pip install -U huggingface_hub
hf download Cactus-Compute/needle

הקבצים

11 קבצים במאגר, 124 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors60.9 MB
• needle.pkl52.6 MB
• needle-cq4.zip16.2 MB
• tokenizer.model125.0 KB
• tokenizer/needle.model125.0 KB
• tokenizer/needle.vocab105.7 KB
• README.md5.7 KB
• .gitattributes1.5 KB
• config.json777 B
• tokenizer_config.json435 B
• special_tokens_map.json168 B

הרישיון

רישיון MIT חופשי ומתירני. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקלים, לשלב אותו במוצרים סגורים ולהפיץ אותם הלאה, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗