Youtu-LLM-2B
קוד פתוחtencentother2025-12-31
מודל שפה קומפקטי שמכוון ספציפית למשימות תכנות והפעלת סוכנים עצמאיים. הוא דורש מעט מאוד זיכרון ומספק יכולות שקשה למצוא מתחת לשלושה מיליארד פרמטרים.
- 2Bפרמטרים
- 131,072טוקנים בהקשר
- 3.7 GBמשקל הקבצים
- 10,825הורדות בחודש
מה זה
מדובר במודל שפה קטן של פחות משני מיליארד פרמטרים, שמגיע מבית טנסנט ומבוסס על ארכיטקטורת Dense MLA. הייעוד העיקרי שלו הוא יכולות חשיבה, כתיבת קוד והרצת תהליכים מורכבים של סוכנים אוטונומיים. המודל שוחרר בגרסת בסיס לצד גרסת הוראות, ומגיע עם תמיכה מובנית במצב חשיבה של שרשרת מחשבה, שאותו מפעילים באמצעות פרמטר ייעודי בתבנית השיחה.
במבחני ביצועים הוא מציג מספרים מפתיעים ביחס למשקל הנוצה שלו. במבחן כתיבת הקוד HumanEval הוא מגיע ל־95.9 אחוזים, תוצאה שגוברת גם על מודלים בגודל 4B או 8B מאותה קטגוריה. גם במבחני סוכנים כמו SWE-Bench-Verified הוא מוציא 17.7 אחוזים, פער עצום מול מודלים מתחרים בטווח של פחות משלושה מיליארד פרמטרים. עם זאת, במבחני ידע כללי כמו MMLU-Redux הוא נשאר באזור ה־75.8 אחוזים, מה שמבהיר שהמיקוד שלו הוא לוגיקה וקוד ולא אנציקלופדיה רחבה.
מתאים ל
- סוכן מקומי לתיקון באגים
התוצאה ב־SWE-Bench חריגה לגודל שלו, והוא מתאים לתהליכי פיתוח פנימיים שרצים על המחשב.
- חילוץ מידע ופיצול טקסט
הוא מטפל יפה במעקב אחרי הוראות מובנות ומשלב יכולת ריצה קלה במערכות עם מעט זיכרון.
- פתרון בעיות מתמטיקה בקוד
מצב החשיבה המובנה מאפשר לו לחשב צעד אחר צעד במדדי STEM בלי לשלם על מודל ענק.
איפה זה נופל
למרות ההבטחה לחלון הקשר עצום של 128k טוקנים, מודל של שני מיליארד פרמטרים מתקשה לשמור על קוהרנטיות לאורך טקסטים ארוכים באמת. הנתונים מראים נפילה במשימות שמצריכות ידע כללי רחב או הבנה מורכבת במדעי הרוח. מעבר לזה, הכרטיס מדגים יכולות בסינית ובאנגלית בלבד. אין שום תיעוד ליכולות בעברית, ובמודלים בגודל כזה תמיכה רב לשונית שאינה אנגלית או סינית נוטה לייצר ג'יבריש או תשובות רדודות. יש גם סרבול טכני בהרצה, שכולל החלפת קבצים ידנית בתוך תיקיית vLLM כדי להרים שרת.
אותה משפחה
Youtu-LLM יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל תומך בעברית?
הכרטיס מציג דוגמאות בסינית ובאנגלית בלבד, ואין שום עדות לאימון על טקסטים בעברית. מודלים בגודל של פחות משני מיליארד פרמטרים בדרך כלל לא מתמודדים טוב עם שפות שאינן חלק מליבת האימון שלהם, כך שאם המוצר שלכם מיועד לעברית, עדיף לבדוק חלופות אחרות.
איך מפעילים את מצב השרשרת מחשבה שלו?
שולחים את הפרמטר enable_thinking בתוך מתודת apply_chat_template של transformers. כשהוא מופעל, המודל פולט את תהליך המחשבה לפני התשובה הסופית, ומומלץ להעלות את ערך הטמפרטורה ל־1.0 כדי לתת לו מרחב חשיבה.
איך מריצים
המשקל הכולל של הקבצים עומד על 3.7 גיגה בייט בלבד, כך שכרטיס מסך בסיסי עם 6 עד 8 גיגה זיכרון מריץ אותו בלי בעיה. בגרסת GGUF המוקטנת אפשר לטעון אותו גם על מעבדי אפל סיליקון או מחשבים ניידים דרך llama.cpp, מה שהופך את ההרצה המקומית לזולה ופשוטה להפליא.
אם אתם צריכים שרת מהיר, הוא נתמך בגרסת vLLM מותאמת עם תמיכה בקריאות לכלים חיצוניים. עם זאת, התמיכה בספריות דורשת זהירות. בגרסאות transformers ישנות צריך לוודא שאתם בטווח שבין 4.56.0 ל־4.57.1 ולהימנע מגרסאות ספציפיות עם באגים, אלא אם אתם עובדים כבר עם גרסה 5.1.0 ומעלה.
from transformers import pipeline
pipe = pipeline("text-generation", model="tencent/Youtu-LLM-2B")
print(pipe("שלום"))הקבצים
12 קבצים במאגר, 3.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר כמותאם אישית (other) עם הפניה לקובץ רישיון מקומי. המשמעות היא שאין כאן רישיון קוד פתוח סטנדרטי כמו אפאצ'י או MIT. לפני שאתם משלבים אותו במוצר מסחרי, חובה לפתוח את הקובץ ולקרוא את הסעיפים המדויקים כדי לוודא שאין הגבלות על הפצה, שימוש מסחרי או תלות במוצרים של טנסנט.