GPT
הוספת כלי
K

kanana-1.5-2.1b-instruct-2505

קוד פתוח

kakaocorpapache-2.02025-05-21

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

מודל קטן של 2.3 מיליארד פרמטרים שמתמקד בקוריאנית ובאנגלית, עם חלון הקשר של 32K. הוא מכוון למשימות קוד, חישוב וקריאות לפונקציות בלי לתפוס הרבה מקום בזיכרון.

  • 2.3Bפרמטרים
  • 32,768טוקנים בהקשר
  • 4.3 GBמשקל הקבצים
  • 3,517הורדות בחודש

מה זה

קאקאו שחררו כאן שדרוג לגרסת הנאנו הקודמת שלהם, כשהפעם הדגש הוא על קוד, מתמטיקה וקריאה לפונקציות. הוא מבוסס על ארכיטקטורת Llama ורץ על 32 שכבות בדיוק bfloat16. לפי המדידות של החברה, במבחן HumanEval פלוס הוא עלה לציון 68.90 לעומת 63.41 בגרסה הקודמת, ובמתמטיקה קפץ מציון 29.26 לציון 60.62. השיפור המשמעותי ביותר נרשם במבחן FunctionChatBench, שם הוא הכפיל את התוצאה מ־26.10 ל־53.70.

המודל מגיע עם חלון הקשר טבעי של 32,768 טוקנים, ותומך בהרחבה עד 128 אלף טוקנים בשיטת YaRN. היתרון שלו מול מודלים קטנים אחרים מתרכז ביכולת לנתח טקסטים ארוכים יחסית ולהפעיל כלים, כל עוד העבודה נעשית באנגלית או בקוריאנית. החברה מציינת שתהליך האימון המקדים והכוונון העדין לא כללו מידע של משתמשי קאקאו.

מתאים ל

  • הפעלת פונקציות מקומית

    מתאים לניתוב פקודות וקריאות כלים במכשיר קצה, עם תוצאה של 53.70 ב־FunctionChatBench.

  • משימות קוד באנגלית

    משתלב בעורכי קוד קלים בזכות ציון של 68.90 במבחן HumanEval פלוס ומשקל קובץ של 4.3 גיגהבייט.

  • עיבוד מסמכים בקוריאנית

    נשען על אימון דו לשוני ייעודי של קאקאו וחלון של 32 אלף טוקנים לטקסטים ארוכים.

איפה זה נופל

המודל אומן רק על אנגלית וקוריאנית, כך שעברית פשוט לא קיימת כאן ואין מה לנסות להריץ איתו משימות מקומיות. נקודת תורפה בולטת במדידות היא ירידה דווקא במבחני ידע והבנה ספציפיים. במבחן KMMLU באפס דוגמאות עם שרשרת מחשבה הוא צנח לציון 32.93 לעומת 38.51 בגרסה הקודמת, וגם ב־IFEval הציון ירד מ־71.97 ל־68.61. היכולת להחזיק 32K טוקנים קיימת, אבל במודל של 2.3 מיליארד פרמטרים יש גבול לכמה מידע מורכב אפשר לשלוף באמת מתוך הקשר ארוך בלי לאבד דיוק.

שאלות
נפוצות

האם אפשר להשתמש במודל הזה לעיבוד טקסטים בעברית?

לא. המודל אומן ותוכנן אך ורק עבור אנגלית וקוריאנית. אין לו תמיכה רשמית בעברית, והוא לא יפיק פלטים הגיוניים בשפה הזו.

איזה כרטיס מסך צריך כדי להריץ אותו באופן מקומי?

המשקלים תופסים 4.3 גיגהבייט בפורמט bfloat16. כרטיס מסך עם 8 גיגהבייט זיכרון יספיק לטעינה ולהרצה יציבה של שיחות ופקודות.

במה הגרסה הזו שונה מגרסת הנאנו הקודמת של קאקאו?

היא מציגה שיפור ניכר בפתרון בעיות מתמטיות, קוד וקריאה לפונקציות. מצד שני, יש בה ירידה קלה במבחני ידע מסוימים כמו KMMLU.

איך מריצים

המודל שוקל 4.3 גיגהבייט ונטען בקלות דרך ספריית transformers. כדי להריץ אותו בדיוק המקורי צריך כרטיס מסך בודד עם 6 עד 8 גיגהבייט זיכרון כדי להשאיר מקום לטוקנים ולהקשר, כך שכל מעבד גרפי מודרני במחשב פיתוח יספיק פה.

אם אתם לא צריכים שילוב ספציפי של קוריאנית או עבודה עצמאית לגמרי על הברזלים שלכם, אין הצדקה אמיתית להחזיק תשתית מקומית בשבילו. מודלים גדולים דרך ממשקי רשת חיצוניים יעשו עבודה טובה יותר ברוב המשימות, במיוחד אם נדרשת תמיכה בשפות נוספות.

from transformers import pipeline

pipe = pipeline("text-generation", model="kakaocorp/kanana-1.5-2.1b-instruct-2505")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 4.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקלים משוחררים תחת רישיון apache-2.0. מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים ועותק הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗