GPT
הוספת כלי
K

K2

קוד פתוח

IFMapache-2.02024-04-17

  • transformers
  • safetensors
  • llama
  • text-generation
  • nlp

מודל פתוח לגמרי שמציג את כל שלבי האימון ונתוני המקור בלי להסתיר דבר. הבחירה בו הגיונית בעיקר למי שחוקר איך מודלים נבנים בפועל ולא רק מחפש מנוע טקסט מוכן.

  • 65Bפרמטרים
  • 8,192טוקנים בהקשר
  • 122 GBמשקל הקבצים
  • 505הורדות בחודש

מה זה

הפרויקט הזה מציע מודל בסיס שאומן על כ־1.4 טריליון טוקנים בשני שלבים שונים, בשיתוף פעולה בין מספר גופי מחקר. המטרה המרכזית שלו הייתה לשחזר ביצועים של Llama 2 70B תוך שימוש ב־35 אחוז פחות כוח חישוב, כשהייחוד האמיתי הוא שקיפות מוחלטת: הקוד, מערכי הנתונים וכל נקודות הביניים של המשקולות פתוחים להורדה.

במבחני הביצועים של Open LLM Leaderboard התוצאות מורכבות למדי. הממוצע הכללי עומד על 14.53 בלבד, עם ציון נמוך במיוחד של 2.04 במתמטיקה ברמה 5 וציון של 3.58 ב־GPQA. מנגד, במשימות כלליות יותר כמו BBH הוא מגיע ל־28.22 וב־MMLU-PRO ל־22.27, מה שמראה יכולת סבירה בידע כללי אבל חולשה ניכרת בחשיבה לוגית עמוקה.

מתאים ל

  • מחקר על תהליכי אימון

    זמינות כל נקודות השמירה והנתונים מאפשרת לנתח בדיוק איך המודל לומד ומשתנה לאורך זמן.

  • אימון המשך סגור

    רישיון אפאצ'י מאפשר לבצע Fine-tuning על דאטה פנימי ולהפיץ את התוצר בלי מגבלות קנייניות.

  • בדיקת ארכיטקטורת 65B

    התאמת פייפליין מקומי למודלי ענק על בסיס ארכיטקטורת Llama מוכרת וקוד פתוח לגמרי.

איפה זה נופל

הנתונים מראים נפילה חדה במשימות מורכבות. במבחני מתמטיקה ושאלות מדעיות ברמת דוקטורט המודל כמעט ולא פוגע, כך שאי אפשר לסמוך עליו לפתרון בעיות כמותיות או הסקת מסקנות קפדנית. מעבר לכך, מדובר במודל שאומן באנגלית בלבד, כך שאין מה לצפות ממנו לעבודה תקינה בעברית ללא אימון נוסף. לפני שמכניסים אותו למערכת כלשהי, חובה לקחת בחשבון שמדובר במודל בסיס שדורש התאמה והנחיה מדויקת, ושחלון ההקשר שלו מוגבל ל־8,192 טוקנים בלבד.

אותה משפחה

K2 יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

K2-V2924 K2-V2-Instruct259 K2-Chat135

שאלות
נפוצות

האם המודל תומך בעברית?

המודל הוגדר ואומן באנגלית בלבד על בסיס מאגרים כמו ArXiv, ויקיפדיה וקוד. הוא לא מיועד לטקסט בעברית וידרוש אימון ייעודי משמעותי כדי להפיק פלט הגיוני.

האם שווה להריץ אותו כצ'אטבוט במקום Llama 2?

לא בטוח. אף שהוא נבנה לספק ביצועים דומים תוך חיסכון במשאבי אימון, ציוני המבחנים שלו בלוגיקה ובמתמטיקה נמוכים מאוד. היתרון שלו הוא בשקיפות המחקר ולאו דווקא בעליונות טכנית במענה יומיומי.

איך מריצים

כדי להריץ אותו אצלכם תצטרכו להוריד 122 ג'יגה בייט של קבצים בפורמט float16. מודל של 65 מיליארד פרמטרים דורש חומרה כבדה מאוד, כלומר מערך של כמה כרטיסי מסך חזקים כמו A100 או קוונטיזציה אגרסיבית, אחרת לא תצליחו אפילו לטעון אותו לזיכרון.

אם אתם רק צריכים תשובות לשאלות או שילוב במוצר קיים, עדיף להשתמש ב־API מנוהל של מודלים מודרניים. הרצה מקומית של המפלצת הזו משתלמת רק אם המטרה היא לבצע אימון המשך ייעודי, או לחקור שינויים בייצוג המידע לאורך שלבי האימון השונים שפורסמו.

from transformers import pipeline

pipe = pipeline("text-generation", model="IFM/K2")
print(pipe("שלום"))

הקבצים

40 קבצים במאגר, 122 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ עותקים ולשלב אותו במוצרים פנימיים או חיצוניים בלי לשלם תמלוגים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗