GPT
הוספת כלי
K

KAT-Dev-72B-Exp

קוד פתוח

Kwaipilotapache-2.02025-10-10

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • conversational

גרסה ניסיונית מבוססת למידת חיזוק לפיתוח תוכנה, שמגיעה לתוצאות גבוהות במיוחד על בעיות קוד אמיתיות. שווה לבדוק אותו אם אתם בונים סוכן אוטומטי לפתרון תקלות בריפו.

  • 73Bפרמטרים
  • 131,072טוקנים בהקשר
  • 135 GBמשקל הקבצים
  • 282הורדות בחודש

מה זה

מדובר במודל שמבוסס על ארכיטקטורת Qwen2 בהיקף של 72 מיליארד פרמטרים, ומיועד כולו למשימות הנדסת תוכנה. הוא מוגדר כגרסה הניסיונית של KAT-Coder, ומציג תוצאה של 74.6% במבחן SWE-Bench Verified. המספר הזה אומר שבשילוב מעטפת העבודה הנכונה, הוא מסוגל לפתור כמעט שלושה מכל ארבעה באגים מורכבים במאגרי קוד אמיתיים.

היוצרים שלו התמקדו בייעול של למידת חיזוק למערכות סוכנים, כולל שכתוב של קרנל ה־attention והתאמה למסלולים שחולקים הקשר ארוך. חלון ההקשר שלו מגיע ל־131,072 טוקנים, מה שמאפשר להזין תיעוד עמוק והיסטוריית שיחות ארוכה של סוכן בלי לאבד את ההקשר.

מתאים ל

  • סוכנים אוטונומיים לתיקון קוד

    הוא אומן ייעודית לפתרון בעיות בריפו באמצעות SWE-agent ויודע לנהל צעדים מרובים.

  • מחקר על למידת חיזוק לקוד

    המשקלים משקפים שיטות ייצוב חדשות באימון RL שכדאי לבחון ולהשוות.

  • ניתוח בסיסי קוד עמוקים

    חלון של מעל 130 אלף טוקנים מאפשר לקרוא קבצים גדולים והיסטוריית עבודה ארוכה.

איפה זה נופל

הציון המרשים בבנצ'מרק תקף רק כאשר מריצים אותו יחד עם הסקאפולד של SWE-agent והגדרות ספציפיות מאוד, כמו טמפרטורה 0.6 והיסטוריה מוגבלת. אם תנסו להשתמש בו ישירות כמודל שיחה רגיל בלי המעטפת הזו, הביצועים לא יהיו זהים. בנוסף, מדובר במודל ניסיוני מוצהר ששוחרר בעיקר כדי להציג את שיטת האימון, ולכן צריך לבדוק אותו ביסודיות לפני שסומכים עליו בפרודקשן.

שאלות
נפוצות

האם אפשר לקבל את התוצאות מהבנצ'מרק בסקריפט פשוט?

לא. המספר 74.6% הושג אך ורק בתוך המעטפת של SWE-agent, עם חלוקה מוגדרת של עד 150 תורות והגדרות הסקה ספציפיות. הרצה חופשית תניב תוצאות אחרות לגמרי.

כמה זיכרון GPU מינימלי צריך כדי לטעון אותו?

הקבצים שוקלים 135 ג'יגה בייט בפורמט bfloat16. להרצה יציבה בלי קוונטיזציה תצטרכו לפחות 160 ג'יגה בייט של VRAM, כלומר שני כרטיסי 80GB.

איך מריצים

כדי להריץ אותו מקומית בפורמט המקורי של bfloat16 תצטרכו לפחות 135 ג'יגה בייט של זיכרון כרטיסי מסך, כלומר מערך של שני כרטיסי A100 או H100 של 80 ג'יגה בייט. הקבצים מחולקים ל־43 חלקים ונטענים דרך transformers, כך שמדובר בהתקנה כבדה ולא במשהו שזורקים על מחשב נייד.

אם אין לכם תשתית כזאת, שווה לשקול הרצה מרוחקת או בדיקה של המודל הקנייני שלהם ברשת. להחזיק שרת כזה באופן קבוע עולה אלפי דולרים בחודש, וזה משתלם רק אם יש לכם צורך מובהק בריצה מקומית ומאובטחת.

from transformers import pipeline

pipe = pipeline("text-generation", model="Kwaipilot/KAT-Dev-72B-Exp")
print(pipe("שלום"))

הקבצים

43 קבצים במאגר, 135 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקלים משוחררים תחת רישיון Apache 2.0. זהו רישיון פתוח ומתירני שמאפשר שימוש מסחרי חופשי, שינוי של המודל והפצה שלו, כל עוד שומרים על הודעת זכויות היוצרים המקורית והטקסט של הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗