DiffuCoder-7B-cpGRPO

קוד פתוח

appleapple-amlr2025-07-01

safetensors
Dream
code
text-diffusion-model
diffusion large language model

אפל מציעה כאן כלי ליצירת קוד שמבוסס על דיפוזיה במקום על חיזוי הטוקן הבא. אימון ה־RL המיוחד שלו נועד לשחרר אותו מההטיות הרגילות של מודלים אוטורגרסיביים.

7.6Bפרמטרים
131,072טוקנים בהקשר
14.2 GBמשקל הקבצים
732הורדות בחודש

מה זה

מדובר במודל קוד שמבוסס על ארכיטקטורת DreamModel ועבר כוונון עדין על בסיס DiffuCoder-7B-Instruct. אפל השתמשה בשיטת חיזוק בשם Coupled-GRPO על 21 אלף דוגמאות קוד במעבר בודד. הרעיון הוא לגרום למודל דיפוזיה לייצר קוד בלי להישען חזק מדי על סדר כתיבה רציף ומוטה משמאל לימין.

בבדיקות של אפל השיטה הזו הוסיפה 4.4 אחוזים בביצועים על מדד EvalPlus בהשוואה לגרסת הבסיס. בעולם האמיתי זה אומר פחות נפילות בקוד מורכב ויותר יכולת לתקן או לתכנן חלקים שלמים של פונקציה במקביל במקום רק לנחש את המילה הבאה.

מתאים ל

מחקר על דיפוזיה לקוד
מתאים למי שרוצה לבדוק שיטות יצירת קוד לא אוטורגרסיביות ואיך GRPO משפיע על איכות הפלט.
בדיקת קוד במקביל
ניצול מנגנון הדיפוזיה לעריכה ותיקון של קטעי קוד בלי תלות מלאה ברצף הטוקנים הרגיל.
פיתוח עם הקשר רחב
בדיקת פרויקטים שלמים בזכות חלון הקשר של 131,072 טוקנים, בהינתן חומרה מתאימה.

איפה זה נופל

הכרטיס לא מציין ביצועים בשפות שאינן קוד, ואין שום עדות ליכולת עבודה בעברית. השימוש בארכיטקטורת דיפוזיה אינו סטנדרטי ולכן קשה להטמיע אותו בסביבות הרצה מוכנות כמו vLLM בלי התאמות ידניות. בנוסף, מדובר במודל שעבר אימון על דאטה-סט קטן יחסית של 21 אלף דוגמאות קוד, כך שחובה לבדוק היטב את תקינות התחביר לפני שמריצים פלטים שלו בסביבת פיתוח.

שאלות
נפוצות

אפשר להריץ את המודל הזה בכלים רגילים כמו Ollama?

לא באופן ישיר. המודל בנוי על ארכיטקטורת DreamModel ודורש את כלי ההרצה הספציפיים שהפרויקט מספק בגיטהאב שלו.

האם הוא מתאים לשימוש מסחרי בחברה?

הרישיון הוא apple-amlr, רישיון ייעודי של אפל למחקר. סביר מאוד שהוא אוסר שימוש מסחרי ישיר ודורש בדיקה מול התנאים המדויקים שלו.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־14.2 גיגה בייט בדיוק של bfloat16. כדי להריץ אותו מקומית תצטרכו כרטיס מסך עם לפחות 16 גיגה זיכרון גרפי, ואם תרצו לנצל את חלון ההקשר המלא של 131 אלף טוקנים, תצטרכו חומרה חזקה בהרבה או חלוקה לכמה כרטיסים.

ההרצה דורשת שימוש בספריות התמיכה של Dream כי זו לא ארכיטקטורה סטנדרטית של Llama. אם אין לכם תשתיות מתאימות, שווה לחכות שמישהו ירים לזה נקודת קצה מסודרת, כי ניהול זיכרון ודיפוזיה לקוד שונים מהרצה של מודל שפה רגיל.

pip install -U huggingface_hub
hf download apple/DiffuCoder-7B-cpGRPO

הרישיון

הקוד והמשקלים שוחררו תחת רישיון apple-amlr של אפל למחקר. זה לא רישיון קוד פתוח מתירני כמו Apache או MIT, ולרוב הוא מגביל מאוד שימוש מסחרי ישיר. אם אתם בונים מוצר שנועד למכירה או לחברה, אל תכניסו אותו פנימה בלי בדיקה משפטית קפדנית של תנאי הרישיון.

הרישיון המלא בעמוד המודל ↗