GPT
הוספת כלי
O

OpenCodeInterpreter-DS-33B

קוד פתוח

m-a-papache-2.02024-02-19

  • transformers
  • pytorch
  • llama
  • text-generation
  • code

גרסה פתוחה שמנסה לחקות את היכולת של פייתון אינטרפרטר לתקן קוד תוך כדי ריצה. הוא נשען על בסיס חזק של 33 מיליארד פרמטרים ומיועד למי שרוצה הרצה מקומית בלי תלות בשרתים חיצוניים.

  • 16,384טוקנים בהקשר
  • 62.1 GBמשקל הקבצים
  • 85הורדות בחודש
  • 148לייקים

מה זה

הפרויקט הזה לוקח את הבסיס של deepseek-coder-33b-base ובונה סביבו יכולת לעבוד בלולאה מול סביבת הרצה. הרעיון פשוט: במקום לקוות שהקוד ייצא תקין במכה ראשונה, המודל מקבל משוב מהרצת הקוד, מבין את השגיאה ומתקן את עצמו. הוא נבדק בעיקר על משימות פייתון ומיועד לפעול כעוזר פיתוח עצמאי.

במבחני HumanEval מורחבים הוא מזנק מציון בסיסי של 74.3 ל־80.5 ברגע שנותנים לו סבב תיקון יחיד עם שגיאות הרצה אמיתיות. אם מוסיפים לזה פידבק אנושי מסונתז, הוא מגיע אפילו ל־86.0. המספרים האלה מראים שהיתרון האמיתי שלו קיים רק אם מחברים אותו למערכת שמריצה את הקוד ומחזירה לו פלט, ולא אם סתם מבקשים ממנו לכתוב פונקציה בבת אחת.

מתאים ל

  • סביבת פיתוח פנימית

    כתיבת קוד ובדיקתו בסביבה ארגונית מבודדת שאסור לה להוציא מידע החוצה לשירותי צד שלישי.

  • תיקון שגיאות אוטומטי

    קבלת טרייסבק של שגיאת ריצה מקומית, הבנת התקלה וייצור תיקון מיידי בלולאה סגורה.

  • מחולל בדיקות יחידה

    כתיבת טסטים והרצתם בזמן אמת כדי לבדוק שהם באמת נכשלים ועוברים כפי שמצופה.

איפה זה נופל

המודל מדבר ומבין רק אנגלית, בלי שום תמיכה רשמית בעברית או בהסברים בשפות אחרות. מעבר לזה, כל הקונספט שלו מבוסס על היזון חוזר מהרצת קוד, מה שאומר שאם לא תבנו סביבו ארגז חול מאובטח שמריץ את הקוד שלו ומחזיר שגיאות, קיבלתם סתם מודל 33B כבד ולא יעיל במיוחד.

הרצת קוד אוטומטית שנוצר על ידי מודל דורשת סביבת הרצה מבודדת כדי לא לסכן את השרת שלכם. בלי תשתית כזו, היתרון שהמספרים בבנצ'מרק מציגים פשוט לא יבוא לידי ביטוי ביומיום.

אותה משפחה

OpenCodeInterpreter-DS יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

OpenCodeInterpreter-DS-6.7B426

שאלות
נפוצות

אפשר להריץ אותו על כרטיס מסך ביתי אחד?

לא בגרסה הזו. הקבצים לבדם שוקלים 62.1 גיגה ודורשים מעל 70 גיגה זיכרון גרפי ב־bfloat16. בשביל כרטיס בודד צריך לחכות לגרסאות מכווצות או לפנות לדגם ה־6.7B מאותה משפחה.

הוא מתאים לפרויקטים שכתובים בעברית?

המודל מוגדר רשמית לאנגלית בלבד. הוא יוכל לייצר קוד תקין, אבל הערות בקוד, תיעוד או שאלות בעברית עלולים להניב תוצאות שבורות או חלקיות.

איך מריצים

כדי להרים אותו במשקלי bfloat16 מקוריים צריך לפחות 70 עד 80 גיגה־בייט של זיכרון וידאו, מה שאומר שני כרטיסי A100 או A6000 ייעודיים. הקבצים עצמם שוקלים 62.1 גיגה, כך שגם האחסון וגם הזמן שלוקח לטעון אותם לזיכרון דורשים שרת ענן רציני ולא מחשב נייד.

מי שאין לו תשתית כזו במשרד יצטרך לפנות לשרתי ענן לפי שעה או פשוט לפנות למודלים סגורים דרך API. היתרון היחיד בלהריץ מפלצת כזו לבד הוא פרטיות מוחלטת של קוד הארגון, בתנאי שאתם מוכנים לשלם את עלויות הברזלים.

from transformers import pipeline

pipe = pipeline("text-generation", model="m-a-p/OpenCodeInterpreter-DS-33B")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 62.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, מה שאומר חופש כמעט מוחלט. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע בתוך מוצר סגור ולהפיץ אותו, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗