replit-code-v1-3b

מה זה

המודל הזה נבנה ספציפית להשלמת קוד והתאמן על מאגר Stack Dedup v1.2 בהיקף של 525 מיליארד טוקנים לאורך שלושה סבבים. הוא מכסה עשרים שפות תכנות וסימון שונות, כשהמובילות בכמות המידע הן Markdown, ג'אווה, ג'אווהסקריפט ופייתון, לצד שפות כמו TypeScript, PHP, SQL, Rust ו־Go.

מבחינה הנדסית הוא מבוסס על ארכיטקטורת MPT עם מנגנון Flash Attention להאצת האימון וההסקה, ומשתמש בשיטת AliBi לקידוד מיקום שמאפשרת גמישות באורך הקלט. טוקנייזר ה־SentencePiece שלו מותאם לקוד עם אוצר מילים של 32,768 מונחים, מה שמייעל את תהליך הפיענוח בהשוואה למודלי שפה כלליים.

מתאים ל

• השלמת קוד בעורך מקומי

  הגודל הקומפקטי מאפשר השהיה נמוכה בעבודה על פייתון או ג'אווהסקריפט ישירות ממחשב הפיתוח.

• אימון מותאם על מאגר פנימי

  מתאים לשמש כבסיס קל משקל לכוונון על ספריות ייעודיות בארגון ללא עלויות תשתית כבדות.

• הרצה חסכונית ב־8 ביט

  אפשר להפעיל אותו עם זיכרון וידאו מוגבל מאוד ולקבל השלמות תחביריות בסיסיות.

איפה זה נופל

מאגר האימון עשוי להכיל תוכן פוגעני או לא הולם שלמרות הסינון עלול לצוץ בפלט, והיוצרים עצמם מזהירים מפני שילוב עיוור במערכות פרודקשן. חלון ההקשר מוגבל ל־2,048 טוקנים בלבד, שזה מעט מאוד כשמנסים להבין קבצי קוד ארוכים או פרויקטים שלמים.

בנוסף, הוא דורש עיבוד ידני מוקפד של הפלט כדי לקבל תוצאה שמישה. צריך לקטוע את הריצה בעצירת מילים כמו def או return, למחוק רווחים מיותרים בסוף שורות ולהגדיר טוקן סיום, אחרת הקוד שיוצא נחתך באמצע או ממשיך לקשקש לתוך שורות הבאות.

איך מריצים

כדי להריץ אותו צריך להתקין את transformers יחד עם einops ו־sentencepiece, ולהפעיל את הדגל trust_remote_code בזמן הטעינה כי הארכיטקטורה אינה חלק מובנה בספרייה. המשקל הגולמי שלו הוא כמעט עשרה גיגהבייט בפורמט float32, אבל הוא תומך בהרצה מהירה ב־bfloat16 עם Triton ו־Flash Attention על גבי כרטיסי מסך תומכים.

מי שמוגבל בזיכרון יכול לקווץ אותו ל־8 ביט או 4 ביט דרך bitsandbytes. אם המטרה היא לקבל סיוע כללי בכתיבת פונקציות שלמות בלי לתחזק שרתי GPU ותשתיות, שירותי ענן מסחריים יתנו מענה פשוט בהרבה.

from transformers import pipeline

pipe = pipeline("text-generation", model="replit/replit-code-v1-3b")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 9.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin10.4 GB
• spiece.model707.7 KB
• hf_prefixlm_converter.py27.2 KB
• modeling_mpt.py17.6 KB
• attention.py16.2 KB
• param_init_fns.py12.6 KB
• configuration_mpt.py9.2 KB
• README.md8.8 KB
• replit_lm_tokenizer.py6.3 KB
• meta_init_context.py3.6 KB
• norm.py2.6 KB
• blocks.py2.5 KB
• adapt_tokenizer.py1.8 KB
• .gitattributes1.5 KB
• config.json1.2 KB
• tokenizer_config.json400 B
• generation_config.json112 B
• special_tokens_map.json87 B

הרישיון

משקלי המודל וקובץ הטוקנייזר מופצים תחת רישיון CC BY-SA-4.0, בעוד שקבצי הקוד עצמם הם ברישיון Apache 2.0. מותר להשתמש בו לצרכים מסחריים, אך רישיון ה־ShareAlike מחייב אתכם לתת קרדיט ל־Replit ולשחרר כל נגזרת או שינוי של המודל תחת אותו הרישיון בדיוק.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא בעמוד המודל ↗