GPT
Y

Yi-Coder-9B

קוד פתוח

01-aiapache-2.02024-08-15

  • transformers
  • safetensors
  • llama
  • text-generation
  • text-generation-inference

מודל קוד של 8.8 מיליארד פרמטרים עם חלון של 128 אלף טוקנים. הוא נותן פתרון מקומי טוב לפרויקטים שלמים בלי לרוקן את הזיכרון של כרטיס המסך.

  • 8.8Bפרמטרים
  • 131,072טוקנים בהקשר
  • 16.5 GBמשקל הקבצים
  • 8,697הורדות בחודש

מה זה

מדובר במודל בסיס ייעודי לפיתוח מבית 01-ai, שיושב על ארכיטקטורת Llama רגילה של 48 שכבות. המאפיין הבולט ביותר שלו הוא היכולת לבלוע קבצים גדולים וספריות שלמות בזכות חלון הקשר עצום, כשהוא תומך ב־52 שפות תכנות שונות, מ־Python ו־TypeScript ועד שפות ישנות כמו Cobol ו־Fortran.

בגרסת הצ'אט המקבילה שלו המפתחים מציגים תוצאה של 23 אחוזים במבחן LiveCodeBench. המשמעות בפועל היא שבכתיבת קוד חדש ומורכב הוא מצליח לעקוף אפילו מודלים פתוחים ותיקים ששוקלים פי שלושה או ארבעה ממנו, כמו גרסאות ה־33B וה־34B של DeepSeek ו־CodeLlama. עבור גודל של פחות מ־10 מיליארד פרמטרים, זו רמת דיוק חריגה שמאפשרת לקבל השלמות הגיוניות ולא רק ניחושים תחביריים שטחיים.

מתאים ל

  • השלמת קוד מקומית ב־IDE

    הוא מציע השלמה מדויקת יחסית לקבצים פתוחים בעשרות שפות, בלי לשלוח קוד ארגוני החוצה.

  • ניתוח בסיסי של ריפו שלם

    חלון של 128 אלף טוקנים מתאים לטעינה של כמה קבצי מקור יחד כדי למצוא תלויות.

  • אימון והתאמה אישית

    מודל בסיס נוח לכוונון עדין (fine-tuning) על בסיס קוד ייעודי של חברה.

איפה זה נופל

זהו מודל בסיס (Base) ולא מודל שיחה (Chat), ולכן הוא פשוט לא בנוי לענות על שאלות כמו מפתח אנושי או לנהל דיאלוג. אם תזרקו עליו שאלה, הוא ינסה להשלים את הטקסט במקום לתת תשובה ישירה. בנוסף, למרות ש־23 אחוזים בבנצ'מרק הם הישג לגודל הזה, המודל עדיין נכשל ברוב המשימות המורכבות ומייצר באגים, כך שאי אפשר להסתמך עליו בעיניים עצומות.

אותה משפחה

Yi-Coder יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

שאלות
נפוצות

האם המודל הזה יודע לדבר בעברית?

כרטיס המודל לא מציין תמיכה בעברית ומגדיר אותו לפיתוח קוד ב־52 שפות תכנות. אפשר להניח שיבין הערות בסיסיות, אבל הוא לא מיועד לניתוח טקסט בעברית.

מה ההבדל בין גרסה זו לגרסת ה־Chat?

גרסת הבסיס הזו נועדה להשלמת קוד נטו או לאימון נוסף. אם אתם רוצים עוזר שיענה לשאלות, יסביר שגיאות או יכתוב פונקציות לפי בקשה מילולית, אתם צריכים את גרסת ה־Chat.

איך מריצים

המשקל הגולמי בדיוק bfloat16 תופס 16.5 גיגה-בייט, מה שאומר שכדי להריץ אותו בלי קוונטיזציה תצטרכו כרטיס מסך בודד עם 24 גיגה זיכרון, כמו RTX 3090 או 4090. אם אתם מתכננים לנצל את מלוא חלון ההקשר עד 128 אלף טוקנים, תוספת הזיכרון ל־KV Cache תדרוש כרטיס חזק עוד יותר, שרת ייעודי, או דחיסה ל־4 ביט.

ההרצה מתבצעת ישירות דרך ספריית transformers המוכרת. אם אין ברשותכם חומרה מתאימה ואין לכם צורך בפרטיות מוחלטת של הקוד בתוך הרשת המקומית, שירות ענן או קריאה למודלים דרך API יחסכו לכם התעסקות עם זמני טעינה וצווארי בקבוק בחומרה.

from transformers import pipeline

pipe = pipeline("text-generation", model="01-ai/Yi-Coder-9B")
print(pipe("שלום"))

הרישיון

המודל משוחרר ברישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי מלא, שינוי של המשקלים, הפצה ושילוב במוצרים פרטיים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗