GPT
Y

Yi-Coder-9B-Chat

קוד פתוח

01-aiapache-2.02024-08-21

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

מודל קוד של תשעה מיליארד פרמטרים שמחזיק חלון הקשר ענק. הוא פונה למי שרוצה להריץ סוכן פיתוח מקומי על פרויקטים שלמים בלי לשלם לחברות ענן.

  • 8.8Bפרמטרים
  • 131,072טוקנים בהקשר
  • 16.4 GBמשקל הקבצים
  • 10,287הורדות בחודש

מה זה

מדובר במודל שמתמקד כולו בכתיבה והבנה של קוד, עם תמיכה מוצהרת ב־52 שפות תכנות שונות, משפות נפוצות כמו פייתון, ג'אווה וטייפסקריפט ועד שפות ישנות או נישתיות כמו קובול, פורטרן וארלנג. הוא מבוסס על ארכיטקטורת Llama ומגיע בגרסת שיחה שמתאימה להנחיות ישירות ולא רק להשלמת שורות.

הייחוד המרכזי כאן מול מודלים אחרים בקטגוריית הגודל הזו הוא היכולת לבלוע 131,072 טוקנים בהקשר אחד. במקום להזין קובץ בודד או קטע קצר, אפשר לטעון לתוכו תיקיות שלמות, קובצי הגדרות ותיעוד נלווה. במבחן LiveCodeBench הוא קיבל ציון מעבר של 23 אחוזים, תוצאה שמציבה אותו מעל מודלים כבדים ממנו בהרבה כמו דיפסיק 33B או קודלאמה 34B, ומראה שמבחינת היגיון תכנותי נטו הוא מצליח לייצר פתרונות עובדים יותר טוב מכלים שנחשבו לסטנדרט בקוד פתוח.

מתאים ל

  • ניתוח ריפו שלם מקומית

    חלון של 128K מאפשר לטעון פרויקט שלם כדי לאתר תלויות ובאגים רוחביים.

  • תרגום קוד משפות ישנות

    הוא אומן על שפות כמו קובול ופורטרן, ויכול לסייע בהמרת מערכות ישנות למודרניות.

  • סייען קוד פרטי בארגון

    רישיון אפאצ'י מאפשר להריץ אותו בתוך הרשת הארגונית בלי שקוד סודי ייצא החוצה.

איפה זה נופל

הנתונים מראים הצלחה של 23 אחוזים בלבד ב־LiveCodeBench. המשמעות המעשית היא שביותר משלושה מתוך ארבעה אתגרי תכנות מורכבים הוא ייכשל, ייצר באגים או יכתוב קוד שלא עובר טסטים. אסור לתת לו לכתוב ישירות לתוך קוד ייצור בלי בדיקה אנושית, ובפרויקטים שאינם באנגלית צריך לבדוק אותו בזהירות, כי כרטיס המודל לא מתייחס בכלל לתמיכה בשפות טבעיות אחרות.

אותה משפחה

Yi-Coder יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

שאלות
נפוצות

האם המודל הזה מבין עברית?

כרטיס המודל מפרט רק 52 שפות תכנות ולא מציין דבר לגבי שפות טבעיות מלבד אנגלית. אפשר להניח שהיכולת שלו להבין שאלות בעברית או להוסיף הערות בעברית תהיה חלשה מאוד בהשוואה למודלים כלליים.

האם באמת אפשר לנצל את כל 128K הטוקנים על מחשב אישי?

טכנית כן, אבל הזיכרון שיידרש עבור ה־KV cache באורך כזה ידרוש חומרת שרתים מקצועית. על כרטיס ביתי פשוט של 16 או 24 גיגה תוכלו להריץ אותו בקונטקסט קצר, אך הוא ייחנק ברגע שתעמיסו עליו עשרות אלפי טוקנים.

איך מריצים

המשקל הגולמי של הקבצים עומד על 16.4 גיגה בייט בדיוק bfloat16, כך שתצטרכו כרטיס מסך עם לפחות 24 גיגה זיכרון כדי להחזיק אותו בזיכרון מלא, ועוד תוספת נכבדה ברגע שתרצו לנצל את מלוא חלון ה־128K.

למי שמחזיק חומרה צנועה יותר קיימת בסדרה גם גרסת 1.5B קלה בהרבה, אבל היא תציג פגיעה משמעותית ביכולת הניתוח. אם אין לכם שרת מקומי חזק או GPU ייעודי בעבודה, שימוש בשירות מנוהל חיצוני יהיה זול ופשוט יותר מלהילחם בדרישות הזיכרון של קונטקסט מלא.

from transformers import pipeline

pipe = pipeline("text-generation", model="01-ai/Yi-Coder-9B-Chat")
print(pipe("שלום"))

הרישיון

הרישיון הוא apache-2.0, וזה אומר חופש כמעט מוחלט. מותר להשתמש בו לצרכים מסחריים, לשלב אותו בתוך תוכנה פנימית, להפיץ אותו מחדש או לשנות את הקוד שלו, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗