GPT
הוספת כלי
O

open_llama_13b

קוד פתוח

openlm-researchapache-2.02023-06-15

  • transformers
  • pytorch
  • llama
  • text-generation
  • text-generation-inference

שחזור נקי לחלוטין של מודל הדגל מבית מטא שמאפשר שימוש מסחרי חופשי בלי אותיות קטנות. הפתרון למי שחייב משקולות פתוחות ברישיון מתירני ולא יכול להסתכן עם הרישיון המקורי.

  • 2,048טוקנים בהקשר
  • 24.2 GBמשקל הקבצים
  • 675הורדות בחודש
  • 454לייקים

מה זה

הצוות אימן מחדש את הארכיטקטורה המדויקת של מודל שלוש עשרה מיליארד הפרמטרים מבית מטא על גבי מאגר רד פג'מה שכולל מעל טריליון טוקנים. המשמעות היא שקיבלתם את אותו מבנה ואותם היפר פרמטרים, אבל עם משקולות וטוקנייזר שנבנו מאפס בלי תלות בקוד או בקבצים המקוריים.

במבחני הביצועים הוא מציג ממוצע כולל של 0.57 שזהה למודל המקורי באותו סדר גודל. בחלק מהמשימות כמו בול קיו עם דיוק של 0.75 וארק איזי עם 0.70 בדיוק מנורמל הוא אפילו עוקף אותו במעט, אם כי במשימות כמו אר טי אי הוא מגיע רק ל 0.64 לעומת 0.69 של המקור.

מתאים ל

  • אימון מודל ייעודי לחברות

    משמש בסיס פתוח לכיוונון על נתונים ארגוניים בלי סיכון של תביעות על זכויות יוצרים מסחריות.

  • משימות שאלות ותשובות

    מציג דיוק של שבעים וחמישה אחוזים במבחן בול קיו, מתאים למענה מבוסס עובדות קצרות.

  • עבודה בסביבת ג'אקס וטי פי יו

    מגיע עם תמיכה מובנית במסגרת איזי אל אם למי שמריץ על תשתיות ענן של גוגל.

איפה זה נופל

חלון ההקשר מוגבל לאלפיים ארבעים ושמונה טוקנים בלבד, מה שמקשה על עיבוד מסמכים ארוכים. מעבר לזה, המפתחים מזהירים במפורש מפני באג בטוקנייזר המהיר של האגינג פייס שעלול לשבש את הפלטים, ולכן חובה לעבוד עם הטוקנייזר האיטי. המפתחים גם נאלצו להסיר את המבחנים סי בי ודבליו אס סי בגלל חשד כבד לזיהום בנתוני האימון.

אותה משפחה

open-llama יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

open_llama_7b79,657 open_llama_3b_v212,036 open_llama_3b5,383 open_llama_7b_v21,247

שאלות
נפוצות

האם יש בעיה מוכרת בטעינה שלו לקוד?

כן. הטוקנייזר המהיר שמובנה בספריית טרנספורמרס יוצר קידוד שגוי של טקסטים. חובה להגדיר שימוש בטוקנייזר הרגיל או להעביר דגל ייעודי שמבטל את הגרסה המהירה.

במה הוא שונה מהמודל המקורי של מטא?

הוא נבנה כולו מחדש על מאגר נתונים אחר בשם רד פג'מה. ההבדל הקריטי הוא הרישיון, המודל הזה חופשי למסחר מלא בעוד שהמקור שוחרר למחקר בלבד.

איך מריצים

המשקולות מגיעות בתצורת פלואוט 16 ושוקלות קצת יותר מעשרים וארבעה גיגה בייט. כדי להריץ אותו מקומית או לכוונן אותו תצטרכו כרטיס מסך עם לפחות עשרים וארבעה גיגה בייט זיכרון גרפי, ועדיף כרטיס שרת ייעודי כדי לעבוד בצורה יציבה בלי קריסות של חוסר זיכרון.

אפשר לטעון את המשקולות דרך ספריית טרנספורמרס הרגילה בפייתון או דרך מסגרת איזי אל אם מבוססת ג'אקס. אם אין לכם תשתית חומרה מתאימה להחזקת מודל בגודל כזה אצלכם בשרת, תשלום ישיר עבור קריאות לממשק ענן חיצוני יהיה זול ופשוט בהרבה.

from transformers import pipeline

pipe = pipeline("text-generation", model="openlm-research/open_llama_13b")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 24.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י שתיים אפס מלא, כולל המשקולות עצמן וקוד האימון. מותר להשתמש בו למוצרים מסחריים, לשנות אותו, לסגור את הקוד שלכם ולהפיץ אותו ללקוחות בלי לשלם תמלוגים ובלי מגבלות המחקר של המודל המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗