GPT
הוספת כלי
L

llama-7b-hf-transformers-4.29

קוד פתוח

elinasother2023-04-22

  • transformers
  • pytorch
  • llama
  • text-generation
  • 4.29.0

ההמרה הזו מספקת את משקלי הבסיס המקוריים של מטא בפורמט מודרני שמתאים ישירות לטוקנייזר המהיר של ספריית transformers. היא מיועדת למי שצריך תאימות ישירה לקוד קיים בסביבת פייתון.

  • 2,048טוקנים בהקשר
  • 12.6 GBמשקל הקבצים
  • 2,460הורדות בחודש
  • 57לייקים

מה זה

המשקלים כאן מייצגים את גרסה 1 של מודל הבסיס של מטא בגודל שבעה מיליארד פרמטרים, כפי שאומנו על טריליון טוקנים מסריקות רשת, גיטהאב, מאמרים וספרים. המודל מבוסס על שלושים ושתיים שכבות וחלון הקשר של 2,048 טוקנים. הוא פועל כמודל שמשלים טקסט ולא עבר אימון עם משוב אנושי לשיחה, כך שהוא לא יענה כמו צ'אטבוט אלא ימשיך את הפרומפט שנתתם לו.

במבחני הבנה והיגיון הוא מציג דיוק של 76.5 ב־BoolQ ו־79.8 ב־PIQA, ומגיע עד 93 ב־COPA, אך במשימות מורכבות יותר כמו ARC Challenge הוא נעצר ב־47.6. זה אומר שהוא מתמודד סביר עם טקסט כללי והקשרים קצרים, אבל נופל משמעותית מהגרסאות הגדולות של שלושים ושלושה או שישים וחמישה מיליארד פרמטרים כשההיסק דורש שלבים מרובים.

מתאים ל

  • מחקר על הזיות והטיות

    הכרטיס מכיל מדידות מפורטות של הטיות, ומשקלי הבסיס מתאימים לבדיקת התנהגות אלגוריתמית ללא שכבת סינון.

  • הערכת תאימות קוד

    הקבצים הומרו במיוחד עבור ספריית transformers 4.29 ומתאימים לבדיקת פייפליינים ישנים של פייתון.

  • אימון מקומי מכוונן

    גודל של שבעה מיליארד פרמטרים מאפשר לבצע כיוונון עדין על חומרה מקומית למשימות סיווג וטקסט ייעודיות.

איפה זה נופל

המודל אומן בעיקר על אנגלית ואינו כולל עברית ברשימת השפות של מאגרי הספרים וויקיפדיה, שבהם נכללו רק עשרים שפות אחרות כמו רוסית, גרמנית וצרפתית. מעבר לזה, מדובר במודל בסיס נטול יישור אנושי, והמפתחים מציינים במפורש שהוא נוטה לייצר מידע שגוי, הזיות ותכנים מוטים או פוגעניים. מדדי ההטיה מציגים ציונים בעייתיים בנושאי נטייה מינית ודת, ולכן הוא לא מתאים לשימוש ישיר מול לקוחות בלי סינון ועיבוד מקדים.

שאלות
נפוצות

האם המודל מבין וכותב עברית?

עברית כלל לא נכללת ברשימת עשרים השפות שצוינו במאגרי המידע של האימון. טקסט בעברית עלול לגרור פירוק איטי מאוד לטוקנים ותשובות משובשות או חסרות משמעות.

האם אפשר להשתמש בו ישירות בתור בוט שירות?

לא, המודל לא אומן למענה לשאלות ושיחה עם בני אדם ולא עבר תהליכי יישור. אם תשאלו אותו שאלה, הוא ינסה להשלים את הטקסט כמו מסמך ולא יענה כמו נציג.

מה ההבדל בין ההפצה הזו למשקלים המקוריים של פייסבוק?

מטא שחררה במקור את המשקלים בפורמט ייחודי שדרש המרה ידנית כדי לעבוד עם ספריית transformers. החשבון שהעלה את הקבצים ביצע את ההמרה הזו מראש והתאים אותה לעבודה ישירה מול הטוקנייזר המהיר.

איך מריצים

כדי להריץ אותו בדיוק המקורי של float16 תצטרכו כרטיס מסך עם לפחות שישה עשר ג'יגה־בייט של זיכרון גרפי, בהתחשב בכך שקבצי המשקלים לבדם תופסים 12.6 ג'יגה־בייט. ההמרה הזו ספציפית נבנתה עבור גרסת transformers 4.29 עם מחלקת LlamaTokenizerFast, ולכן היא חוסכת שגיאות טעינה ידניות שהיו נפוצות בפורמט הראשוני של מטא.

אם אין לכם כרטיס ייעודי מתאים, שרת ענן פשוט עם מעבד גרפי בודד יעשה את העבודה. במקרים שבהם אתם זקוקים לתשובות מהירות בלי לנהל תשתית, עדיף להשתמש בשרותי צד שלישי או במודל קטן ומכוונן יותר.

from transformers import pipeline

pipe = pipeline("text-generation", model="elinas/llama-7b-hf-transformers-4.29")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 12.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כמותאם אישית ולא מסחרי מצד Meta AI, וההפצה הזו מסומנת תחת other. המשמעות היא שאי אפשר לשלב אותו במוצר מסחרי, לגבות עליו כסף או להפיץ אותו כשירות בתשלום. הוא מיועד למחקר, ניסויים פנימיים ובדיקת יכולות בלבד.

הרישיון המלא בעמוד המודל ↗