GPT
הוספת כלי
L

llama-7b

קוד פתוח

huggyllamaother2023-04-03

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

הורדה ישירה של משקלי הבסיס המקוריים של מטא, מומרים מראש לספריית transformers. פתרון למי שצריך בדיוק את הגרסה הזו למחקר ולא רוצה להמיר קבצים ידנית.

  • 6.7Bפרמטרים
  • 2,048טוקנים בהקשר
  • 25.1 GBמשקל הקבצים
  • 205,574הורדות בחודש

מה זה

מדובר במודל שפה גולמי ליצירת טקסט, המבוסס על ארכיטקטורת LlamaForCausalLM עם 32 שכבות ודיוק float16. המאגר הזה לא מציע אימון חדש, שיפור ביצועים או כיוונון מיוחד. המטרה היחידה שלו היא לספק עותק נגיש של משקלי 6.7B בפורמט שמתאים מיד לעבודה עם ספריית transformers, עבור מי שכבר קיבל אישור רשמי ממטא אך נתקל בקשיים טכניים עם ההמרה של הקבצים המקוריים.

המודל מייצר טקסט על בסיס רצף קודם אבל הוא אינו מודל שיחה שעבר התאמה להוראות. חלון ההקשר שלו מוגבל ל־2,048 טוקנים בלבד, נתון בסיסי מאוד ביחס למה שמקובל כיום. אם אתם מחפשים מודל שיענה ישירות לשאלות בצורה מלוטשת, תצטרכו לאמן אותו בעצמכם על גבי המשקלים האלה או לחפש גרסה שעברה fine-tuning.

מתאים ל

  • אימון מודל מותאם אישית

    נקודת מוצא טובה למי שרוצה לבצע fine-tuning עצמאי על גבי משקלי הבסיס של מטא.

  • מחקר אקדמי על טקסט

    מאפשר לבחון התנהגות של מודל גולמי שאינו מוטה על ידי שכבות הנחיה נוספות.

  • שחזור ניסויי עבר

    חיוני למי שמשחזר תוצאות ממחקרים שהסתמכו בדיוק על הגרסה המקורית בפורמט transformers.

איפה זה נופל

זהו מודל בסיס לחלוטין שלא עבר כיוונון להנחיות או התאמה לשיחה. הוא נוטה להמשיך טקסטים בצורה עיוורת, לחזור על עצמו או להמציא עובדות, וללא אימון נוסף אי אפשר לסמוך על הפלט שלו במוצר אמיתי. בנוסף, חלון של 2,048 טוקנים יקשה מאוד על משימות שדורשות עיבוד מסמכים ארוכים או שמירה על היסטוריית שיחה מורכבת.

אותה משפחה

llama יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

llama-30b2,117 llama-13b2,068 llama-65b927

שאלות
נפוצות

האם אפשר להשתמש במודל הזה ישירות כצ'אטבוט?

לא. מדובר במודל בסיס שמיועד להשלמת טקסט ולא למענה על שאלות. ללא אימון נוסף הוא ימשיך את הקלט שלכם במקום לענות עליו בצורה הגיונית.

האם מותר לי לשלב אותו באפליקציה בתשלום?

לא, הרישיון המקורי הוא לא מסחרי ומיועד למחקר בלבד. שילוב שלו במוצר מסחרי מפר את תנאי הרישיון של מטא.

איך מריצים

כדי להריץ אותו מקומית צריך להוריד 25.1 ג'יגה בייט שמחולקים ל־15 קבצים, ולטעון אותם באמצעות ספריית transformers ב־float16. זה דורש כרטיס מסך עם לפחות 16 ג'יגה בייט של זיכרון ייעודי רק כדי להחזיק את המודל, ועדיף 24 ג'יגה בייט כדי שיישאר מקום סביר לעיבוד הטוקנים בזמן יצירת הטקסט.

אם אין לכם חומרה כזו זמינה מקומית, החזקת שרת ייעודי בענן בשביל מודל בסיס בגודל כזה היא מהלך יקר ולא משתלם. במקרה כזה עדיף לשקול שירותי ענן חיצוניים או שימוש ב־API, אלא אם מטרת הפרויקט מחייבת גישה ישירה ומלאה למשקלים הספציפיים האלה.

from transformers import pipeline

pipe = pipeline("text-generation", model="huggyllama/llama-7b")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 25.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other והכרטיס מציין במפורש שמדובר ברישיון לא מסחרי. המאגר מיועד אך ורק למי שמילא את טופס הבקשה הרשמי של מטא וקיבל אישור גישה. אם אתם בונים מוצר מסחרי, המודל הזה פסול לשימוש.

הרישיון המלא בעמוד המודל ↗