decapoda-research-llama-7B-hf

מה זה

מדובר במודל שפה גולמי בגודל שבעה מיליארד פרמטרים שפותח במקור על ידי צוות FAIR של מטא ואומן בין סוף 2022 לתחילת 2023. המאגר הספציפי הזה לוקח את המשקלים המקוריים ומסדר אותם בפורמט שמתאים ישירות לספריית transformers, מה שחוסך את הצורך בהרצת סקריפטים של המרה.

המודל אומן על טריליון טוקנים ממקורות רשת כמו CCNet, C4, ויקיפדיה ומאגרי קוד. במבחני היגיון הוא מציג תוצאות טובות לגודלו, כמו 76.5 ב־BoolQ ו־79.8 ב־PIQA, אך נתקע במשימות מורכבות יותר כמו ARC-c עם ציון 47.6. הוא מתנהג כמודל בסיס שמשלים טקסט ולא כמנוע צ'אט שמחזיר תשובות מנוסחות היטב.

מתאים ל

• מחקר על מודלי בסיס

  ניתוח התנהגות מודלים גולמיים שלא עברו התאמה על ידי בני אדם.

• אימון ייעודי מקומי

  בסיס להתאמה אישית או כוונון עדין למשימות מוגדרות באנגלית.

• בדיקת הטיות ורעילות

  מדידת הטיות מובנות בטקסטים שנוצרו מדאטה גולמי מהרשת.

איפה זה נופל

המודל הזה לא עבר אימון עם משוב אנושי, מה שאומר שהוא מייצר הזיות, טקסט פוגעני ותשובות שגויות לעיתים קרובות. הוא מתאים בעיקר לאנגלית. למרות שחומרי האימון כללו עשרים שפות, עברית לא נכללת ברשימת השפות של ויקיפדיה והספרים שנכנסו אליו. אסור בשום אופן לבנות עליו החלטות קריטיות שנוגעות לחיי אדם.

איך מריצים

כדי להריץ אותו בדיוק float16 מלא תצטרכו להקצות קצת יותר מ־12.6 ג'יגה-בייט של זיכרון כרטיס מסך, כך שכרטיס של 16 ג'יגה-בייט מחזיק אותו היטב. המודל מחולק כאן ל־42 קבצים שונים, אז תהליך ההורדה והטעינה הראשונית ייקח קצת זמן ודורש חיבור יציב.

אם אתם צריכים רק מענה מהיר לשאלות או ממשק שיחה מוכן, פנייה ל־API חיצוני עדיפה בהרבה על תחזוקה עצמאית של תשתית כבדה כזו.

from transformers import pipeline

pipe = pipeline("text-generation", model="baffo32/decapoda-research-llama-7B-hf")
print(pipe("שלום"))

הקבצים

42 קבצים במאגר, 12.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00033-of-00033.bin524.3 MB
• pytorch_model-00001-of-00033.bin404.8 MB
• pytorch_model-00002-of-00033.bin404.8 MB
• pytorch_model-00003-of-00033.bin404.8 MB
• pytorch_model-00004-of-00033.bin404.8 MB
• pytorch_model-00005-of-00033.bin404.8 MB
• pytorch_model-00006-of-00033.bin404.8 MB
• pytorch_model-00007-of-00033.bin404.8 MB
• pytorch_model-00008-of-00033.bin404.8 MB
• pytorch_model-00009-of-00033.bin404.8 MB
• pytorch_model-00010-of-00033.bin404.8 MB
• pytorch_model-00011-of-00033.bin404.8 MB
• pytorch_model-00012-of-00033.bin404.8 MB
• pytorch_model-00013-of-00033.bin404.8 MB
• pytorch_model-00014-of-00033.bin404.8 MB
• pytorch_model-00015-of-00033.bin404.8 MB
• pytorch_model-00016-of-00033.bin404.8 MB
• pytorch_model-00017-of-00033.bin404.8 MB
• pytorch_model-00018-of-00033.bin404.8 MB
• pytorch_model-00019-of-00033.bin404.8 MB
• pytorch_model-00020-of-00033.bin404.8 MB
• pytorch_model-00021-of-00033.bin404.8 MB
• pytorch_model-00022-of-00033.bin404.8 MB
• pytorch_model-00023-of-00033.bin404.8 MB
• pytorch_model-00024-of-00033.bin404.8 MB
• pytorch_model-00025-of-00033.bin404.8 MB
• pytorch_model-00026-of-00033.bin404.8 MB
• pytorch_model-00027-of-00033.bin404.8 MB
• pytorch_model-00028-of-00033.bin404.8 MB
• pytorch_model-00029-of-00033.bin404.8 MB
• pytorch_model-00030-of-00033.bin404.8 MB
• pytorch_model-00031-of-00033.bin404.8 MB
• pytorch_model-00032-of-00033.bin404.8 MB
• tokenizer.model499.7 KB
• pytorch_model.bin.index.json25.5 KB
• LICENSE10.6 KB
• README.md8.3 KB
• .gitattributes1.5 KB
• config.json428 B
• tokenizer_config.json142 B

הרישיון

הרישיון מוגדר תחת רישיון ייעודי לא-מסחרי של מטא. הוא נועד למטרות מחקר בלבד, ואסור לחלוטין לשלב את המשקלים האלה במוצר מסחרי או בשירות בתשלום.

הרישיון המלא בעמוד המודל ↗