GPT
הוספת כלי
T

TinyLlama-1.1B-step-50K-105b

קוד פתוח

TinyLlamaapache-2.02023-09-01

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

גרסת ביניים קלה במיוחד של ארכיטקטורת לאמה 2, שמתאימה למי שחייב משאבי זיכרון זעירים ורוצה לבחון התנהגות מודל בשלבי אימון מוקדמים.

  • 1.1Bפרמטרים
  • 2,048טוקנים בהקשר
  • 8.2 GBמשקל הקבצים
  • 22,342הורדות בחודש

מה זה

מדובר בנקודת ביקורת מוקדמת מתוך פרויקט שנועד לאמן מודל של 1.1 מיליארד פרמטרים על שלושה טריליון טוקנים. הקובץ הנוכחי נשמר אחרי 50 אלף צעדים ואימון על 105 מיליארד טוקנים בלבד, כך שהוא רחוק מאוד ממיצוי היכולת שלו. המבנה שלו זהה לחלוטין לזה של לאמה 2, כולל הטוקנייזר, ולכן כל כלי תוכנה שתומך במשפחה הזו יודע לקבל אותו מיד בלי התאמות מיוחדות.

במדד HellaSwag הנקודה הזו הגיעה לתוצאה של 43.50. זה עוקף את פיתיה המקביל באותו שלב אימון שנעצר על 42.04, וגם את סטייבל-אלפא בעל שלושת מיליארד הפרמטרים שקיבל 38.31. עם זאת, הוא עדיין מפגר אחרי הגרסה המלאה יותר של פיתיה, מה שממחיש שמדובר במודל שעדיין נמצא עמוק בתוך תהליך הלמידה.

מתאים ל

  • מחקר על שלבי אימון

    מאפשר לבדוק איך מודל קטן מתנהג אחרי 105 מיליארד טוקנים לעומת מודלים מקבילים.

  • בדיקת תאימות תשתיות

    מתאים לוודא שצינור העבודה של לאמה 2 רץ חלק על חומרה חלשה בלי להוריד עשרות גיגות.

  • ניסויי כיוונון מקומיים

    משמש בסיס קל ומהיר לבדיקת תהליכי אימון נוספים על חומרה שולחנית רגילה.

איפה זה נופל

זהו צ'קפוינט מוקדם מאוד ולא מודל גמור. הוא אומן על אנגלית בלבד, ואין לו התאמה מיוחדת לעברית או יכולת שיחה מובנית של צ'אט. לא הייתי משתמש בו לשום משימה שדורשת הבנה מורכבת או פלט אמין, כי 105 מיליארד טוקנים מתוך יעד של שלושה טריליון משאירים אותו במצב גולמי שמייצר טעויות והזיות בקלות.

שאלות
נפוצות

האם המודל הזה מתאים לעבודה בעברית?

לא. המודל אומן והוגדר עבור השפה האנגלית בלבד. כל ניסיון לייצר איתו טקסט בעברית צפוי להניב פלטים משובשים או חסרי משמעות.

למה שהשתמש בגרסה הזו ולא בגרסה הסופית?

הסיבה היחידה היא מחקר או השוואה של תהליכי אימון בזמן אמת. אם המטרה היא לקבל תוצאות טובות בשפה ובמשימות יצירה, עדיף להשתמש בגרסאות המאוחרות יותר שהשלימו את מלוא הטוקנים.

איך מריצים

מריצים אותו דרך ספריית transformers החל מגרסה 4.31, בעזרת צינור יצירת טקסט רגיל בפייתון. הקבצים המקוריים שוקלים 8.2 גיגה בייט בדיוק של float32, אבל בטעינה עם float16 אפשר להריץ אותו בקלות על כרטיס מסך ביתי בסיסי או אפילו על מעבד ללא מאיץ גרפי חזק.

אם כל מה שאתם צריכים זה תשובות חכמות וטקסט עשיר, אין טעם להרים אותו עצמאית ועדיף לפנות ל־API חיצוני של מודל ענק. מריצים דבר כזה לבד רק כשחייבים פרטיות מלאה, ריצה מקומית על מחשב קצה, או צורך במודל בסיס קטן לצורך כיוונון עדין.

from transformers import pipeline

pipe = pipeline("text-generation", model="TinyLlama/TinyLlama-1.1B-step-50K-105b")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 8.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא אפאצ'י 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד, לכוונן אותו ולהפיץ אותו הלאה בתוך מוצרים, כל עוד שומרים על תנאי הרישיון המקורי ומתעדים שינויים שנעשו.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗