TinyLlama-1.1B-Chat-v0.3
קוד פתוחTinyLlamaapache-2.02023-10-06
מודל שיחה זעיר שמתאים לחומרה מוגבלת בלי להסתבך עם התאמות קוד מיוחדות. הוא בנוי בארכיטקטורה של לאמה 2 ומיועד למי שחייב ביצועים מקומיים בתקציב זיכרון אפסי.
- 1.1Bפרמטרים
- 2,048טוקנים בהקשר
- 8.2 GBמשקל הקבצים
- 3,393הורדות בחודש
מה זה
מדובר בגרסת צ'אט שמבוססת על מודל ביניים שעבר אימון על טריליון טוקנים מתוך יעד סופי של שלושה טריליון. כוונון השיחה נעשה על גבי מאגר הנתונים של אופן אסיסטנט במבנה צ'אט אמ אל המוכר. המטרה כאן היא לתת מענה שיחתי בסיסי בתוך מעטפת חישובית מינימלית.
היתרון הגדול שלו הוא התאימות המלאה למבנה של לאמה 2, כולל הטוקנייזר והשכבות. זה מאפשר לשלב אותו ישירות בכל תשתית קיימת שתומכת בארכיטקטורה הזו בלי לכתוב קוד ייעודי. הוא שונה מכלים אחרים בעיקר ביומרה להידחס לגודל של 1.1 מיליארד פרמטרים, מה שמשאיר אותו קל מאוד להרצה על מכונות פשוטות.
מתאים ל
- בוט שיחה במכשירי קצה
דורש מעט מאוד זיכרון ומתאים לרוץ ישירות על חומרה מקומית חלשה.
- פיתוח ובדיקות בסביבה מקומית
מאפשר לבדוק תהליכי עבודה של לאמה בלי להחזיק כרטיס מסך יקר.
- מענה אוטומטי פשוט באנגלית
מייצר תשובות קצרות לשאלות מוגדרות מראש לפי פורמט צ'אט אמ אל.
איפה זה נופל
הגרסה הזו מייצגת שלב מוקדם בתהליך האימון של הפרויקט, מה שאומר שהיכולות שלו עדיין מוגבלות מאוד ביחס למודלים בוגרים. חלון ההקשר קצר ועומד על 2,048 טוקנים בלבד, כך שטקסטים ארוכים ייחתכו מהר. בנוסף, המודל אומן על אנגלית בלבד. אם תנסו לנהל איתו שיחה בעברית אתם צפויים להיתקל בתוצאות משובשות או בג'יבריש מוחלט. אסור להכניס אותו למוצר בלי לוודא שהוא בכלל מבין את פורמט הקלט שאתם דורשים.
אותה משפחה
TinyLlama יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל תומך בעברית?
לא. נתוני המודל מצהירים על תמיכה באנגלית בלבד. ניסיונות לתשאל אותו בעברית יפיקו פלט לקוי, ובמקרים כאלה עדיף להשתמש במודל רב לשוני ייעודי.
למה הקבצים שוקלים מעל 8 גיגה בייט אם המודל קטן?
המשקלים נשמרו בדיוק של float32, שמנפח את הקבצים. בזמן הטעינה לקוד אפשר להמיר אותם לדיוק נמוך יותר ולחסוך זיכרון.
איך מריצים
המשקל הגולמי של הקבצים עומד על 8.2 גיגה בייט בדיוק מלא, אבל אפשר ורצוי לטעון אותו בחצי דיוק ישירות דרך ספריית הטרנספורמרס, מגרסה 4.31 ומעלה. בגודל הזה הוא רץ בקלות על מעבד גרפי צנוע מאוד עם זיכרון נמוך, ואפילו על מעבד רגיל של מחשב נייד.
אם אתם צריכים רק לבצע בדיקות פשוטות או לתת מענה מקומי במכשיר קצה בלי חיבור לרשת, ההרצה העצמית הגיונית לגמרי. אם המטרה היא ניתוח טקסטים עמוק או פלט מורכב, פנייה לשירות ענן מרוחק של מודל גדול יותר תעשה עבודה טובה בהרבה.
from transformers import pipeline
pipe = pipeline("text-generation", model="TinyLlama/TinyLlama-1.1B-Chat-v0.3")
print(pipe("שלום"))הקבצים
11 קבצים במאגר, 8.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא אפאצ'י 2.0, וזה אומר חופש פעולה כמעט מלא. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך מוצרים סגורים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים