TinyLLama-v0

מה זה

מדובר בניסיון ראשוני לשחזר את הרעיון של TinyStories-1M, אבל על בסיס LlamaForCausalLM עם 8 שכבות בלבד. במקום מודל ענק שמנסה לדעת הכל, הוא אומן על סט הנתונים של TinyStoriesV2 שנוצר ברובו על ידי GPT-4, מתוך מטרה לייצר טקסט פשוט וסיפורי באנגלית בסיסית ביותר.

ההבדל העיקרי כאן הוא הארכיטקטורה. בעוד מודלים זעירים אחרים נבנו על בסיס מבנים ישנים יותר, כאן נעשה שימוש בכלים המודרניים של Llama יחד עם הטוקנייזר של open_llama_3b. המפתח עצמו מצהיר שמדובר בבדיקת היתכנות גולמית מאוד, כך שאין כאן יכולות שיחה מורכבות, היגיון מעמיק או ידע עולם כללי, אלא מיקוד בלעדי במבנה משפטים פשוט לפי הנתונים שאומן עליהם.

מתאים ל

• בדיקות אוטומציה ופיתוח

  הוא שוקל פחות מחמישים מגה בייט ועולה מיד, מה שהופך אותו לבחירה נוחה לטסטים של ספריות וקוד.

• מחקר על מודלים זעירים

  הקוד כולל מחברת אימון מלאה, כך שאפשר לחקור בקלות איך ארכיטקטורת Llama מתנהגת בסקייל מינימלי.

• הדגמות ללא כרטיס מסך

  אפשר לטעון אותו ולהפיק טקסט ישירות על גבי מעבד פשוט בסביבות מוגבלות מאוד במשאבים.

איפה זה נופל

המפתח מודה שמדובר בגרסה בוסרית לגמרי עם מנגנון קאש פרימיטיבי ומערך אימון קטן מדי. סיפורים שנחתכו מעבר לגודל ההקשר לא אומנו עם חלון נע, מה שפוגע בעקביות. בנוסף, יש תקלות ידועות בטוקנייזר של open_llama בסביבות מקומיות מסוימות, והמודל פשוט לא מתאים לשום משימה שדורשת דיוק או ידע מעבר לסיפורים פשוטים.

איך מריצים

המודל שוקל 46.8 מגה בייט בסך הכל ורץ ישירות דרך ספריית transformers עם AutoModelForCausalLM. בגלל הגודל הזעיר, אין צורך בשום חומרה מיוחדת, והוא יעלה תוך שניות על מעבד רגיל בכל מחשב נייד, בלי לחשוב בכלל על כרטיס מסך חיצוני.

אם המטרה שלכם היא לקבל תשובות חכמות למשתמשי קצה, אין שום טעם להריץ אותו ועדיף לפנות לכל שירות API קיים. ההרצה המקומית שלו הגיונית בעיקר כשרוצים לבדוק צנרת נתונים, סקריפטים של אימון, או הדגמות טכניות מהירות בלי לשלם על שרתים.

from transformers import pipeline

pipe = pipeline("text-generation", model="Maykeye/TinyLLama-v0")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 46.8 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.onnx18.7 MB
• backup/step-1-10300.bin9.3 MB
• pytorch_model.bin9.3 MB
• model.safetensors9.3 MB
• tokenizer.json2.0 MB
• tokenizer.model534.2 KB
• train.ipynb25.4 KB
• README.md1.6 KB
• .gitattributes1.5 KB
• valid.py1.5 KB
• backup/do_backup.py668 B
• tokenizer_config.json649 B
• demo.py503 B
• config.json498 B
• special_tokens_map.json411 B
• generation_config.json132 B

הרישיון

הרישיון הוא apache-2.0, מה שמאפשר שימוש חופשי לגמרי, כולל שינוי הקוד, שילוב במוצרים מסחריים והפצה מחדש. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗