Tiny-LLM
קוד פתוחarnir0mit2024-11-03
המודל הזה שוקל פחות מתמונה ממוצעת בטלפון ויש לו רק 13 מיליון פרמטרים. הוא מיועד למי שמחפש מודל זעיר אמיתי לניסויי קוד, בדיקות ארכיטקטורה או סביבות קצה מינימליות.
- 13Mפרמטרים
- 1,024טוקנים בהקשר
- 27.0 MBמשקל הקבצים
- 30,641הורדות בחודש
מה זה
מדובר במודל שפה זעיר במיוחד שמבוסס על ארכיטקטורת LlamaForCausalLM עם שכבה אחת בלבד. היוצר שלו, arnir0, אימן אותו על 32 מיליארד טוקנים מתוך המאגר Fineweb. המשקל הכולל של הקבצים עומד על 27 מגה בייט, כך שהוא נטען בשבריר שנייה אפילו על מעבדים חלשים מאוד.
הוא שונה מרוב מה שמכנים בשוק מודל קטן, כי כאן לא מדובר בכמה מיליארדי פרמטרים אלא בכמעט 13 מיליון בלבד. המטרה כאן היא לא לייצר מתחרה למודלי ענק, אלא להוכיח שאפשר לקבל מודל פונקציונלי לחלוטין שמייצר טקסט בגודל אפסי.
מתאים ל
- בדיקות אוטומטיות לפייפליין
הוא שוקל 27 מגה בייט ורץ מיידית ב־CI בלי לחכות להורדות כבדות או לדרוש GPU יקר.
- ניסויי מחקר ולימוד
מודל של שכבה אחת מאפשר לחקור את התנהגות הארכיטקטורה של Llama בצורה שקופה ומהירה.
- הטמעה במכשירי קצה זעירים
מתאים לסביבות חומרה מינימליות שחייבות ייצור טקסט בסיסי בלי שום חיבור לרשת.
איפה זה נופל
עם שכבה בודדת וחלון הקשר של 1,024 טוקנים, אל תצפו ממנו לתפוס הקשרים מורכבים, לפתור בעיות היגיון או לכתוב עברית. הוא אומן רק על טקסט באנגלית מתוך Fineweb, כך שכל ניסיון לתת לו משימה מורכבת של הבנה או מעקב אחר הוראות ייכשל. זה כלי שנועד לייצור טקסט בסיסי בלבד, ואי אפשר להסתמך עליו כמנוע שיחה במוצר אמיתי.
שאלות
נפוצות
האם המודל הזה תומך בעברית?
לא. המודל אומן על מאגר Fineweb באנגלית ועם כמות כזו של פרמטרים אין לו שום יכולת לייצר עברית קריאה. אם אתם צריכים תמיכה בשפה המקומית, תצטרכו לאמן אותו מחדש או לבחור מודל אחר לגמרי.
האם הוא מסוגל לענות על שאלות כמו צ'אטבוט?
הוא לא עבר שלב של התאמה להוראות או שיחה, אלא אימון מקדים בלבד. הוא פשוט מנחש את הטוקן הבא ברצף. הוא לא יודע להתנהג כמו עוזר אישי ולא יחזיר תשובות מדויקות לשאלות עובדתיות.
איך מריצים
אתם טוענים אותו ישירות דרך ספריית transformers בפייתון בלי שום סיבוך. בגלל הגודל שלו אין צורך בכרטיס מסך ייעודי, הוא רץ בלי בעיה על מעבד של לפטוף ישן או שרת ענן פשוט וזול.
הוא מגיע בגרסה יחידה בדיוק של float32, שגם כך תופסת מקום זניח בזיכרון. אין שום סיבה לשלם על API חיצוני אם אתם צריכים לבדוק пайפلاین של יצירת טקסט או להריץ משהו מקומית על מכשיר קצה חלש.
pip install -U huggingface_hub hf download arnir0/Tiny-LLM
הקבצים
9 קבצים במאגר, 27.0 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הוא מופץ תחת רישיון MIT. אתם יכולים לעשות איתו כמעט הכל, כולל שימוש מסחרי, שינוי הקוד ושילוב שלו במוצר סגור. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקוד שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש