GPT
הוספת כלי
T

TinySwallow-1.5B-Instruct

קוד פתוח

SakanaAIapache-2.02025-01-07

  • transformers
  • safetensors
  • qwen2
  • text-generation
  • conversational

זהו מודל קטן של 1.5 מיליארד פרמטרים שזוקק ממודל ענק במטרה לדבר יפנית שוטפת. הוא מיועד למי שצריך עיבוד שיחה ביפנית מקומית על חומרה בסיסית.

  • 1.5Bפרמטרים
  • 32,768טוקנים בהקשר
  • 2.9 GBמשקל הקבצים
  • 1,239הורדות בחודש

מה זה

מדובר במודל שנוצר בשיטת זיקוק ידע ייעודית שפיתחה Sakana AI, שבה לקחו את Qwen2.5 בגרסת 32B בתור מורה והעבירו את היכולות שלו לתוך Qwen2.5 בגודל 1.5B. מעבר לזיקוק הבסיסי, אימנו אותו ספציפית לעקוב אחרי הוראות ולנהל שיחות ביפנית, תוך שימוש במאגרי מידע סינתטיים ושיחתיים שמבוססים בין היתר על Gemma.

במקום לקבל מודל קטן כללי שמגמגם ביפנית בגלל חוסר בטוקנים מתאימים, המטרה כאן הייתה לקחת ארכיטקטורה קומפקטית ולדחוף לתוכה הבנה עמוקה של השפה. הוא תומך בחלון הקשר של 32,768 טוקנים, מה שמאפשר לו לנתח טקסטים ארוכים יחסית לגודל שלו בלי לקרוס בזיכרון.

מתאים ל

  • בוט שיחה קל משקל ביפנית

    מענה לפניות ושיחה פשוטה ביפנית על גבי חומרה מקומית זולה או מחשב קצה.

  • סיכום טקסטים יפניים

    חלון הקשר של כ־32 אלף טוקנים מאפשר לבלוע מסמכים ביפנית ולחלץ מהם תמצית.

  • ניסויי זיקוק ידע

    בדיקת ביצועים של שיטת TAID על מודל קומפקטי בסביבת מחקר ופיתוח.

איפה זה נופל

היוצרים מגדירים אותו במפורש כאב טיפוס ניסיוני למטרות מחקר ופיתוח בלבד, ומזהירים שהוא לא מיועד למערכות קריטיות. הוא מכוון ליפנית בלבד, כך שלא כדאי לבנות עליו למשימות בעברית או באנגלית מורכבת.

בנוסף, מודלים בגודל 1.5B נוטים להזיות, מתקשים בלוגיקה עמוקה, ועלולים לפספס הוראות מסובכות. חובה לבדוק היטב את הפלטים שלו ביפנית לפני שמציגים אותם למשתמשים אמיתיים.

שאלות
נפוצות

האם המודל הזה מתאים לשימוש בעברית?

לא. המודל אומן וכוונן ספציפית עבור השפה היפנית. הוא לא מיועד לעברית ואין לצפות ממנו להבנה או פלט תקין בשפה הזו.

האם אפשר להשתמש בו במוצר מסחרי?

עקרונית הרישיונות של Apache 2.0 ו־Gemma מאפשרים שימוש מסחרי, אבל החברה שפיתחה אותו מציינת בפירוש בעמוד המודל שהוא לא מיועד למסחר אלא למחקר בלבד. האחריות על הסיכון המשפטי והביצועי היא עליכם.

איך מריצים

כדי להריץ אותו צריך בסך הכל כארבעה גיגה של זיכרון כרטיס מסך, או אפילו להריץ אותו על מעבד רגיל דרך ספריית transformers בגלל המשקל הקל שלו, 2.9 גיגה בייט בלבד בדיוק bfloat16. הקוד דורש רק טעינה רגילה של המודל והטוקנייזר והפעלת תבנית הצ'אט המובנית.

אם כל מה שאתם צריכים זה מדי פעם לפענח משפט ביפנית, עדיף להשתמש ב־API מסחרי גדול ולא להתעסק עם שרת עצמאי. ההרצה העצמית משתלמת רק כשאתם רוצים מהירות תגובה מקומית, פרטיות מלאה, או עבודה במכשיר קצה בלי חיבור לרשת.

from transformers import pipeline

pipe = pipeline("text-generation", model="SakanaAI/TinySwallow-1.5B-Instruct")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 2.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הרשמי הוא Apache 2.0, אבל יש כאן אותיות קטנות. המודל אומן על נתונים שנגזרו מ־Gemma, ולכן השימוש, כולל שימוש מסחרי, מותנה בעמידה בתנאי הרישיון של Apache וגם במדיניות השימוש וההגבלות של Google Gemma במקביל.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗