GPT
הוספת כלי
C

cosmo-1b

קוד פתוח

HuggingFaceTBapache-2.02024-02-19

  • transformers
  • safetensors
  • llama
  • text-generation
  • en

מודל קומפקטי של 1.8 מיליארד פרמטרים שאומן בעיקר על דאטה סינתטי. הוא פונה למי שמחפש מודל קל משקל שמסוגל לנהל שיחה ישירות מהקופסה בלי לעבור כוונון נוסף.

  • 1.7Bפרמטרים
  • 2,048טוקנים בהקשר
  • 6.5 GBמשקל הקבצים
  • 442הורדות בחודש

מה זה

המודל הזה נבנה כניסוי מעשי באימון מודלים קטנים על בסיס דאטה סינתטי מפרויקט Cosmopedia, לצד תוספות של קוד פייתון מ־AutoMathText ומחברות Jupyter מ־The Stack. בניגוד לרוב המודלים הבסיסיים בגודל הזה, המפתחים הכניסו את דאטה־סט השיחות UltraChat כבר לשלב האימון המקדים. התוצאה היא שאפשר לפנות אליו בפורמט צ'אט רגיל ולקבל מענה קוהרנטי, בלי להזדקק לתהליך נפרד של Instruction Tuning.

במבחני ביצועים הוא עוקף את TinyLlama 1.1B במבחנים כמו MMLU, ARC ו־OpenBookQA, ומציג תוצאות דומות ל־Qwen 1.5 1B. עם זאת, הוא מפסיד ל־Phi 1.5, מה שמראה שלמרות שהרעיון הסינתטי עובד, איכות הדאטה וכיסוי הנושאים עדיין לא ברמה של המודל מבית מיקרוסופט.

מתאים ל

  • בוט שיחה על חומרה חלשה

    מאפשר שיחה ישירה בלי אימון נוסף ורץ מצוין על מחשבים פשוטים או מעבדים ללא מאיץ גרפי.

  • מחקר על דאטה סינתטי

    משמש בסיס מצוין להשוואת איכות הלמידה מדאטה שיוצר על ידי מחשב מול דאטה שנאסף מהרשת.

  • השלמת טקסט קצר באנגלית

    עובד בצורה חלקה במשימות טקסטואליות פשוטות באנגלית עם זמני תגובה מהירים.

איפה זה נופל

מדובר במודל קטן מאוד שמתבסס ברובו הגדול על תוכן שנוצר על ידי מכונה. היוצרים עצמם מבהירים שהוא סובל מהזיות, מספק תשובות חלקיות ועלול לטעות בעובדות בסיסיות. חלון ההקשר שלו מוגבל ל־2,048 טוקנים בלבד, מה שפוסל אותו לעבודה עם מסמכים ארוכים. בנוסף, הוא אומן באנגלית בלבד ולא מתאים לעבודה בעברית.

שאלות
נפוצות

האם צריך לאמן את המודל על פקודות לפני שמשתמשים בו כצ'אט?

לא. למרות שהוא לא עבר fine-tuning ייעודי, צוות הפיתוח שילב נתוני שיחה מ־UltraChat ישירות באימון המקדים, ולכן תבנית הצ'אט של Llama עובדת מיד.

האם המודל מתאים ליישומים בעברית?

לא. המודל אומן על אנגלית בלבד, ואינו כולל נתונים בעברית בדאטה האימון שלו.

איך מריצים

במשקל כולל של כ־6.5 גיגה־בייט בדיוק bfloat16, המודל הזה רץ בקלות על כרטיס מסך ביתי בודד עם 8 עד 12 גיגה זיכרון, ואפשר להריץ אותו גם על מעבד רגיל דרך ספריית transformers בלי להסתבך. הוא משתמש בטוקנייזר של Mistral 7B ובארכיטקטורת Llama רגילה לחלוטין, כך שההטמעה שלו בקוד קיימת ופשוטה.

אם אתם צריכים רק בדיקות נקודתיות או שאין לכם חומרה מקומית פנויה, אפשר לצרוך אותו דרך תשתית ענן, אבל בגודל כזה הרצה מקומית היא הבחירה ההגיונית והזולה ביותר.

from transformers import pipeline

pipe = pipeline("text-generation", model="HuggingFaceTB/cosmo-1b")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 6.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון Apache 2.0. זהו רישיון פתוח ומתירני שמאפשר שימוש מסחרי חופשי, שינוי של הקוד והמשקלים והפצה מחדש בתוך מוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗