GPT
הוספת כלי
M

moss-moon-003-sft

קוד פתוח

OpenMOSS-Teamagpl-3.02023-04-19

  • transformers
  • pytorch
  • moss
  • text-generation
  • llm

מודל שיחה עם 16 מיליארד פרמטרים שאומן על סינית ואנגלית. הוא מציע יכולת ניהול דיאלוג רב שלבי וסירוב לבקשות לא הולמות, עם בסיס קוד חזק של CodeGen.

  • 2,048טוקנים בהקשר
  • 31.3 GBמשקל הקבצים
  • 87הורדות בחודש
  • 129לייקים

מה זה

המודל מבוסס על CodeGen ועבר אימון מקדים נוסף על 100 מיליארד טוקנים בסינית ו־20 מיליארד באנגלית, מתוך סך כולל של 700 מיליארד טוקנים שראה בתהליך, כולל מאגרי קוד כמו The PILE ו־BigPython. הגרסה הזו עברה כוונון מונחה על כ־1.1 מיליון שיחות מרובות תורות שנוצרו באמצעות gpt-3.5-turbo, במטרה לעקוב אחרי הוראות ולסרב לפניות מזיקות.

בניגוד לגרסאות הפלאגינים של אותה סדרה, המודל הזה מתמקד בטקסט נקי בלבד בלי הפעלת כלים חיצוניים כמו מנועי חיפוש או מחשבונים. מדובר במשקל ביניים של 16 מיליארד פרמטרים, שמנסה לתת מענה שיחתי טוב יותר ממודלים קטנים של 7 מיליארד, במיוחד בדרישות שמשלבות הבנת קוד ושפה טבעית באנגלית ובסינית.

מתאים ל

  • עוזר שיחה דו־לשוני

    מתאים לדיאלוגים מרובי שלבים באנגלית ובסינית בזכות אימון ייעודי על 1.1 מיליון שיחות.

  • סיוע בכתיבת קוד

    נשען על משקלי CodeGen ואימון על מאגרי שפות תכנות, מה שמאפשר מענה על שאלות פיתוח.

  • סינון בקשות מזיקות

    עבר כוונון ייעודי לזיהוי כוונות משתמש ולסירוב לפניות פוגעניות או לא הולמות.

איפה זה נופל

חלון ההקשר קצר מאוד ועומד על 2,048 טוקנים בלבד, מה שמקשה על שיחות ארוכות או ניתוח מסמכים. היוצרים מציינים במפורש שבגלל גודלו והמבנה האוטו־רגרסיבי, הוא נוטה לייצר מידע שגוי, מטעה או מוטה. בנוסף, הוא תומך באנגלית ובסינית בלבד, כך שאין מה לבנות עליו לעברית.

אותה משפחה

moss-moon-003 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

moss-moon-003-base52 moss-moon-003-sft-int448

שאלות
נפוצות

האם המודל תומך בעברית?

לא. המודל אומן על אנגלית, סינית וקוד. הוא לא מיועד לעבודה בעברית ולא ייתן תוצאות סבירות בשפה זו.

כמה זיכרון GPU צריך בשביל להריץ אותו?

הטעינה הראשונית דורשת 31GB, אך תגובה באורך מקסימלי תדרוש עד 81GB זיכרון. תצטרכו כרטיס A100 או שני כרטיסי 3090, אלא אם תשתמשו בגרסאות המכומתות.

איך מריצים

בדיוק מלא של float16 המודל שוקל מעל 31GB. כדי לטעון אותו תצטרכו לפחות 31GB זיכרון גרפי, אבל שיחה שלמה שמגיעה למקסימום חלון ההקשר דורשת 81GB, כך שבפועל חייבים כרטיס A100 בודד או לפחות שני כרטיסי NVIDIA 3090.

אם אין לכם חומרה כזו, קיימות גרסאות מכומתות ב־4 ביט וב־8 ביט שדורשות פחות זיכרון, אך הן אינן תומכות בריצה על פני מספר כרטיסים במקביל ודורשות תשתית triton על לינוקס בלבד. אם אתם זקוקים לתשובות מהירות בלי להחזיק שרת יקר ייעודי, עדיף להשתמש ב־API מסחרי.

from transformers import pipeline

pipe = pipeline("text-generation", model="OpenMOSS-Team/moss-moon-003-sft")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 31.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא agpl-3.0. מותר להשתמש בו באופן מסחרי, אך אם אתם מריצים אותו כשירות רשת או משלבים אותו במוצר, אתם מחויבים לשחרר את קוד המקור של המערכת כולה תחת אותו רישיון.

הרישיון המלא בעמוד המודל ↗