GPT
הוספת כלי
R

RedPajama-INCITE-Chat-3B-v1

קוד פתוח

togethercomputerapache-2.02023-05-05

  • transformers
  • pytorch
  • gpt_neox
  • text-generation
  • en

מודל שיחה קל משקל של כמעט שלושה מיליארד פרמטרים, שמיועד למי שרוצה להריץ צ'אט מקומי בלי להחזיק שרת יקר. הוא אומן על נתונים פתוחים ומאפשר התאמה אישית זולה.

  • 2,048טוקנים בהקשר
  • 5.3 GBמשקל הקבצים
  • 657הורדות בחודש
  • 152לייקים

מה זה

מדובר במודל שנוצר משיתוף פעולה רחב של קהילת הקוד הפתוח, בהובלת Together וגופים אקדמיים. הוא לקח את גרסת הבסיס של RedPajama 3B ועבר כוונון ייעודי לשיחה באמצעות מאגרי OASST1 ו־Dolly2, כך שהוא מבין הנחיות דיאלוגיות בצורה טובה יותר ממודל שפה גנרי.

הגודל שלו, כ־2.8 מיליארד פרמטרים, שם אותו בקטגוריה של מודלים קומפקטיים מאוד. הוא לא יתחרה במודלי ענק של עשרות מיליארדי פרמטרים, אבל לעומת מודלי בסיס ישנים בגודל הזה, הכוונון לשיחה נותן לו יכולת לענות ישירות לשאלות בלי שתצטרכו להנדס פרומפטים מסובכים.

מתאים ל

  • בוט שיחה במחשב מקומי

    דורש רק 6GB עד 8GB זיכרון כרטיס מסך, מה שמאפשר לו לעבוד ישירות על חומרה ביתית פשוטה.

  • עוזר פנימי מנותק מרשת

    מתאים לסביבות ללא חיבור לאינטרנט שבהן אסור להוציא מידע לשרתי API חיצוניים.

  • מענה אוטומטי להנחיות קצרות

    כוונן ספציפית על OASST1 ו־Dolly2 כדי לטפל בהוראות ממוקדות בשיחה באנגלית.

איפה זה נופל

המודל מוגבל לאנגלית בלבד, וחלון ההקשר שלו נעצר ב־2,048 טוקנים. בשיחות ארוכות או בניתוח טקסטים ארוכים הוא יאבד מהר מאוד את ההתחלה. מעבר לזה, המפתחים מבהירים שהוא נוטה לטעויות ולתשובות לא מדויקות כשמדובר בשאלות מורכבות, עמומות, או בנושאים מחוץ לנתוני האימון שלו. לא הייתי בונה עליו לקבלת החלטות קריטיות.

אותה משפחה

RedPajama-INCITE יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

RedPajama-INCITE-Base-3B-v11,548 RedPajama-INCITE-Instruct-3B-v11,008 RedPajama-INCITE-7B-Base767 RedPajama-INCITE-7B-Chat590 RedPajama-INCITE-7B-Instruct565

שאלות
נפוצות

האם המודל תומך בעברית?

הכרטיס מציין אנגלית בלבד. הוא לא אומן על עברית, ולכן לא מומלץ לנסות להריץ איתו משימות בשפה זו.

איזה פורמט כתיבה המודל דורש בפנייה אליו?

יש מבנה מוגדר מראש כדי שהמודל יבין שמדובר בשיחה. צריך להשתמש בתגית human להוראה שלכם, ובתגית bot למענה שלו.

איך מריצים

כדי להריץ אותו בכרטיס מסך ב־float16 תצטרכו GPU עם לפחות 8GB זיכרון. אם המשאבים מוגבלים יותר, אפשר להשתמש בכימות של int8 בעזרת bitsandbytes ו־accelerate, ואז מספיק כרטיס של 6GB זיכרון. מי שרוצה להריץ אותו על המעבד יצטרך להשתמש ב־bfloat16 בגלל מגבלות טכניות בספריות.

אם אתם צריכים רק לבדוק רעיון מהיר ולא רוצים להתעסק בהתקנות של דרייברים או שאין לכם כרטיס מסך פנוי, עדיף להשתמש ב־API חיצוני. היתרון בהרצה עצמית מגיע בעיקר כשרוצים פרטיות מוחלטת או כשרוצים לעבוד לגמרי אופליין במחשב מקומי.

from transformers import pipeline

pipe = pipeline("text-generation", model="togethercomputer/RedPajama-INCITE-Chat-3B-v1")
print(pipe("שלום"))

הקבצים

8 קבצים במאגר, 5.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והמשקלים, והפצה מחדש כחלק ממוצר שלכם. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים וציון הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗