GPT
הוספת כלי
O

oasst-sft-1-pythia-12b

קוד פתוח

OpenAssistantapache-2.02023-03-09

  • transformers
  • pytorch
  • gpt_neox
  • text-generation
  • sft

גרסה מוקדמת של עוזר שיחה בקוד פתוח, שנבנתה על בסיס נתונים שנאספו ממתנדבים. היא מתאימה בעיקר למי שחוקר היסטוריה של מודלי שיחה פתוחים או זקוק למודל באנגלית מלאה ללא תלות מסחרית.

  • 2,048טוקנים בהקשר
  • 22.2 GBמשקל הקבצים
  • 404הורדות בחודש
  • 277לייקים

מה זה

מדובר במודל השיחה הראשון שפותח במסגרת פרויקט Open-Assistant, שמבוסס על Pythia 12B ועבר כוונון בעזרת כ־22 אלף הדגמות שיחה אנושיות שנאספו עד מרץ 2023. המטרה כאן הייתה ליצור עוזר פתוח לחלוטין שמסוגל לענות לשאלות כלליות ולנהל שיחה, בתקופה שבה רוב המודלים מסוגו היו סגורים מאחורי ממשקים מסחריים.

הוא מיועד לאנגלית בלבד, ומשתמש בטוקנים מוגדרים מראש כדי לסמן מתי המשתמש מדבר ומתי תור העוזר לענות. מכיוון שמדובר באיטרציה מוקדמת מאוד שמבוססת על בסיס של 12 מיליארד פרמטרים, היכולת העיקרית שלו היא יצירת טקסט שנשמע כמו שיחה אנושית, אך ללא עידון מתקדם שקיים במודלים שנבנו מאוחר יותר על סטים גדולים בהרבה.

מתאים ל

  • מחקר על התפתחות עוזרי שיחה

    הוא מציג את תחילת הדרך של איסוף נתוני שיחה פתוחים ומאפשר לבחון כוונון מוקדם על בסיס Pythia.

  • יצירת טקסט שיחתי באנגלית

    הוא מתאים להפקת תשובות כלליות באנגלית פשוטה כאשר אין צורך בדיוק עובדתי או בפתרון בעיות לוגיות.

  • בדיקת מבנה פרומפטים ייעודי

    מאפשר לבחון הטמעה של תגיות שיחה ייעודיות בארכיטקטורת GPT-NeoX ללא תלות ברשת חיצונית.

איפה זה נופל

היוצרים של המודל מציינים במפורש שהוא נכשל בצורה קשה מאוד בשאלות של מתמטיקה וכתיבת קוד. בנוסף, יש לו נטייה חזקה להזיות: הוא מייצר תשובות שנשמעות אמינות ומשכנעות בקריאה ראשונה, אבל מכילות עובדות שגויות או מומצאות לחלוטין. הוא לא יודע עברית ולא מיועד לשפות שאינן אנגלית, כך שאי אפשר להסתמך עליו כמקור מידע אמין.

שאלות
נפוצות

האם אפשר להשתמש במודל הזה בעברית?

לא. המודל אומן והוגדר לעבודה באנגלית בלבד. פנייה בעברית תניב תוצאות שבורות או חסרות משמעות, ואין בו תמיכה בשפה מעבר לבסיס האנגלי שעליו אומן.

האם הוא מתאים לפתרון בעיות תכנות?

כרטיס המודל מזהיר במפורש שהוא נכשל באופן מוחלט במשימות קידוד ומתמטיקה. אם אתם צריכים עוזר לכתיבת סקריפטים או דיבאגינג, הכלי הזה לא יתאים למשימה.

איך מריצים

כדי להריץ אותו צריך לפנות מקום לקבצים במשקל 22.2 גיגה-בייט, מה שאומר שכרטיס מסך ביתי רגיל לא יספיק. נדרש מאיץ גרפי עם לפחות 24 גיגה-בייט זיכרון רק כדי לטעון את המשקלים בדיוק המקורי שלהם, וזה עוד לפני שלוקחים בחשבון את המקום הדרוש להקשר עצמו.

אם אין לכם חומרה ייעודית כזו בענן או בתחנת עבודה מקומית, ההרצה העצמאית תהיה יקרה וכבדה מדי ביחס למה שהמודל מציע. במקרה כזה עדיף בהחלט להשתמש בממשק מרוחק במקום להשקיע משאבים בתחזוקת שרת שמחזיק מודל כזה חי.

from transformers import pipeline

pipe = pipeline("text-generation", model="OpenAssistant/oasst-sft-1-pythia-12b")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 22.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0, שמאפשר שימוש מסחרי מלא, שינוי של המשקלים והפצה חופשית. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים המקורית והרישיון בתוך הפרויקט שלכם. אפשר להטמיע אותו בתוך מוצר בלי לשלם תמלוגים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗