GPT
הוספת כלי
D

DCLM-7B

קוד פתוח

appleapple-ascl2024-07-11

  • transformers
  • safetensors
  • openlm
  • endpoints_compatible

זה מודל בסיס שנועד להוכיח שסינון דאטה קפדני מנצח אימון עיוור. הוא מעניין בעיקר חוקרים שרוצים משקלים פתוחים שאומנו על דאטה פתוח לחלוטין.

  • 6.9Bפרמטרים
  • 25.7 GBמשקל הקבצים
  • 247הורדות בחודש
  • 834לייקים

מה זה

מדובר במודל שפה של שבעה מיליארד פרמטרים מבית אפל וצוות DataComp, שאומן על 2.5 טריליון טוקנים. הרעיון המרכזי מאחוריו הוא שדאטה איכותי ומפולטר מייצר תוצאות טובות יותר מדאטה גולמי בכמויות עתק. החוקרים שילבו כאן את מאגר DCLM יחד עם StarCoder ו־ProofPile2 כדי לתת לו רקע בקוד ובמתמטיקה.

במבחני ביצועים מול מודלים אחרים עם דאטה פתוח, כמו Falcon ו־OLMo, הוא מוביל עם ציון MMLU של 63.7 במצב few-shot. הוא אפילו מתקרב למודלים סגורים כמו Mistral 0.3 ו־Llama 3, למרות שאומן על שבריר מכמות הטוקנים שלהם. עם זאת, במשימות היגיון מורכבות הוא עדיין רחוק מהמובילים בתחום.

מתאים ל

  • מחקר על דאטה פתוח

    הוא מאפשר לבחון בדיוק איך סינון המידע השפיע על הביצועים, בזכות שקיפות מלאה של הדאטהסט.

  • אימון התאמה עצמאי

    הוא משמש כבסיס גולמי נקי יחסית לפיין טיונינג פנימי באנגלית, למי שרוצה שליטה מלאה במשקלים.

  • השלמת טקסט כללית

    הוא מתאים למשימות יצירה והמשך טקסט סטנדרטיות שלא דורשות ממשק שיחה מובנה או היגיון מתמטי.

איפה זה נופל

המודל הזה הוא מודל בסיס שלא עבר שום יישור, הנחיות בטיחות או אימון שיחה. הוא לא יודע לענות כמו צ'אטבוט אלא פשוט משלים טקסט, ועלול לפלוט תוכן פוגעני או מוטה ממאגרי הרשת שמהם למד.

מעבר לזה, במתמטיקה הוא חלש מאוד למרות הדאטה הייעודי. הציון שלו ב־GSM8K עומד על 0.025 בלבד, מה שאומר שהוא נכשל כמעט לחלוטין בפתרון בעיות חישוביות. חלון ההקשר שלו מוגבל ל־2048 טוקנים בלבד, שזה מעט מאוד לכל שימוש מודרני, והוא מיועד בעיקר לאנגלית כך שאין מה לבנות עליו לעברית.

אותה משפחה

DCLM יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

DCLM-7B-8k38

שאלות
נפוצות

אפשר להשתמש בו ישירות כצ'אטבוט?

לא. המודל לא עבר שום כוונון למתן תשובות או שיחה, אלא רק השלמת טקסט סטטיסטית. כדי לקבל ממנו דיאלוג תצטרכו לאמן אותו בעצמכם על דאטה של שיחות והוראות.

הוא מתאים לקריאת מסמכים ארוכים?

ממש לא. חלון ההקשר שלו נעצר ב־2048 טוקנים בלבד. ברגע שתעבירו לו טקסט ארוך מעבר לזה, הוא פשוט יחתוך אותו ולא יוכל להתייחס לתוכן.

איך מריצים

המשקלים מגיעים בפורמט float32 ושוקלים 25.7 גיגהבייט על פני 14 קבצים. כדי לטעון אותו כמו שהוא צריך כרטיס מסך רציני עם לפחות 32 גיגהבייט זיכרון גרפי, אחרת תצטרכו להמיר אותו בעצמכם לדיוק נמוך יותר של 16 ביט או לקוונטיזציה. מעבר לזה, הוא דורש התקנה ידנית של ספריית open_lm מגיטהאב בנוסף ל־transformers.

אם אין לכם שרת ייעודי או H100 זמין, אין שום סיבה לנסות לדחוף אותו למחשב מקומי. הוא לא מודל שיחה שמוכן לשימוש מהקופסה, כך שעדיף לפנות ל־API חיצוני אם אתם צריכים תשובות מהירות בלי כאב ראש תשתיתי.

from transformers import pipeline

pipe = pipeline("text-generation", model="apple/DCLM-7B")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 25.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apple Sample Code License. מדובר ברישיון קוד לדוגמה של אפל, שמיועד בעיקר להרצה, מחקר ובדיקות, ולא כולל אישור מפורש וברור לשימוש מסחרי רחב במוצר חי. מי שבונה שירות עסקי צריך בדיקה משפטית לפני שהוא משלב את המשקלים האלה.

הרישיון המלא בעמוד המודל ↗