GPT
הוספת כלי
F

flan-alpaca-xl

קוד פתוח

declare-labapache-2.02023-03-21

  • transformers
  • pytorch
  • t5
  • text2text-generation
  • text-generation-inference

הכלאה בין בסיס Flan-T5 למידע האימונים הסינתטי של Stanford Alpaca. הוא מתאים למי שמחפש מודל הוראות חופשי ממגבלות LLaMA המקוריות.

  • 512טוקנים בהקשר
  • 10.6 GBמשקל הקבצים
  • 143הורדות בחודש
  • 118לייקים

מה זה

declare-lab לקחו את Flan-T5 בגודל שלושה מיליארד פרמטרים ואימנו אותו על אוסף ההוראות של פרויקט Alpaca, שכולל מעל חמישים אלף משימות שנוצרו על ידי GPT-3. הרעיון היה לעקוף את בעיות הרישוי המקוריות של LLaMA ולהציע מודל שמבין הוראות ישירות בלי להסתבך עם קוד סגור.

בניגוד למודלים שמבוססים על ארכיטקטורת פענוח בלבד, כאן מדובר ב־T5 קלאסי מסוג קידוד-פענוח. היוצרים עצמם מציינים שהדאטהסט של אלפקה מכיל לא מעט רעש, ובכרטיס הם ממליצים בכלל על גרסת ה־GPT4-XL לביצועים טובים יותר, כך שהגרסה הזו היא בעיקר שלב ביניים מוקדם.

מתאים ל

  • מענה להוראות קצרות

    מתאים לביצוע משימות ניסוח או עיבוד טקסט תמציתי שלא חורג ממגבלת 512 הטוקנים.

  • סביבות נטולות LLaMA

    פתרון חלופי למי שנמנע משימוש במשקלי מטא בגלל דרישות רישוי ומדיניות פנימית בארגון.

  • מחקר על דאטה סינתטי

    בסיס נוח לבדיקת ההשפעה של אימוני אלפקה מוקדמים על מודלים ממשפחת T5.

איפה זה נופל

חלון ההקשר מוגבל לחלוטין ועומד על 512 טוקנים בלבד. אי אפשר להכניס לכאן מסמכים ארוכים, היסטוריית שיחה מורכבת או הנחיות מסועפות, והוא מיועד למשימות קצרות וממוקדות בלבד. בנוסף, המודל אומן על מידע סינתטי ישן יחסית מ־2023 שסובל מרעש ואי-דיוקים מובנים שהחוקרים עצמם מודים בקיומם.

שאלות
נפוצות

האם כדאי לבחור בגרסה הזו ולא ב־flan-alpaca-gpt4-xl?

לא. היוצרים עצמם מציינים במפורש שהגרסה שאומנה על נתוני GPT-4 מומלצת ומציגה ביצועים טובים יותר.

כמה זיכרון GPU צריך כדי להריץ אותו?

הקבצים שוקלים 10.6 גיגה-בייט בגלל דיוק float32, ולכן תצטרכו כרטיס עם לפחות 16 גיגה זיכרון כדי לטעון אותו כמו שהוא, אלא אם תמירו אותו ל־float16 ותחסכו חצי מהנפח.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־10.6 גיגה-בייט בגלל שמירה בדיוק מלא של float32, מה שמנפח את הצריכה בלי סיבה טובה. בפועל, אימנו אותו על כרטיס A6000 יחיד, אבל כדי להריץ אותו אצלכם בצורה סבירה כדאי להמיר אותו מיד ל־fp16 או לבצע קוונטיזציה דרך transformers.

אם אתם לא חייבים לרוץ מקומית על שרת שלכם, מודלים מודרניים ב־API יתנו תמורה טובה בהרבה במחיר אפסי. הרצה עצמית של המודל הזה מוצדקת רק כשחייבים סביבה מבודדת לחלוטין בלי תלות ברשת חיצונית.

from transformers import pipeline

pipe = pipeline("text-generation", model="declare-lab/flan-alpaca-xl")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 10.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו כחלק ממוצר בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗