falcon-rw-1b
קוד פתוחtiiuaeapache-2.02023-04-26
מודל קטן עם מיליארד פרמטרים שנועד לבדוק איך אימון על דאטה מסונן מהרשת עובד בפועל. הוא שוקל מעט ומתאים בעיקר למי שרוצה בסיס קל למחקר או אימון המשך באנגלית בלי לשרוף משאבים.
- 2.4 GBמשקל הקבצים
- 6,291הורדות בחודש
- 119לייקים
- 24שכבות
מה זה
המודל הזה נבנה כמודל פענוח בלבד למשימת השלמת טקסט, והוא אומן על 350 מיליארד טוקנים ממאגר RefinedWeb, שמבוסס על סינון והסרת כפילויות של מידע מהאינטרנט. המפתחים שלו רצו להראות שאיסוף וניקוי קפדני של דפי רשת יכולים להניב ביצועים שמשתווים למודלים בגודל דומה שאומנו על מאגרים ערוכים ומסורקים ידנית, או אפילו לעקוף אותם.
הארכיטקטורה שלו נשענת על עקרונות GPT-3 אבל כוללת התאמות כמו ALiBi ושימוש בקרנלים של FlashAttention כדי לייעל את הריצה. עם 24 שכבות ואורך הקשר של 2048 טוקנים, הוא מתפקד כמחולל טקסט בסיסי באנגלית, אבל הוא נחשב למודל מחקרי שמיועד להדגים את יעילות הדאטה ולא למוצר מוגמר שמחזיר תשובות מורכבות.
מתאים ל
- אימון מותאם על שרת זול
משקל של 2.4 ג'יגה מאפשר לעשות לו fine-tuning מהיר על כרטיס מסך ביתי למשימות סיווג וטקסט באנגלית.
- מחקר על איכות דאטה
הוא נוצר במקור כדי לבחון איך אימון על דפי רשת מסוננים משפיע על מודל שפה קטן מול מאגרים ערוכים.
- השלמת טקסט במכשיר קצה
הוא רץ מקומית עם מעט זיכרון ומתאים להשלמת משפטים באנגלית בלי להוציא קריאות החוצה.
איפה זה נופל
היוצרים מגדירים אותו במפורש כתוצר מחקרי ולא כמוצר מוכן לשימוש ישיר בעבודה אמיתית. הוא אומן אך ורק באנגלית ומשתמש בטוקנייזר של GPT-2, כך שלעברית אין מה לחפש כאן, הוא פשוט ייכשל ויפלוט ג'יבריש. בנוסף, בגלל שהוא אומן רק על הרשת הפתוחה, הוא נושא את כל ההטיות והסטריאוטיפים שקיימים ברשת. מי שרוצה להשתמש בו למוצר חייב לעשות לו fine-tuning ולהוסיף מנגנוני סינון, או לחלופין לקחת את המודלים הגדולים יותר בסדרה, 7B או 40B, שאומנו על פי שלושה יותר מידע.
שאלות
נפוצות
האם המודל הזה מתאים לעבודה בעברית?
לא, הוא אומן על אנגלית בלבד. הטוקנייזר שלו מבוסס על GPT-2 ולא כולל טיפול נורמלי באותיות עבריות, כך שכל ניסיון להזין או לקבל ממנו טקסט בעברית לא יעבוד.
כדאי לקחת אותו למוצר במקום את גרסת ה־7B?
רק אם יש לכם מגבלת חומרה קשה מאוד או שאתם מתכננים לאמן אותו מאפס על משימה מוגדרת. המפתחים עצמם ממליצים על גרסאות ה־7B וה־40B לכל עבודה שאינה מחקר, כיוון שהן אומנו על יותר מטריליון טוקנים ויודעות הרבה יותר.
איך מריצים
טוענים אותו ישירות דרך ספריית transformers בגרסה עדכנית, בלי צורך בקוד מרוחק, ומשתמשים ב־pipeline רגיל ליצירת טקסט. המודל דורש PyTorch 2.0 ומגיע בדיוק של bfloat16, מה שאומר שכל המשקולות שלו תופסות בערך 2.4 ג'יגה בייט זיכרון.
בגודל כזה של מיליארד פרמטרים, כל כרטיס מסך בסיסי עם 6 עד 8 ג'יגה בייט של VRAM יריץ אותו בקלות מקומית, ואפשר אפילו להריץ אותו על מעבד מרכזי בלי להרגיש חנק. אין פה שום סיבה אמיתית לחפש שירות API חיצוני בתשלום כדי לתשאל אותו, כי להרים אותו על שרת פרטי או על מחשב פיתוח חזק עולה פרוטות ועובד מיידית.
from transformers import pipeline
pipe = pipeline("text-generation", model="tiiuae/falcon-rw-1b")
print(pipe("שלום"))הקבצים
12 קבצים במאגר, 2.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הוא מופץ ברישיון Apache 2.0, שזה רישיון קוד פתוח מתירני מאוד. אפשר לקחת את המשקולות, לשלב אותן במוצר מסחרי סגור, לשנות אותן כרצונכם או לאמן עליהן הלאה, בלי לשלם תמלוגים ובלי חובה לפתוח את הקוד שלכם. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקבצים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים