GPT
הוספת כלי
B

Baguettotron

קוד פתוח

PleIAsapache-2.02025-11-10

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

מודל שפה קומפקטי שמביא יכולות חשיבה מובנות אל מכשירי קצה. הוא בנוי לעיבוד נתונים מקומי ומהיר בלי להסתמך על שרתים יקרים.

  • 321Mפרמטרים
  • 4,096טוקנים בהקשר
  • 618 MBמשקל הקבצים
  • 1,363הורדות בחודש

מה זה

מדובר במודל זעיר עם מבנה חריג של שמונים שכבות עמוקות ודקות, תצורה שנועדה לחלץ מקסימום ביצועי הסקה מנפח זיכרון מינימלי. הוא אומן על נתונים סינתטיים ומציג תהליך חשיבה דחוס עם סימנים לוגיים קצרים, ולא מלל מבוזבז באנגלית. הוא מכוון למשימות שליפת מידע, מענה על בסיס מקורות, עריכה וחשבון פשוט.

במדדי ביצועים כמו MMLU, מתמטיקה בסיסית ושליפת מידע, המפתחים מראים שהוא עוקף מודלים בגודל דומה ומתקרב למודלים כפולים ממנו כמו קוון בחצי מיליארד פרמטרים. עם זאת, הוא מתמקד בשפות אירופיות מרכזיות בלבד, ועברית כלל לא נמצאת ברשימת השפות שנתמכות בו.

מתאים ל

  • מענה מקומי על מסמכים

    שליפת מידע ממקורות טקסט ישירות על המכשיר, בזכות תמיכה מובנית בציטוט מקורות ומשקל נמוך.

  • חילוץ נתונים ועריכה

    ניתוח טקסטים קצרים ושינוי מבנה בשפות אירופיות בלי לחייב תקשורת עם שרת חיצוני.

  • הסקה במכשירי קצה

    ביצוע משימות חשיבה בסיסיות על חומרה חלשה, במערכות שלא יכולות לשלם על קריאות רשת.

איפה זה נופל

חלון ההקשר מוגבל לארבעת אלפים טוקנים, מה שחוסם עיבוד של מסמכים כבדים או שיחות ממושכות. אין לו תמיכה רשמית בעברית, כך שניסיון להריץ עליו טקסט ישראלי יגרור שיבושים כבדים. נקודה נוספת היא תהליך החשיבה, כי סגירת תגיות החשיבה כדי לקבל תשובה מהירה פוגעת בביצועים ובדיוק בצורה חדה לפי עדות המפתחים.

שאלות
נפוצות

האם המודל יודע לקרוא ולכתוב בעברית?

הוא אומן על שפות אירופיות כמו צרפתית, גרמנית, איטלקית, ספרדית, פולנית ואנגלית. עברית לא נכללת באימון ולכן הוא לא מתאים למשימות בשפה זו.

האם אפשר לכבות את תהליך החשיבה כדי לזרז תשובות?

אפשר לסגור את תגית החשיבה מראש, אבל המפתחים מציינים שהפעולה הזו מורידה משמעותית את רמת הדיוק והזיכרון של המודל.

איך מריצים

במשקל של שש מאות ושמונה עשר מגה בייט, המודל הזה עולה ורץ כמעט על כל חומרה מודרנית, כולל מעבדים רגילים של מחשבים ניידים ומכשירי טלפון. ספריית transformers מריצה אותו ישירות בפורמט bfloat16, ללא צורך בהאצת שרת ייעודית או בהגדרות מורכבות.

הוא מיועד להרצה מקומית מלאה במקומות שבהם אסור להוציא מידע החוצה, או באפליקציות שחייבות לעבוד ללא חיבור רשת. לפנות לשרת ענן חיצוני בשביל מודל כזה זה מיותר, כי עלויות החישוב המקומיות שלו אפסיות.

from transformers import pipeline

pipe = pipeline("text-generation", model="PleIAs/Baguettotron")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 618 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון apache-2.0 מקנה חופש מלא לשימוש מסחרי, שינוי קוד, הפצה ושילוב במוצרים סגורים. הדרישה העיקרית היא לצרף עותק של הרישיון המקורי ומתן קרדיט ליוצרים, בלי תמלוגים ובלי מגבלות רישוי נוספות על המוצר שתפיצו.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗