flash-attn3

קוד פתוח

kernels-communitybsd-3-clause2025-06-25

kernels

החבילה הזו מספקת קרנלים מוכנים של Flash Attention 3 לשימוש ישיר בפייתון. היא מיועדת למי שרוצה להאיץ פעולות קשב בלי לקמפל ידנית ספריות כבדות לקוד שלו.

24.5 GBמשקל הקבצים
653,629הורדות בחודש
49לייקים

מה זה

לא מדובר במודל שפה שמייצר טקסט, אלא בספריית קרנלים חישוביים שנועדה לייעל את שכבת הלב של מודלים קיימים. המאגר כולל 188 קבצים שנבנו מראש לשימוש ישיר מתוך ספריית kernels, ומספק פונקציות מרכזיות כמו flash_attn_func, חישובי וקטורים באורכים משתנים עם varlen, וניהול זיכרון מהיר מול KV Cache בזמן הסקה.

במקום שתשבו לבנות בינארים בעצמכם מול הגדרות הדרייברים של כרטיס המסך, הקריאה נטענת ישירות מהרכזת לפי גרסה. יש פה גם תמיכה בחישובי תשומת לב משולבים ופונקציות תזמון פנימיות. היתרון היחיד של המימוש הזה הוא חסכון בזמן עבודה ובכאבי ראש סביב סביבות פיתוח, בלי להתעסק בכלים חיצוניים נוספים כדי להריץ את גרסה 3.

מתאים ל

האצת פעולת קשב במודל קיים
החלפת שכבת הקשב המקורית בפונקציה מותאמת לחיסכון בזמן חישוב.
עבודה עם רצפים באורך משתנה
שימוש בפונקציית varlen כדי לייעל מנות קלט שאינן באורך קבוע.
ניהול זיכרון בהסקה ארוכה
חיבור ישיר למנגנון ה־KV Cache כדי למנוע צווארי בקבוק בזמן ריצה.

איפה זה נופל

הבעיה המרכזית כאן היא תאריך תפוגה ברור. המפרסמים מתריעים רשמית שהחל מ־13 בספטמבר 2026 מאגרי קרנלים מהסוג הזה יימחקו מההאב, מה שאומר שהקוד שלכם יישבר אם תסתמכו על המשיכה הזו בעתיד. מעבר לזה, הכרטיס נוצר אוטומטית ואין בו שום נתוני ביצועים אמיתיים, זמני ריצה או פירוט תאימות לחומרה מעבר להפניה להרצת בדיקה עצמאית.

שאלות
נפוצות

האם כדאי להכניס את הנתיב הזה לפרודקשן?

לא מומלץ להסתמך עליו לטווח ארוך. המאגר מיועד להסרה בספטמבר 2026, ואם תבנו עליו את התלויות שלכם התהליך ייכשל ברגע שהקבצים יימחקו.

כמה שטח אחסון צריך לפרוס בשביל זה?

החבילה כולה שוקלת 24.5 ג'יגה בייט על פני 188 קבצים שונים. ודאו שהדיסק בשרת לא ייחנק בזמן ההורדה הראשונית.

איך מריצים

טוענים את הפונקציות ישירות בפייתון באמצעות הפקודה get_kernel מתוך ספריית kernels, תוך ציון מזהה המאגר וגרסה 1. זה מושך קבצים מוכנים לשימוש ודורש כרטיס מסך מתאים עם תמיכה בארכיטקטורה של Flash Attention 3.

סך כל הקבצים שוקל 24.5 ג'יגה בייט, כך שצריך לוודא שיש מספיק מקום פנוי בדיסק המקומי לפני שההורדה מתחילה. המאגר כולל גם סקריפט ביצועים פנימי לבדיקת מהירות שניתן להריץ דרך שורת הפקודה.

pip install -U huggingface_hub
hf download kernels-community/flash-attn3

הקבצים

188 קבצים במאגר, 24.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון bsd-3-clause מתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה מחדש שלו. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והתנאים המקוריים בקבצים, לצד איסור להשתמש בשם המפתחים לקידום מוצרים מסחריים ללא אישור מראש.

שימוש מסחרי
שינוי הקוד
הפצה מחדש

הרישיון המלא בעמוד המודל ↗