GPT
הוספת כלי
D

deepfake_vs_real_image_detection

קוד פתוח

dima806apache-2.02023-10-14

  • transformers
  • pytorch
  • safetensors
  • vit
  • image-classification

סיווג תמונות פנים שבודק אם מדובר באדם אמיתי או בזיוף שנוצר בבינה מלאכותית. מודל ראייה קומפקטי שמביא תוצאות בדיקה יפות על נתונים היסטוריים ורץ בקלות מקומית.

  • 86Mפרמטרים
  • 3.5 GBמשקל הקבצים
  • 13,113הורדות בחודש
  • 60לייקים

מה זה

מדובר במודל ראייה ממוחשבת שמבוסס על ארכיטקטורת ViT עם 12 שכבות וכמעט 86 מיליון פרמטרים. המטרה שלו מוגדרת וצרה מאוד, מקבלים תמונה ומקבלים תיוג של אמיתי מול מזויף. הוא פורסם באוקטובר 2023 ומיועד לעבודה ישירה עם ספריית transformers המוכרת.

על הנייר דוח הביצועים שלו מציג דיוק מרשים של מעל 99 אחוז בדיוק, בריקול ובמדד F1 על סט מבחן ענק של 76,161 תמונות. המספרים האלה מראים שהוא למד לזהות כמעט מושלם את הדפוסים של הדאטה שעליו הוא נבדק, עם חלוקה שווה לגמרי בין מזויפים לאמיתיים.

מתאים ל

  • בסיס לאימון מחדש

    נקודת מוצא מוכנה לכוונון עדין על תמונות פנים מחוללות מהחודשים האחרונים.

  • סינון ראשוני בארכיונים

    בדיקת מאגרי תמונות ישנים שנוצרו בכלים מוקדמים של יצירת תוכן.

  • מחקר והשוואת ביצועים

    מדד ייחוס לבדיקת הפער בין זיהוי זיופים ישנים לתוצרים של כלים מודרניים.

איפה זה נופל

היוצר של המודל מזהיר בעצמו ובמפורש, הדאטהסט שעליו המודל אומן נאסף בערך שלוש שנים לפני הפרסום. מאז חל שינוי עצום באיכות של מחוללי תמונות, ויש פה בעיה קשה של שחיקת תפיסה. מודלים חדישים מייצרים פנים ברמה שונה לגמרי ממה שהרשת הזו מכירה.

בכרטיס מוצע מעקף מהיר שבו מורידים את סף ההחלטה מ־0.5 לאזור ה־0.1 או 0.01 כדי לתפוס יותר זיופים, אבל זו פשרה מסוכנת שתייצר המון התרעות שווא על תמונות אמיתיות. לא הייתי משלב אותו בפרודקשן בלי לאמן אותו מחדש על דאטה עדכני.

שאלות
נפוצות

האם אפשר להשתמש בו לזיהוי תמונות שנוצרו החודש?

לא מומלץ להסתמך עליו ישירות. המודל אומן על דאטה ישן מדי ולא פגש את החידושים האחרונים של מחוללי התמונות. הוא צפוי לפספס חלק ניכר מהתוצרים החדשים.

כדאי לשנות את סף ההחלטה כמו שהיוצר מציע?

זה פלסטר בלבד. הורדת הסף מ־0.5 ל־0.1 תגרום למודל לחשוד כמעט בכל תמונה, ותקבלו המון פסילות שגויות של תמונות אמיתיות לחלוטין.

איך מריצים

בזכות גודל של כ־86 מיליון פרמטרים, המודל הזה קל מאוד להרצה. אתם לא צריכים שרתים יקרים או מפלצות עיבוד, כרטיס מסך בסיסי או אפילו מעבד רגיל יספיקו כדי להריץ אינפרנס בודד בשבריר שנייה דרך פייתון וספריית transformers. קבצי המודל שוקלים 3.5 גיגה בייט בדיוק float32, אז צריך רק לוודא שיש לכם את המקום הפנוי בזיכרון להוריד ולטעון אותם.

אם אתם בונים שירות שבודק תמונות בקצב נמוך, הרצה עצמית בתוך הקוד שלכם זולה ופשוטה בהרבה מתשלום על שירותי צד שלישי. מצד שני, אם אתם צריכים לנתח תמונות שנוצרו במחוללים חדישים, הרצה מקומית של המשקלים האלה כמו שהם פשוט לא תיתן ערך אמיתי בלי אימון מחדש.

from transformers import pipeline

pipe = pipeline("image-classification", model="dima806/deepfake_vs_real_image_detection")
print(pipe("שלום"))

הקבצים

31 קבצים במאגר, 3.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והמשקלים והפצה שלהם בחינם או בתשלום. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי לגלגל אחריות משפטית על היוצר.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗