Machine learning for arts

הסקירה

באתר ml4a.net אתם מקבלים אוסף של מחברות קוד פתוח שמקשרות ישירות לסביבת Colab ולקוד מקור בתוך GitHub. האתר לא מציע כפתור הפעלה מהיר בענן או ממשק מוצר סגור, אלא מרכז כלים חינוכיים ומודלים קיימים לעיבוד יצירתי של תמונות, וידאו וקול. כל כרטיס בדף מפנה אתכם למחברת פייתון ספציפית שנשענת על מודל עצמאי ידוע בתחום, כמו StyleGAN2 ליצירת תמונות או Tacotron2 להפקת דיבור מטקסט. מי שלוחץ על הקישורים מגיע ישר לשורות הקוד, עם הוראות טעינה של המשקלים וריצה שלבי תהליך העבודה של כל מודל.

הגישה הזו שונה מאוד מתוכנות עריכה רגילות שכוללות כפתורי עיבוד פשוטים. כאן אין תפריטים גרפיים מלוטשים ואין מנוע אחורי שפועל באופן שקוף ברקע.

איך המודלים עובדים בפועל

העבודה דורשת פתיחה של מחברת Colab והרצה ידנית של תאים שלב אחרי שלב. למשל, הכלי של BASNet משמש לחילוץ מסיכת הפרדה של האובייקט המרכזי מקדמת התמונה, ודורש טעינת קובץ תמונה לקונטיינר של גוגל לפני שמריצים את שורת הפקודה שיוצרת את המסיכה. תהליך דומה קורה במודל של Wav2Lip, שמסנכרן תנועת שפתיים בווידאו או בתמונה לפי קובץ קול שאתם מעלים, כאשר צריך להתאים בין הקבצים ולהמתין לעיבוד הפריימים. במודלים כבדים יותר כמו SPADE, המייצר תמונות פוטו ריאליסטיות ממפות של תוויות סמנטיות, אתם צריכים להבין איך להזין מפת צבעים נכונה כדי שהאלגוריתם יזהה נכון עצמים כמו מים, שמיים או עצים. זה לא נגמר בלחיצת כפתור אחת.

לא הייתי משתמש בזה אם אתם מחפשים אוטומציה עסקית יציבה ליום עבודה עמוס. הכלים האלה מיועדים למחקר, ניסוי ואמנות, ולא לפס ייצור מסחרי שדורש מהירות ודיוק ללא תקלות.

המודלים באתר מטפלים גם במשימות של שינוי סגנון ושיפור איכות של קבצים קיימים. מודל ESRGAN מבצע הגדלת רזולוציה וחידוד תמונות, בעוד שכרטיס ה־Cartoonization הופך צילום רגיל לציור דמוי קומיקס. בנוסף תמצאו שם את PhotoSketch שמחלץ קווי מתאר מדויקים מצילומים, ואת Glow שמאפשר היפוך ללא איבוד מידע של תמונות פנים לתוך המרחב הלטנטי של מודל גנרטיבי כדי לערוך מאפיינים גרפיים. יש גם מודל FlowNetPytorch לחישוב זרימה אופטית בין פריימים כדי לעקוב אחר תנועה בווידאו, וכלי כמו DeepDream שמשתמש במזהי מאפיינים של רשתות נוירונים להפקת טקסטורות מופשטות ומורכבות ישירות מתוך התמונה המקורית.

המחיר והזווית המקומית

באתר עצמו אין שום פירוט תמחור, מחירון או חבילות תשלום. הקישורים מפנים כולם למאגרי קוד חופשיים ב־GitHub ולמחברות שרצות בתוך Colab. זה אומר שברמת האתר הגישה פתוחה לחלוטין וללא עלות מוגדרת. יחד עם זאת, ההרצה של מודלים כמו StyleGAN2 או מודלים של סגמנטציה סמנטית דורשת כוח עיבוד גרפי משמעותי, ולכן מגבלות הזיכרון והזמן של המסלול החינמי ב־Colab עלולות לעצור אתכם באמצע הריצה. אם תרצו לעבד סרטונים ארוכים ברזולוציה גבוהה, ייתכן שתצטרכו לשלם לגוגל על מנוי למעבדים גרפיים חזקים יותר. האתר ml4a לא גובה את הכסף הזה ישירות.

הממשק כולו כתוב באנגלית טכנית שמניחה היכרות בסיסית עם קוד. עברית אינה קיימת באתר כלל, ואין תיעוד מקומי מותאם.

ההתאמה לשפה ולתוכן בעברית מוגבלת מאוד במודלים שנוגעים לאודיו ולטקסט. המודל של Tacotron2 מיועד להפקת דיבור מטקסט באנגלית לפי אימונים מוגדרים מראש, כך שלא תוכלו להזין לו משפטים בעברית ולצפות לתוצאה ברורה בלי לאמן אותו מחדש על דאטה סט ייעודי. גם הכלים שמנתחים תווי פנים או עוקבים אחר אובייקטים אומנו בעיקר על מאגרי מידע גלובליים, אם כי הם לא תלויים בשפה כתובה ויעבדו על כל תמונה שתעלו. מה שבאמת מפריע כאן הוא שאין שום תמיכה טכנית מסודרת, כך שאם ספריה מסוימת נשברת בהרצה בגלל גרסת פייתון ישנה בתוך Colab, אתם תצטרכו לדבג את הבעיה לבד.

למתכנתים ואמנים שרוצים ללמוד איך המודלים בנויים מבפנים, הדפים של Fundamentals ו־ml5.js מספקים נקודת כניסה נוחה מאוד לקוד. למי שרק צריך לחתוך רקע מתמונה של מוצר או להוציא תמלול מהיר של סרטון בעבודה, האתר הזה פשוט יבזבז זמן עבודה יקר.

• מחירון באתרלא צוין
• גישה לקודפתוחה בגיטהאב
• הרצה מובניתדורשת קולאב