תוֹכֶן
בנוסף לצילומי חישוב, חומרת מצלמה באיכות גבוהה ומעבדי אותות תמונה, הצילום הנייד המתקדם מופעל יותר ויותר על ידי אלגוריתמים של למידת מכונה - המכונה גם בינה מלאכותית (AI). טכניקת צילום זו מבטיחה לשפר את האיכות בדחיפה לעבר איכות דמוית DSLR תוך שהיא מציעה דרכים יצירתיות חדשות לצילום ועריכה של תמונות ווידאו.
המפתח ללימוד מכונות הוא השימוש ברשתות עצביות. זהו סוג של אלגוריתם שלעתים קרובות הוא דומה למוח האנושי. השוואה זו נובעת מהיכולת של רשת עצבית להיות מאומנת, באמצעות שימוש בנתונים, לזהות דפוסים, ומאפשרת לה לבצע סיווגים מדויקים ביותר עבור סוגי נתונים מורכבים כמו שמע ותמונות.
כשמדובר בצילום, היכולת להתבונן, ללמוד, ליצור ולסווג כוללת מגוון רחב של יישומים. יישומים אלה יכולים לכלול תכונות כמו בנייה על טכניקות צילום חישוביות לשיפור האלגוריתמים לאחר העיבוד, תוכנת בוקה בזמן אמת עם וידיאו 4K, או אפילו החלפה מוחלטת של צבעי הבגדים שאתה לובש.
איך עובדות רשתות עצביות
רשתות עצביות הן נושא מורכב להפליא, ולכן אנו רק נעסוק כאן ביסודות. לקריאה מתקדמת יותר, עיינו במדריכים כאן וכאן.
רשתות עצביות מורכבות מצמתים המהווים מסמל למקום בו נעשה חישוב מסוים. כל צומת משלב קלט עם משקל שמגביר או מחליש את המשמעות של הצומת הספציפי הזה. מספר צמתים עובדים לרוב במקביל ויוצרים שכבה של צמתים המבצעת משימה גדולה יותר. זה יכול להיות זיהוי תכונות בתוך תמונה, למשל. ניתן לתמצת צמתים ושכבות מרובים יחד ולהעביר לצמתים ושכבות אחרים ויוצרים רשת עמוקה יותר עם יכולות חזקות יותר.
התפוקה מכל צומת ושכבה מוגדלת כפונקציית הסתברות. על ידי בחינת המון תכונות ותכונות שונות, רשת עצבית יכולה לדרג את הקלט כמתאמת הסתברות מול כל התפוקות הפוטנציאליות הצפויות. כך מחליטים אלגוריתמים לאיתור תמונות אם תמונה נראית יותר כמו חתול או כתום, אך עליכם לומר לה מה לחפש תחילה.
רשתות עצביות אינן מתוכנתות ממש כמו אלגוריתמי מחשב מסורתיים. במקום זאת הם מאומנים על מערכי נתונים, כמו תמונות, קבצי קול וכו '. המשקולות של כל צומת מותאמות בהדרגה לאורך זמן באמצעות לולאת משוב, על סמך מידת ביצוע הרשת בהתאמת התשומות לתפוקות הנכונות. "למידה" הדרגתית זו של הכללים דורשת הכנה, זמן וכוח מחשוב לא מבוטל, אך מניבה תוצאות מדויקות להפליא.
רשתות עצביות בסמארטפון שלך
רשתות עצביות יכולות לפעול על מגוון רכיבי חומרה, כולל חלקי ה- CPU וה- GPU הנפוצים במגוון מכשירי מחשוב, כולל הסמארטפון שלך. עם זאת, רשתות עצביות מסוימות יכולות לדרוש כוח עיבוד רב מכפי שיכולים לספק רכיבי חומרה אלה, וחומרה ייעודית יכולה לספק את העיבוד האופטימלי הדרוש.
בתוך פלטפורמת הנייד Qualcomm® Snapdragon ™ 855, למשל, תוכלו למצוא את מעבד האיתות הדיגיטלי של Qualcomm® Hexagon ™ 690 ™ (DSP), המתגאה ביחידות עיבוד וקטוריות משופרות ומאיץ Tensor חדש במיוחד למשימות למידת מכונה. פלטפורמות ניידות אחרות של Snapdragon כוללות גם את רכיב ה- Hexagon DSP, עם יכולות שונות. עם זאת, רשתות עצביות אינן מוגבלות רק לרוץ ב- DSP ב- Snapdragon ופלטפורמות ניידות אחרות. סוג המעבד המשמש תלוי בעומס העבודה.
שיפורי למידה במכונה Snapdragon 855 קוואלקום בהשוואה לדור הקודם
קוואלקום טכנולוגיות פותחת את יכולות ה- DSP והלמידה שלה למפתחים של צד שלישי באמצעות ה- SDK העיבוד העצבי שלה Qualcomm. זה מאפשר לאפליקציות להפעיל רשתות עצביות בכל אחת מליבות החומרה בתוך פלטפורמת ה- Snapdragon Mobile. לדוגמא, סמארטפונים של גוגל פיקסלים משתמשים במכשיר ה- Hexagon DSP ובגרעין Visual Visual משלו כדי להאיץ את תכונת הצילום HDR + המרשימה שלו. קוואלקום טכנולוגיות עובדת עם ספקי תוכנה דוגמת Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho ועוד, ותומכים בתכונות החל מווידיאו בוקה ליצירת אווטר באמצעות למידת מכונות הפועלות ב- DSP.
AI יכול לעצב את עתיד הצילום
כעת אנו יודעים כיצד רשתות עצביות עובדות, השאלה החשובה היא מה היא יכולה לעשות לנו ולתצלומים שלנו?
רשתות עצביות משמשות לשיפור מגוון אלגוריתמי צילום נפוצים. דה-רעש, למשל, ניתן לשפר בעזרת אימונים בכדי להציע ניקוי תמונות מעולה המותאם למצלמה או לסוג הצילום הספציפי. באופן דומה, עבור אור נמוך, רשת עצבית יכולה לגלות חלקים בהירים וכהים של התמונה, מה שמאפשר שיפורי אור וצבע באזורים ספציפיים בסצנה.
מקרי שימוש מתקדמים יותר נפוצים יותר ויותר בצילום הסמארטפון. מגדלי רזולוציה סופר משתמשים ברשתות עצביות כדי לשלב תמונות מרובות לצילום ברזולוציה גבוהה יחיד לזום דיגיטלי מעולה. ניתן לאמן רשתות עצביות כדי לתפור במדויק חשיפות תמונות מרובות יחד לצילומי HDR משופרים וליליות לילה.
צילום AI יכול לכלול זום ברזולוציה סופר, בוקה בזמן אמת ואיכות תמונה משופרת.
וידיאו יכול גם להפיק תועלת מאימוץ טכנולוגיה זו. זיהוי אובייקטים בזמן אמת נועד לאפשר לאפליקציות להציג אפקטים של תוכנת בוקה היישר לסרטון בזמן ההקלטה. טכניקות דומות תומכות גם בהחלפה והסרה של אובייקטים בזמן אמת. זה כולל החלפת הרקע בסרטון, שינוי או הסרת צבעים ואפילו החלפת פריטי לבוש או הצבת סופר-אווטרים דיגיטליים ישירות לסרטון שלך.
כוחם של רשתות עצביות וצילומי AI נע בין שיפורי איכות לסייע בסגירת הפער ב- DSLR וכלים יצירתיים רבי עוצמה המסייעים להפוך הפקת תוכן ייחודי לרוח. כך או כך, מדובר בטכנולוגיה רבת עוצמה הבסיסית לשיפורים עתידיים לקראת צילום סלולרי.
הבא: מתנת גוגל פיקסל 3 XL בינלאומית!
תוכן בחסות קוואלקום טכנולוגיות, בע"מ.
Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine ו- Qualcomm Kryo הם מוצרים של Qualcomm Technologies, Inc. ו / או החברות הבנות שלה.
