Systematic Approach To Applications Of Deep Learning

Hidden potential

The interest in Deep Learning research and applications is as hot as never before. A countless number of new research papers can be found at arXiv.org almost every day. Those papers provide us with descriptions of novel ways Artificial Neural Networks can be applied to various fields of our daily life. What is fascinating in Deep Learning is the fact that neural networks seem like universally capable to be applied to various kinds of problems that previously were tackled with a tailored approach. Moreover, each day there is an article or blog post that tells us about even more exotic ways of applying Deep Learning. The problem with those articles, blog post and even books is that they do not provide systematic treatment of neural networks applications. At least, so far I haven’t seen this was done and if you know about such attempts please let me know.

Sate-of-the-art

While searching for materials for this post I’ve found a number of articles that summarize Deep Learning applications. Here comes a number of quotes from those articles with related links.

1. The first post called 8 Inspirational Applications of Deep Learning by Jason Brownlee is from Machine Learning  Mastery blog.

Here’s the list:

  1. Colorization of Black and White Images.
  2. Adding Sounds To Silent Movies.
  3. Automatic Machine Translation.
  4. Object Classification in Photographs.
  5. Automatic Handwriting Generation.
  6. Character Text Generation.
  7. Image Caption Generation.
  8. Automatic Game Playing.

As it can be seen these applications can be concisely described by the sensory modalities Artificial Intelligence research was initially applied to which are Audio, Visual and Spatial modalities. 

2. This one is called Deep Learning Use Cases and is taken from a site dedicated to Deeplearning4j machine learning library for Java.

3. Next one is called Deep Learning Applications in Science and Engineering by John Murphy. This article describes similar applications of Deep Learning as previous ones but also provides more exotic applications, such as Scientific Experiment Design, High Energy Physics and Drug Discovery.

4. In addition I want to mention The Next Wave of Deep Learning Applications post which
 is full of most exotic applications that maybe you haven’t heard about them before. To name a few there are Weather Forecasting and Event Detection, Neural Networks for Brain Cancer Detection applications.

5. The last one is a question about Deep Learning applications in Quora that  has a number of helpful answers.

Prediction example

If we look at row 4 and column B will find there ‘Speech recognizer -> Speech generator’ pair from Audio modality which can be interpreted as language to language translation application, such as Google translate. Moreover, if we choose row 6 and column D will find there ‘Image recognizer -> Image generator’ which is exactly the idea behind the Deep Convolutional Inverse Graphics Network paper at arXiv.org.

 It can be seen that this matrix has following number of possible pairs  = 12 * (12 – 1) = 132.  In general case pairs = N*(N – 1).

If we want to think about a novel application it is possible systematically go over the matrix and look for it or pick a random pair, such as row 4 and column H which is ‘Image recognizer -> Natural language generator’. It may be  an application that lip reads a person talking in front of a mobile phone camera and generating text to be sent to another application. This application is useful when there is a noisy environment on the background (idea comes from here).

Notice that this matrix is composed for the sake of an example and it may be organized in other ways that may produce another combinations for possible applications of Deep Learning. Moreover this matrix may be multi-dimensional to take into account tuples of various parameters.

Morphological Matrix

Additional way to try to predict applications of Deep Learning is to use morphological matrix method developed by Fritz Zwicky, Swiss-national astrophysicist based at the California Institute of Technology. By the way, this method has been successfully used to predict the existence of neutron stars. The good explanation of what is morphological matrix and its applications may be found at Swedish Morphological Society. For our purposes it is sufficient to know that this matrix can be composed in such a way that the first row has various sensory modalities such as audio, visual, touch etc. and the rest of the rows provides possible options for those modalities. The screenshot will help to clarify this.

As it was shown in this post it is possible and effective to systematically look for Deep Learning applications in particular and Machine Learning in general by means of Combinations and Morphological matrices.

Java Code Geeks

Advertisements

כדור הבדולח של דמיון

trizכדור הבדולח של דמיון

(קטעים מתוך חוברת לימוד למהנדסים וממציאים)

© פסח עמנואל, 1994

תרגום: אנדרי צ’רמסקוי, 2007. באישור המחבר.

פרק ראשון. אלגוריתם רעיונות חדשים

נפנה לניתוח רעיונות הקשורים לתחזיות בספרות מדע בדיוני. רעיוניות כאלה מוצאים לעיתים קרובות ביצירות ששייכות לענף מדעי-טכנולוגי בספרות (חלקית זה נכון גם לאוטופיות, לאלו, בהן המחבר לא רק יוצר מודל חברתי של החברה העתידנית, אלא גם מנסה לחזות את הישגיה המדעיים והטכנולוגיים).

התפקיד התחזיתי של מדע בדיוני נעוץ בייצור רעיונות חדשים, אשר פותרים כל מיני בעיות מדעיות וטכנולוגיות, נוסף על כך, גם רעיונות כאלה אשר עדיין לא נהגו על ידי מדע וטכנולוגיה בני זמנינו ולא הפכו לנושא של מחקר מדעי ופיתוחים טכנולוגיים מואצים. אולם, האם סופר מדע בדיוני יכול לחזות פתרון בעיות אשר עוד לא הפכו לנושא מחקר מדעי? התשובה לשאלה הזו יכולות להוות תחזיות מדעיות וטכנולוגיות של ז’ול ורן, הרברט ג’ורג’ ולס, אלקסנדר בילאייב. רעיונות חיזוי מוצלחים היו גם אצל סופרי מדע בדיוני אחרים, למשל, אצל אודוייבסקי (דרכים נעות מעצמן), בגדנוב (מנועים גרעיניים, בתי חרושת אוטומטיים).

אפשר לומר, בוודאי, שרעיונות סופרי מדע בדיוני (הלאה אני אקצר את השם כסמ”בים) מתגשמים רק במקרה. הנה מה שכתב, לדוגמה, פיסיקאי נודע בלוחינצב: “מספר מילים על תפקיד שמשחקים סמ”בים. לעניות דעתי, רב רובו של תחזיותם פשוט שגוי. למרות זאת, הם יוצרים מודלים, אשר יכולים להשפיע ובאמת משפיעים על בני אדם, אשר עוסקים במדע.” הייתכן, שרב תחזיות של סמ”בים הם רק מיקריות פשוטה? בכל שנה יוצאים לאור מאות ספרים חדשים, שבהם נאמר המון שטויות על העתיד. ובאמת, יכול לקרות מצב שבערמת השחט הענקית הזו תימצא המחט.

הרעיון הזה, מוצדק, אבל… לא נכון. רק בימינו מוציאים לאור בכל שנה מאות ספרים חדשים, רק שלא בכל מקום, אלא רק בארה”ב. לפני שלושים או שמונים שנים זרם ספרות מדע בדיוני היה הרבה יותר חלש, ולעומת זאת תחזיות נכונות, למרבה ההפתעה, היו רבות יותר! ז’ול ורן תיאר מדינה עתידנית ברומן “חמש מאות מיליונים של ביגומה”. עיר שטלשטדט עם מנהיגה חצי המשוגע, אשר היה דומה בו זמנית להיטלר, סטלין וסדאם חוסיין. הניבוי של הסמ”ב הגדול היה מדוייק אף בפרטים. במקביל לז’ול ורן, גם קרל מרקס כתב על מדינה עתידנית. מסתבר, שסמ”ב צרפתי הצליח ברומנים שלו כנביא הרבה יותר טוב מאשר מרקס בעבודותיו המדעיות. תשעים וחמישה אחוזים של בדיות ז’ול ורן התגשמו, בהיפוך מוחלט לתחזיות של מחבר ה”הון” אשר אפילו אחוז אחד מהן לא התגשם. יתרה מזו, היו שוכחים את מרקס כבר מזמן, לולא לנין שהשטלת בשם מרקס על השלטון ברוסיה.

מדוע עכשיו כמות היצירות של מדע בדיוני הלכה וקטנה? סדר העדיפויות השתנה. עד לפני עשרים וחמש שנים סמ”בים אהבו לכתוב על עתיד המדע והטכנולוגיה, באופנה היה מדע בדיוני טהור. לאחר מכן, פנטזיה הגיעה להחליפו שבה אין אזכור למדע, ובה שולטים בעולם קלפים קסומים, וחוקים נחקקים לא בידי המשפטנים אלא על ידי הקוסמים. כשאין רומנים על מדע עתידני, אין גם תחזיות. צריך לקחת בחשבון, שלעתים קרובות חושבים לתחזיות מדע בדיוני דברים שהם אינם בכלל תחיזות. יתרה מזאת, קורה שחלק מכריע של רעיונות אשר נהגו על ידי מדענים תוך כדי מחקר או על ידי ממציאים תוך כדי פתרון בעייה טכנית גם כן שגויות (הרי עדיין בשימוש כולם שיטת ניסוי וטעיה!). לתחזיות הסמ”בים נחזור בהמשך. בואו נפנה לרעיונות המדענים.

הקשיחות וההנמקה הנראות לעין של היפוטזות, לעתים קרובות מכריחות אותנו לשכוח שרב רובן תיעלם מבלי להשאיר אחריהן עקבות. רק רעיונות והיפוטזות שהן בנות קיימא שורדות (כמו במדע בדיוני!). שיטת ניסוי וטעיה, שהיא ברירת מחדל במחקר מדעי, דורשת התבוננות ברעיונות כלשהם, אשר מתוכם רק אחד מתגלה כנכון ונשמר לעתיד. תחזית, אשר הורכבה על פי כל כללי העתידנות המודרנית, גם כן ברב המקרים מתגלה כמוטעת לאותו רגע שאליו הורכבה, אלא אם כן מעדכנים אותה בהתחשב ברקע תחזיתי משתנה. תחזית היא דינמית, היא משתנה יחד עם נסיבית החיים, על מנת להתגלות כנכונה בעתיד.

יצירת מדע בדיוני היא סטטית. היא נכתבה והוצאה לאור. הרעיון הנהגה של המחבר מקובע ולא משתנה. דינמיות של התחזית נוצרת רק במקרה, כאשר סמ”ב אחר שמתחשב במצב חדש במדע ובטכנולןכיה, לוקח ומשנה את הרעיון. יצירת מדע בדיוני החדשה מקבעת את התחזית בנקודה חדשה. אולם הקורא לעתים קרובות לא מתחשב ברציפות התחזיות שכזו, שמקרבת אותן לדינמיות תחזיות אשר נעשו לפי חוקי העתידנות. הקורא בוחן את היצירה הראשונה מסוגה עם רעיון מסויים, ומסיק שסמ”ב טעה.

כמובן, הקורא צודק. אבל אז, גם במדע צריך להתחשב בטיוטות ראשוניות של תיאוריות חדשות, אשר גם כן ברב המקרים היו שגויות. ישנו דבר נוסף. יצירת מדע בדיוני עם ניבוי שגוי, אם היא כתובה היטב, אם היא ספרות אמיתית, תרגש קורא לאורך זמן ותשמש למבקרים דוגמה לכך, כיצד טועים הסמ”בים. לעומת זאת, רעיון מדעי או טכנולוגי שגוי קיים לא יותר מרגע עד שמחליפו רעיון אשר קרוב יותר לאמת או לפתרון טכנולוגי נכון. לכן יוצא כך, שטעויות מדענים ומהנדסים “מתפוגגים” עם הזמן, לעומתן טעויות הסמ”בים זכות לחיים ארוכים. דרך אגב, סופרים, העובדים בתת-ענף של מדע בדיוני טכנולוגי, כלומר אלה שבכוונה מהנדסים הישגים מדעים וטכנולוגיים אפשריים, טועים לעתים רחוקות. ניזכר באותן תחזיות של ז’ול ורן (כאשר מתוכן התבררו כנכונות 80%), בילאייב (התגשמו כמעט כולן), הרברט ג’ורג’ ולס, הרנסבק, בגדנוב, גנריך אלטוב (אלטשולר) ואחרים.

מסקרנות תחזיות, הכלולות במדע הבדיוני המודרני: מחלום מרחיק לכת על תנועה במימד אפס (nil-teleportation) עד לרעיונו של גנריך אלטוב שנמצא בגבול פרוייקט הנדסי, על חומר פרומגנטי דינמי (a dynamic ferro-material). מדע בדיוני בהישגיו הגדולים ביותר באמת מסוגל לחזות בהצלחה רעיונות מדעים וטכנולגיים עתידיים.

כמה שזה לא פרדוקסלי, סמ”בים טועים לעתים קרובות יותר, כאשר משתמשים ביצירותיהם ברעיונות מדעיים וטכנולוגיים אמיתיים של זמנם. הנה דוגמה. בשנת 1946 אסטרונומים טרם ידעו שכוכבים ניטרוניים קיימים, עד גילוי הפולסרים נשארו יותר מ-20 שנים. אולם כבר חלפו 12 שנים אחרי פירסום העבודה של באדה וצוויקי, אשר בה נאמר שכוכבים ניטרוניים חייבים להיווצר כתוצאה מהתפוצצויות של סופרנובות. וחלפו 8 שנים אחרי פירסום העבודה של אופנהיימר וולקוב, אשר המבנה הפנימי של כוכבים אלה תואר בה. הדעה הרווחת הייתה שכל הכוכבים בסופו של דבר הופכים לננסים לבנים. בדיוק בשנת 1946 ראה אור סיפורו של ליינסטר “מגע ראשון” על מפגש חללית מכדה”א עם חללית של חוצונים, הטסה ממעמקיה של גלקסייה. המפגש מתקיים בערפלית העקרב קרוב לכוכבה המרכזי. על פי תפיסות מדעיות של אותה עת זה היה ננס לבן. על פי הנתונים המודרניים שברשותינו זהו כוכב ניטרוני. סמ”ב השתמש בדעה רווחת בסיפור וטעה. הטעות של דור שלם של אסטרונומים מזמן נשכחה, הסיפור “מגע ראשון” עדיין נקרא ומוכנס לאוספים.

דוגמה אחרת היא חיים על מאדים. אחרי שסקיאפרלי “גילה” תעלות על מאדים ולוול יחס יצירתן לתושבי המאדים, הנטייה היתה להשליך בצורה אנלוגית ישירות בין עולם החי והצומח של מאדים לכדה”א. במסגרת הרעיון הזה הוסברו שינוים עונתיים של כיסויי קטבים, צורתן של תעלות, צבע היבשות וכו’. יתרה מזאת, נוצרה אסטרובוטניקה, אשר מדען סובייטי טיחוב פיתח אותה.

במסגרת הרעיון הזה עבדו גם סמ”בים, החל מויליאם ס. בורוז. הרעון נראה כנושא פרי גם כצורה אומנותית (ניזכר ב”אאליטה” של א. טולסטוי!). מכושפים על ידי צורתיות של התעלות, סמ”בים לא ראו צורך בחיזוי צורת חיים אחרת, שונה משלנו על מאדים. התעלות נתפסו כראיה מדעית אותה אי אפשר לעקוף. האשליה הוסרה ישר אחרי הטיסות הראשונות של חלליות. מאות יצירות על אנשי מאדים מייד התיישנו והפכו לשמש כתזכורת נצחית על טעויות.

כמובן, אפילו מענף התחזיתי של מדע בדיוני אי אפשר לדרוש תחזיות של תגליות מדיות עתידיות (על אף שישנן דוגמאות כאלו במדע בדיוני כלל עולמי). קודם כל, סמ”בים חוקרים יעדים, אשר ניצבים לפני חברה, עורכים ניסוים מחשבתיים, מנתחים אפשרויות השגה של מטרות שהוצבו ותוצאות אפשריות. הקורא מצידו (כולל גם ממציא או מדען) מקבל לעתים קרובות לא רמז עבה, אלא לומד לחפש דרכים לא טריוויאליות לפתרון בעיות מדעיות וטכנולוגיות.

מדע בדיוני עם התכונה הזו שלו נתפס כשטח אש מחשבתי, שבו נבדקים להשרדותם  לא רעיונות מסורתיים, אלא רעיונות “מטורפים” לעתים, היפוטזות וקונספטים של מדע וטכנולוגיה. שטח האש הזה מהווה הזדמנות נדירה לדמיין בבירור תוצאות חברתיות, פסיכולוגיות ואטיות של רעיונות חדשים. ניבוים מדע בדיוניים מאפשרים להבין תכופות יותר, כיצד תשפיע נטייה כזו או אחרת של התפתחות רעיון מדעי-טכנולוגי על חיי בני אדם, מאשר תחזית מדעית-טכנולוגית. הניבוים מאפשרים למשוך תשומת לב החברה לתוצאות חיוביות ושליליות אפשריות.

באיזה אופן אם כך, נוצר רעיון מדעי-טכנולוגי חדש? ברב המקרים כתוצאה של הארה “פשוטה” בעקבות הירהורי המחבר בבעייה כזו או אחרת. אולם, ניתוח רעיונות מדעים-טכנולוגיים קיימים מאפשר למצוא סידרת כללים ושיטות הנדסת רעיונות מדע בדיוניים. אנחנו עוברים לתיאור עקרונות הנדסה שכזאת.

מייד צריך להדגיש: שליטה בשיטות הללו כלל לא מחליפה תהליך מחשבתי, לא הופכת אותו לאוטומטי. הדרך עדיין ארוכה עד ליוצר אוטומטי של רעיונות, כמו גם עד למכונת ההמצאות. העיקר מה שנותן לימוד שיטות של הנדסת רעיונות הוא ייצור השקפת עולם מקורית. כמובן, צריך להכיר מדע וטכנולוגיה, פילוסופיה ופסיכולוגיה. מוטב להכיר גם במדע בדיוני ובתולדותיו.

Creativity explained

Hello everybody,

In summary this post is about creativity and whether or not it can be developed. That`s define ‘creativity’ as an ability to propose novel ideas, ways of doing things, new approaches to tackling everyday issues.

It is natural to ask whether creativity can be developed or is it an inborn gift that is present or not. To spare debates let’s assume that creativity though inborn to some extent can be developed by exercise and practice. This is a topic for research on its own but everyday experiences corroborate our assumption.

Here comes the question:

Have it happened to you to feel the feeling of being not the silliest person in the world but at times when there was a need to create some novel idea, image it was pretty hard to do it? Good example of this is drawing exercise when there is a need to draw on free topic. It may be somewhat painful experience since good ideas do not seem to come out.

I felt this too until in about 2005 I came across very interesting article on hard science-fiction and how it is written by Pavel Amnuel a science-fiction writer and physicist. His approach to science-fiction was unconventional. He wrote about scientific ideas as a core for any serious Sci-Fi writing. The article talked about levels in Sci-Fi ideas and methods of developing creative thinking by reading Sci-Fi and analyzing underlying ideas and trying to develop them if possible. Amnuel also mentioned well known Soviet Sci-Fi writer Genrikh Altov who had influenced him a lot and was his friend and teacher. It is thanks to Altov influences that Amnuel started to work on a Manual for developing creative imagination.

Well. What hard science-fiction has to do with creativity you may ask? And the answer is that there is a direct link between them. As you may testify yourself Sci-Fi has an ability to expand and develop our imagination by letting us imagine worlds that are non-existent. But to gain the most of it this process may be guided instead of been spontaneous during reading.

There are a number of well known methods or approaches to developing creativity if you will. Certainly you’ve already heard about brainstorming the method that facilitates generation of ideas by group of people. This method was popularized by Alex Faickney Osborn in the 1963 book Applied Imagination. About the same time period Synectics came to scene. Its three assumptions according to its inventor  William J.J. Gordon are

  • The creative process can be described and taught;
  • Invention processes in arts and sciences are analogous and are driven by the same “psychic” processes;
  • Individual and group creativity are analogous. (taken from Wikipedia)

Edvard De Bono‘s method of hats that described in his book Six Thinking Hats  is worth mentioning too. It is about thinking of problems while wearing different hats that symbolize different mindsets.

But let’s return to the beginning of the post and mentioned earlier creativity development by elaborating on science fiction ideas. I personally find this approach most interesting and engaging.

OK. What literature we may find on the subject. It happened that Genrikh Altshuller (pen-name Altov) in addition to being a Sci-Fi writer was also an inventor of a methodology or Theory of inventive problems solving (TRIZ) or ТРИЗ in Russian. This methodology description deserves post on its own but for now it is sufficient to know that Development of creative imagination is an integral part of it.

If this information is of interest to you, you may find additional information in following books. Some of them in Russian, English and Hebrew.

This one is for free and is a bit of self-promotion

And following are books that you may find as a very good reading at least

 

Java Code Geeks