Tomáš Mikolov
Ing. Tomáš Mikolov, Ph.D. | |
---|---|
![]() Tomáš Mikolov (2020) | |
Narození | 8. října 1982 (41 let) Šumperk |
Bydliště | Mountain View |
Vzdělání | Vysoké učení technické v Brně |
Alma mater | Vysoké učení technické v Brně |
Povolání | výzkumník AI |
Zaměstnavatelé | Meta Platforms (od 2014) |
Ocenění | Cena Neuron za významný vědecký objev (2018) |
![]() | |
Některá data mohou pocházet z datové položky. |
Tomáš Mikolov (* 8. října 1982 Šumperk) je český vědec v oboru umělé inteligence. Roku 2018 obdržel Cenu Neuron za excelenci ve vědě.[1] Svým programem Word2Vec[2] podstatně zlepšil výkonnost strojových překladačů.
Život
Tomáš Mikolov se od osmi let zabýval programováním a v deseti letech se zúčastnil matematické olympiády s vlastním počítačovým programem. Vystudoval Fakultu informačních technologií Vysokého učení technického v Brně. Jako diplomovou práci obhájil jazykové modelování pomocí neuronových sítí v řečové skupině na VUT. Nalezl novou metodu překladu jazyka převedením slov do číselných vektorů a podařilo se mu tak zvýšit výkonnost překladačů až desetitisíckrát.
Roku 2010 absolvoval stáž na Johns Hopkins University u Freddy Jelinka, který v 70. a 80. letech pracoval pro IBM a je považován za průkopníka statistických modelů pro rozpoznávání řeči. Mikolov jako první dokázal úspěšně využít rekurentní neuronové sítě, které dokážou lépe pracovat s reprezentací slov. Svou práci prezentoval na konferencích a na pětiměsíční stáži v Montréalu u Yoshuy Bengia, známého počítačového vědce a odborníka na umělou inteligenci a hloubkové učení. Jako hostující vědec dostal nabídku na stáž z týmu Microsoft Research[3] a odtud byl přijat do skupiny Google Brain, kde pomocí neuronových jazykových modelů významně zlepšil a zrychlil práci překladače Google Translate.[4] (Oprava Word2Vec byl jeden z úspěšných projektů na počet reprezentací slov, ale to nebyl projekt, který zlepšil překladač viz https://www.youtube.com/watch?v=0i3OpulG8VQ )
Podařilo se mu přesvědčit vedoucího týmu Google Brain Jeffa Deana, aby Google tento program vydal jako svůj první open source machine learning program.[5][6] Publikace Tomáše Mikolova z roku 2013 patří k nejcitovanějším v oboru (Distributed Representations of Words and Phrases and their Compositionality, 18 571 citací, Efficient estimation of word representations in vector space, 14 573 citací).[7]
Od roku 2014 pracuje v týmu Facebook AI Research (FAIR) v Silicon Valley a v New Yorku[7] a zabývá se využitím umělé inteligence. Úkolem FAIR týmu je přinést přelomový objev v rámci AI, ale pracuje i na vylepšení produktů Facebooku, jako je filtrování spamu nebo označování nevhodných zpráv na základě obsahu. Tomáš Mikolov rozšířením svého Word2Vec vytvořil obecný toolkit fastText, který se stal jedním z nejúspěšnějších open source projektů Facebooku.
Od roku 2020 Tomáš Mikolov buduje vlastní výzkumný tým na Českém institutu informatiky, robotiky a kybernetiky (CIIRC) ČVUT v Praze. Roku 2019 získali jeho spolupracovníci Hugo Cisneros a Josef Šivic za příspěvek Evolving Structures in Complex Systems cenu Best Student Paper na Symposiu IEEE Artificial Life v Xiamen.[8]
Publikace (výběr)
- T. Mikolov. Language Modeling for Speech Recognition in Czech, Masters thesis, Brno University of Technology, 2007
- T. Mikolov, J. Kopecky, L. Burget, O. Glembek, J. Černocký. Neural network based language models for higly inflective languages, In: Proc. ICASSP 2009
- T. Mikolov, M. Karafiat, L. Burget, J. Černocký, S. Khudanpur. Recurrent neural network based language model, In: Proceedings of Interspeech, 2010
- T. Mikolov, S. Kombrink, L. Burget, J. Černocký, S. Khudanpur. Extensions of recurrent neural network language model, In: Proceedings of ICASSP 2011
- T. Mikolov, A. Deoras, S. Kombrink, L. Burget, J. Černocký. Empirical Evaluation and Combination of Advanced Language Modeling Techniques, In: Proceedings of Interspeech, 2011.
- T. Mikolov, A. Deoras, D. Povey, L. Burget, J. Černocký. Strategies for Training Large Scale Neural Network Language Models, In: Proc. Automatic Speech Recognition and Understanding, 2011.
- T. Mikolov. Statistical Language Models based on Neural Networks. PhD thesis, Brno University of Technology, 2012
- T. Mikolov, W.T. Yih, G. Zweig. Linguistic Regularities in Continuous Space Word Representations. NAACL HLT 2013
- T. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J. Dean. Distributed Representations of Words and Phrases and their Compositionality. Neural information processing systems 2013
- Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, Efficient Estimation of Word Representations in Vector Space, 2013, arXiv:1301.3781
- T Mikolov, I Sutskever, K Chen, GS Corrado, J Dean - Advances in neural information processing systems, 2013
- Q Le, T Mikolov, Distributed representations of sentences and documents, International conference on machine learning, 2014, pp. 1188-1196
- T Mikolov, A Joulin, S Chopra, M Mathieu, MA Ranzato, Learning longer memory in recurrent neural networks, arXiv 2014, preprint arXiv:1412.7753
- A Joulin, T Mikolov, Inferring algorithmic patterns with stack-augmented recurrent nets, Advances in neural information processing systems, 2015, pp. 190-198
- Jason Weston, Antoine Bordes, Sumit Chopra, Alexander M. Rush, Bart van Merriënboer, Armand Joulin, Tomas Mikolov, Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks, arXiv 2015
- A Joulin, E Grave, P Bojanowski, T Mikolov, Bag of tricks for efficient text classification, arXiv 2016, preprint arXiv:1607.01759
- T Mikolov, A Joulin, M Baroni, A roadmap towards machine intelligence, International Conference on Intelligent Text Processing and Computational …, 2016
- W Zaremba, T Mikolov, A Joulin, R Fergus, Learning simple algorithms from examples, International Conference on Machine Learning, 2016, pp. 421-429
- P Bojanowski, E Grave, A Joulin, T Mikolov, Enriching word vectors with subword information, Transactions of the Association for Computational Linguistics 5, 2017, pp. 135-146
- T Mikolov, E Grave, P Bojanowski, C Puhrsch, A Joulin, Advances in pre-training distributed word representations, arXiv 2017 preprint arXiv:1712.09405
- E Grave, P Bojanowski, P Gupta, A Joulin, T Mikolov, Learning word vectors for 157 languages, arXiv 2018, preprint arXiv:1802.06893
- A Joulin, P Bojanowski, T Mikolov, H Jégou, E Grave, Loss in translation: Learning bilingual word mapping with a retrieval criterion, arXiv 2018, preprint arXiv:1804.07745
- Hugo Cisneros, Josef Sivic, Tomas Mikolov, Evolving Structures in Complex Systems, Proceedings of the 2019 IEEE Symposium Series on Computational Intelligence
Reference
- ↑ Miloš Čermák: Tomáš Mikolov, Hospodářské noviny, 30.11.2018
- ↑ A Beginner's Guide to Word2Vec and Neural Word Embeddings, Pathmind
- ↑ Microsoft GitHub: Tomas Mikolov speedup & bugfix in word2phrase
- ↑ Google Scholar: Tomas Mikolov, Senior Researcher, CIIRC CTU
- ↑ Google code archive: word2vec
- ↑ A.I.Wiki: A Beginner's Guide to Word2Vec and Neural Word Embeddings
- ↑ a b Tomas Mikolov, Research scientist, Facebook
- ↑ Cenu na konferenci IEEE Alife 2019 získali Hugo Cisneros, Josef Šivic a Tomáš Mikolov z CIIRC ČVUT, 16.12.2019
Externí odkazy
Obrázky, zvuky či videa k tématu Tomáš Mikolov na Wikimedia Commons
- GitHub: tmikolov/word2vec
- Wikipedia2Vec Demonstration
- Rozhovor s Tomášem Mikolovem, absolventem FIT, v časopisu Forbes, 22.3.2018
- Rozhovor s Tomášem Mikolovem o umělé inteligenci a práci v big tech firmách, Seznam Zprávy, 2021
- Google Scholar, Tomas Mikolov, Senior Researcher, CIIRC CTU, Citations
- Hyde Park Civilizace: Tomáš Mikolov, ČT, 15.2.2020
- Umělá inteligence, Fokus VM, ČT