Аляксей Северын. "Нейронными сетями не занимается только ленивый", ч. 1/2
Сёння мы размаўляем з Аляксеем Северыным, хлопцам з Беларусі, які займаецца камп’ютарнай лінгвістыкай.
Прывітанне, Леша. Калі ласка, раскажы пра сябе, пра асноўныя этапы развіцця ў галіне: з чаго пачыналася, як з’явілася цікаўнасць увогуле?
В общем, мой путь был, наверное, не похож на путь многих. Меня всегда интересовала физика. Я учился в лицее БГУ на физике и потом поступил на радиофизику, потом я пошел работать в компанию в Минске, она называлась ScienceSoft. У ScienceSoft была дочерняя компания, которая называлась Nilitis. Она занималась разработкой систем автоматической торговли.
Магчыма працаваў з Цурікавым?
Да, он был моим руководителем, и меня хорошо знает. У меня там быстро сложилось карьера, и мне все нравилось, но решил, что мне нужно прокачаться в machine learning (ML). На тот момент в Беларуси программ таких было немного, может совсем чуть-чуть в БГУ на ФПМИ, определенные аспекты там затрагивали. Сложилась так, что, еще до того как я пошел работать в Nilitis, я подал заявки в несколько университетов на различные программы, и одна из них была связана с ML. Это то, что мне было интересно. Я подумал, почему бы мне не прокачаться в ML, год или два поучиться и вернуться уже с совсем другим багажом знаний и умений. Потому что как раз то, над чем я начал работу в Nilitis, было Support Vector Machine (SVM). Это было еще все очень новое и интересное. Поэтому я поехал по программе Erasmus Mundus. Первый год был в Италии, в Тренто, а второй год в Бонне, Германия. Программа была computer science, data science, но была достаточно большая возможность выбирать курсы по ML. Мне это понравилось, я закончил первый год в Тренто, и не закончив master degree, сразу переключился на PhD. Мой advisor, Alessandro Moschitti. Он меня заприметил на своем курсе и предложил после магистратуры присоединиться к его группе на время PhD. В тот момент я встретил свою будущую жену, как раз в Тренто, и я не захотел уезжать в Бонн, таким образом у меня возникла возможность сразу переключиться на PhD, чего я никогда не планировал. У меня не было интереса к академической карьере, но, тем не менее, я начал делать PhD по ML и мне это стало нравиться.
Якая была тэма?
Я занимался разработкой моделей, в которых необходимость feature engineering сводилась к минимуму. Мы использовали kernel functions, потому что это было основное направление исследования моего профессора. Он в этом эксперт. Я работал над проектом IBM Watson.
Што ты маеш на ўвазе “працаваў”?
У профессора было сотрудничество с исследователями из IBM Watson. Мы пытались использовать технологии Tree Kernel Functions, SVM для проекта, чтобы добавить один из сигналов в их систему ранжирования. Поскольку, в принципе, специфика тех вопросов, с которыми они работают, достаточно сильно зависит от синтаксиса, то этот сигнал оказался очень полезным. И он освобождал от необходимости вручную извлекать эти features, придумывать, какие из них должны работать, потому что, фактически, feature space бесконечен. Это то, чем я занимался в первые несколько лет, и потом уже переключился на нейронные сети, deep learning.
Это был последний год, но на тот момент я уже созрел как исследователь, то есть мне уже руководство не было необходимо, мог заниматься этим направлением самостоятельно.
Атрымоўваецца, што ты пачаў прымяняць DL да тых задач, якія былі дагэтуль?
Две основные задачи, которые меня интересовали на тот момент – это sentiment analysis и question answering (QA). И, фактически, я построил две системы, которые в то время стали state-of-the-art. Я победил в конкурсе по sentiment analysis на Semeval 2015. Моя модель была на первом месте и по question answering у нас получились топовые результаты по стандартному benchmark.
Гэта быў community question answering ці open domain?
Это была задача factoid question answering.
Пасля чатырох год у Італіі, у 2015 годзе ты пачаў працаваць у кампаніі Google, на якой пазіцыі? Якія задачы былі пад тваей адказнасцю?
На позиции research scientist. Я работаю над системой следующего типа. Например, если ты в гугл задаешь вопрос “Ok, Google, why is the sky blue?”. Ты получаешь ответ. Я работаю над системой question answering и моя задача – делать summarization ответов, которые воспроизводятся голосом. Потому что, когда ты видишь ответ на экране, ты его можешь прочитать быстро. Но, когда ты вынужден его слушать, чем длиннее ответ, тем сложнее его слушать.
Атрымоўваецца, што тут есць дзьве часткі задачы, за якія ты адказны – вылучэнне пытання і summary.
Нет, я отвечаю за часть по summary. Система большая и сложная, там куча всяких разных сигналов.
Якім чынам адрозніваецца text summarization ад voice-based summarization?
Они ничем не отличаются. Ты саммаризируешь текст, который потом подается на вход text-to-speech системе.
Ці есць афіцыйныя benchmarks ці нейкія baselines, community tasks на Semeval?
По этой задаче – нет. По question answering summarization, насколько я знаю, нет в академии. Есть много benchmarks по summarization в целом и есть много различных типов summarization: document level summarization, sentence level summarization. Но в question answering summarization сложность состоит в том, что тебе нужно сделать summarization таким образом, чтобы ты сохранял ответ, то есть не потерял суть. Например, ты задаешь вопрос и хочешь сжать ответ, но таким образом, чтобы смысл ответа остался.
У другой часцы размовы мы закранем бачанне бліжэйшай будучыні і абсудзім некаторыя парады для маладых даследчыкаў.
Крыніцы здымкаў [1], [2]
Author: @yauhen_info for @nlprocby