Zapowiedź – 87. Spotkanie [ONLINE] – Regularizing and distilling knowledge nicely with TensorFlow Datasets

Serdecznie zapraszamy do uczestnictwa ONLINE w 87. spotkaniu grupy MLGdańsk.

Spotkanie odbędzie w poniedziałek 1 czerwca 2020, o 18.00.

Prelegentem będzie Krzysztof Czuszyński (Solwit)

Temat prelekcji to: Regularizing and distilling knowledge nicely with TensorFlow Datasets

Kilka słów od Prelegenta:

Prevention of overfitting for image classifiers can be done in a variety of ways. One of the methods – ranking regularizer – requires satisfaction of some conditions of mini batch content as it is based on triplet loss mining strategies.

Other important DL technique applicable also in image analysis models, that will be discussed briefly, refers to guided training of small footprint models, based on knowledge learned by larger teacher models. Comfortable handling of both cases will be presented utilizing tf.data.Dataset API.

Link do konferencji Skype:
https://join.skype.com/hfRPAGl6ENhE

Serdecznie zapraszamy!

86. spotkanie MLGdańsk – Deep learning behind chatbots and automatic answering systems

Na 86 spotkaniu MLGdańsk mieliśmy okazję wysłuchać prelekcji Aleksandra Obuchowskiego (SentiOne) pod tytułem „Deep Learning behind chatbots and automatic answering systems„.

W swojej prezentacji Aleksander przedstawił podstawy działania chatbotów. Głównym wątkiem prezentacji był jednak przegląd modeli i techniki stosowanych w różnych zadaniach NLP.

Prezentacja rozpoczęła się od przeglądu klasycznych już metod tworzenia reprezentacji tekstów – CBOW, SkipGram, Fasttext.

Następnie omówione zostały architektury sieci neuronowych stosowanych w zadaniach NLP – m.in. LSTM, BiLSTM, BiLSTM + CRF (ang. Conditional Random Field). Bardzo interesującą częścią prezentacji było przedstawienie współczesnych architektur bazujących na transformerach oraz mechanizmach atencji.

Aleksander omówił również model oparty na połączeniu transformerów i kapsuł, którego jest współautorem. Model oraz obiecujące wyniki eksperymentów zostały zaprezentowane na 34th AAAI Conference on AI w lutym 2020.

Na sam koniec, prelegent opowiedział nam o metodach pre-trenowania sieci neuronowych w NLP oraz ich późniejszym użyciu. W tej części omówiono modele/biblioteki Flair, ELMO, BERT, USE.

Prezentacja ze spotkania dostępna jest pod linkiem:
MLGdańsk86 – Aleksander Obuchowski – Deep Learning behind chatbots and answering systems
oraz na naszym GitHubie.

Jako uzupełnienie prelekcji polecamy również:


Serdecznie zapraszamy na kolejne spotkania MLGdańsk!

Zapowiedź – 86. Spotkanie [ONLINE] – Deep learning behind chatbots and automatic answering systems

Przenosimy nasze najbliższe spotkania do sieci.
Serdecznie zapraszamy do uczestnictwa online w 86. spotkaniu grupy MLGdańsk. #zostańwdomu

Spotkanie odbędzie w poniedziałek 18 maja 2020, o 18.00.

Prelegentem będzie Aleksander Obuchowski z firmy SentiOne.

Temat spotkania to: Deep learning behind chatbots and automatic answering systems

Agenda:

  1. Wprowadzenie do chatbotów
  2. Analiza wektorów zanurzeń słów
  3. Architektury sieci neuronowych w NLP
  4. Metody pre-trenowania sieci neuronowych w NLP

Link do konferencji Skype:
https://join.skype.com/fci02LdwbbiS

Serdecznie zapraszamy!