Spotkanie MLGdańsk #96 odbyło się 30.11.2020 r. #mlgdansk
Amadeusz Lisiecki, na co dzień pracujący w firmie Roche jako “MLOps Engineer” oraz działający w Hackerspace Pomorze przybliżył nam co kryje się pod zagadkowym akronimem MLOps. #mlops #machinelearning
Tytuł prelekcji Amadeusza to: „MLOps: Data Science End-to-End”.
MLOps to zbiór dobrych praktyk i narzędzi stosowanych w tworzeniu systemów informatycznych wykorzystujących uczenie maszynowe. Metodyka powstała na wzór popularnej obecnie oraz sprawdzonej metodyki DevOps.
Tworzenie jak i utrzymywanie rozwiązań software’owych używających metod uczenia maszynowego różni się od tworzenia standardowych produktów informatycznych.
Opracowanie takich systemów wiąże się z wyzwaniami w sposobie ich wdrażania, monitorowania i utrzymywania. Typowymi problemami w cyklu ich życia są: reprodukowalność eksperymentów, trenowanie modeli, wydajne serwowanie modeli na produkcji. Wskazane jest oczywiście wdrożenie CI/CD oraz specyficznego dla MLOps procesu CT – continuous training.
Amadeusz poruszył te zagadnienia w swojej prelekcji. Przedstawił zarys metodyk MLOps oraz opisał pomocne narzędzia.
Pierwszym z przedstawionych narzędzi było Kedro, które umożliwia tworzenie wygodnych pipelinów dla zadań ML. Framework Kedro powstał w Pythonie, dobrze współpracuje z notatnikami Jupyter oraz zawiera przydatne abstrakcje wspomagające tworzenie różnych wariantów eksperymentów i modeli.
Na koniec Amadeusza przedstawił Kubeflow, czyli zestaw narzędzi dedykowanych uczeniu maszynowemu dla Kubernetesa. Kubeflow znacznie upraszcza pracę ze złożonymi pipelinami w systemach ML, oraz umożliwia łatwe skalowanie systemów.
Prezentacja ze spotkania dostępna po tym linkiem.
Nagranie ze spotkania:
??https://www.youtube.com/watch?v=I7v9pl702Wo&feature=youtu.be
Dodatkowe materiały:
- Kedro – https://github.com/quantumblacklabs/kedro
- Kubeflow – https://www.kubeflow.org/
- MLOps według Google – https://cloud.google.com/solutions/machine-learning/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
- Hackerspace Pomorze – https://hsp.sh/