Создаем виртуальную машину для Data Science

Виртуальная машина для Data Science доступна в облаке в виде шаблона. Вы можете развернуть ее в своем виртуальном дата-центре по инструкции:

1. В интерфейсе vCloud Director выберите создание новой виртуальной машины - New VM. Подробная инструкция по созданию здесь.

 

2. Создаем ВМ на базе шаблона Ubuntu-18_dsvm_20G. Кликаем дважды на созданную виртуальную машину.

 

3. Добавляем  сетевую карту. Для этого переходим в раздел NICs и выбираем Edit.

 

4. Выбираем сетевую карту.

 

5. Выключаем ВМ, затем через выбор меню All Actions включаем с рекастомизацией.

 

6. Запускаем ВМ. Заходим в консоль ВМ и убеждаемся, что все работает.

7. Меняем пароль пользователя ubuntu (по умолчанию ZbnSz4qaspL4h).

 

8. С помощью команды

ip addr

узнаем, какой IP-адрес получила ВМ.

9. Переходим к настройкам NSX Edge. Заходим в раздел Networking-Edge Gateways

 

10. Заходим на NSX Edge и переходим во вкладку Services

 

11. Прописываем правила DNAT для доступа к ВМ из интернета:

  • Original IP – ваш белый IP-адрес, Translated IP – адрес ВМ  (внутренний адрес ВМ, который вы посмотрели в команде ip addr).
  • Original Port – это порт, который будет виден из интернета, Translated Port – это порт, на который мы будем приходить на виртуальную машину.

Прописываем 8888 (собственно, Jupyter).

 

Затем аналогичным образом настраиваем порт 22 (ssh). Убедитесь, что он свободен. Если он занят, в этом случае выберите другой внешний порт, например, 2222.

Подробнее о настройке NAT читайте здесь.

 

12. Подключаемся к ВМ по ssh.

 

13. Обновите ОС  и все пакеты для рабочего места аналитика с помощью команд:

sudo apt update
sudo apt upgrade
conda update--all

14. После этого вы сможете запустить Jupyter Lab

jupyter lab --no-browser --ip 192.168.1.108

(поменяйте в этой строке IP-адрес на ваш внутренний IP-адрес ВМ)

Вы увидите строчки:

 

Все работает, осталось подключиться браузером.

15. Со своего компьютера подключаетесь браузером по такой ссылке:

https://ваш-белый-ип-адрес:8888/lab?token=скопированный_из_ВМ_токен

в нашем примере ссылка будет следующая:

http://192.168.1.108:8888.lab?token=4c80b0f00e61b03ff09уe69e91fe862ce8b3cba7aс2dce98с

Обратите внимание: при каждом запуске Jupyter токен будет новый!

16. В браузере откроется Jupyter Lab.

 

Все, нажимаем на кнопку Notebook – Python 3 – и в бой!

Проверить, что все хорошо, и посмотреть простой пример тренировки нейронной сети предлагаю на примере классификации изображений, доступном по адресу:

https://raw.githubusercontent.com/tensorflow/docs/master/site/en/tutorials/keras/classification.ipynb

17. Скачиваем его на локальный компьютер (wget или чем вам удобнее), далее загружаем в Jupyter Lab и открываем. После чего кнопкой play идем по шагам этой программы на Python.

 

После каждого шага будет появляться результат его исполнения. Например, вот так будет проходить собственно обучение модели:

 

Как видим, модель неплохо научилась соотносить рисунок одежды с тем или иным классом, ошиблась только с кроссовком.

 

Теперь у вас есть рабочее место аналитика. ВМ уже расположена на ваших ресурсах, в вашей сети. Это значит, что можно работать с вашими боевыми данными, пробовать применять на них современные методы анализа.

Телеграм канал
Салатовая телега
Полезные статьи и анонсы бесплатных вебинаров про дата-центры, облака, ИБ и телеком