Zainteresowa\u0142o mnie jedno zdanie:<\/p>\n
“In addition to the features listed below, JetPack 4.2.1 also introduced two beta features: NVIDIA Container Runtime with Docker integration and TensorRT support for INT-8 DLA operations.”<\/p>\n
<\/p>\n
Obraz zajmuje ok 5GB. Po rozpakowaniu pliku nagra\u0142em go na kart\u0119 za pomoc\u0105 programu Balena Etcher.<\/a><\/p>\n Po zako\u0144czeniu wgrywania obrazu na kart\u0119 microSD nadszed\u0142 czas na uruchomienie oprogramowania.<\/p>\n Po pierwszym uruchomieniu systemu Ubuntu nadszed\u0142 czas na konfiguracj\u0119<\/p>\n Przy okazji warto zaktualizowa\u0107 czas systemowy<\/p>\n Jak wida\u0107 silnik konteneryzacji (Docker) jest ju\u017c zainstalowany, ale do sprawnego dzia\u0142anie b\u0119dziemy musieli zaktualizowa\u0107 jego wersj\u0119 (do wersji 19.03 w momencie pisania tego artyku\u0142u).<\/p>\n W razie problem\u00f3w z DNS nale\u017cy do pliku \/etc\/systemd\/resolved.conf<\/strong> doda\u0107 g\u0142\u00f3wny DNS Google lub preferowany inny<\/p>\n Za\u0142o\u017cy\u0142em, \u017ce wszelkie kompilacje oprogramowania wykonam na \u015brodowisku natywnym (Jetson Nano).<\/p>\n W tym momencie warto doda\u0107 plik wymiany, gdy\u017c wolna pami\u0119\u0107 4GB mo\u017ce si\u0119 okaza\u0107 chwilami zasobem zanikaj\u0105cym.<\/p>\n Dokonujemy aktualizacji silnika Docker<\/p>\n Po zako\u0144czeniu instalacji mamy ju\u017c wersj\u0119 19.03<\/p>\n <\/p>\n <\/p>\n Nale\u017cy uzbroi\u0107 si\u0119 w cierpliwo\u015b\u0107, budowa jednego obrazu to co najmniej godzina czasu. Mo\u017ce si\u0119 to wydawa\u0107 d\u0142ugim czasem, ale jeden z wpis\u00f3w na blogu, kt\u00f3ry przeczyta\u0142em o walkach autora z instalacj\u0105 Tensorflow 2.0 doprowadzi\u0142 do jedynego s\u0142usznego wniosku, \u017ce taki spos\u00f3b rozwoju oprogramowania to droga donik\u0105d.<\/p>\n Note this script would take a very long time (~40 hours) to run<\/a>.<\/em><\/p>\n To by\u0142a dodatkowa motywacja, by przygotowa\u0107 raz, a dobrze podstawowe zbiory pakiet\u00f3w dla uczenia maszynowego, czy nawet uczenia g\u0142\u0119bokiego z wykorzystaniem GPU. Wyobra\u017amy sobie, \u017ce karta SD, na kt\u00f3rej uruchamiamy system operacyjny ulega uszkodzeniu, co wtedy, kolejne godziny kompilacji? Co jest wa\u017cniejsze, trenowanie i rozbudowa modelu, czy wieczna konfiguracja i instalacja?\u00a0 I o tym jest poni\u017csza opowie\u015b\u0107.<\/p>\n <\/p>\n Dla os\u00f3b, kt\u00f3re chc\u0105 zamiast wykonywania polece\u0144 z poziomu linii komend wykorzysta\u0107 interfejs w przegl\u0105darce polecam instalacj\u0119 Portainera.<\/p>\n Mo\u017cna pobra\u0107 gotowy obraz Portainera<\/p>\n Aplikacja uruchomiona zostanie na porcie 9000 hosta, je\u015bli chcemy korzysta\u0107 z naszego laptopa mo\u017cna forwardowa\u0107 port 9000 przy konfiguracji \u0142\u0105cza SSH.<\/p>\n <\/p>\n Po utworzeniu konta administratorskiego wraz z has\u0142em\u00a0 i zalogowaniu si\u0119 nale\u017cy pod\u0142\u0105czy\u0107 si\u0119 do lokalnego silnika Dockera.<\/p>\n Od tego momentu wszystkie podane ni\u017cej operacje b\u0119dzie mo\u017cna wykona\u0107 z poziomu przegl\u0105darki.\u00a0 Przyk\u0142adowy tutorial mo\u017cna znale\u017a\u0107 np. tutaj:<\/p>\n ubuntu-docker-portainer<\/a><\/p>\n W tym momencie warto zrobi\u0107 forwardowanie dla portu 8888, kt\u00f3ry b\u0119dzie wykorzystywany przez Jupyter Lab\/Notebook. W popularnym kliencie SSH Putty wygl\u0105da to tak:<\/p>\n <\/p>\n Zaczynamy w\u0142a\u015bciw\u0105 zabaw\u0119.<\/p>\n Pobieramy bazowy obraz z repozytorium NVidia<\/p>\n Jest to przygotowane oprogramowanie dobrze wsp\u00f3\u0142pracuj\u0105ce z architektur\u0105 ARM 64-bit i procesorami GPU serii Tegra.<\/p>\n Prace na nowo uruchomionym systemie operacyjnym mo\u017cemy rozpocz\u0105\u0107 od sklonowania repozytorium:<\/p>\n Kod znajduje si\u0119 w podkatalogu ml-containers<\/strong><\/p>\n Postanowi\u0142em przygotowa\u0107 trzy obrazy zawieraj\u0105ce r\u00f3\u017cne grupy oprogramowania do uczenia maszynowego:<\/p>\n 1) Scikit-learn, ale tu nie b\u0119dzie wsparcia GPU zgodnie z:<\/p>\n https:\/\/scikit-learn.org\/stable\/faq.html<\/a><\/p>\n 2) Tensorflow plus Keras z obs\u0142ug\u0105 GPU<\/p>\n 3) Pytorch z obs\u0142ug\u0105 GPU.<\/p>\n Dodatkowo rozszerzy\u0142em te obrazy o najbardziej popularne pakiety (scipy,numpy, pandas, folium, matplotlib, seaborn), ten wyb\u00f3r jest autorski i wynika z do\u015bwiadcze\u0144 typowego wykorzystywana dodatkowych pakiet\u00f3w do wst\u0119pnego przetwarzania danych wej\u015bciowych i ich wizualizacji.<\/p>\n Ka\u017cdy z tych obraz\u00f3w mo\u017cna b\u0119dzie dodatkowo rozszerzy\u0107 o instalacj\u0119 Jupyter Notebook i Jupyter Lab.<\/p>\n Wszystkie obrazy zostan\u0105 umieszczone publicznym repozytorium Docker Hub.<\/p>\n Skrypty buduj\u0105ce i zawarto\u015b\u0107 Dockerfile oraz przyk\u0142adowe pliki Pythona czy notatniki Jupytera umie\u015bci\u0142em\u00a0 w repozytorium Githuba. Kod b\u0119dzie sukcesywnie rozwijany. Licz\u0119 na konstruktywne uwagi.<\/p>\n https:\/\/github.com\/djkormo\/jetson-nano\/tree\/master\/ml-containers<\/a><\/p>\n <\/p>\n Dla ka\u017cdego z obraz\u00f3w przygotowa\u0142em podkatalog zawieraj\u0105ce przynajmniej nast\u0119puj\u0105ce pliki<\/p>\n <\/p>\n \u00a0A. Dockerfile – plik\u00a0 zwieraj\u0105cy instrukcj\u0119 budowy naszego obrazu<\/strong><\/p>\n Zwracam uwag\u0119 na kilka podstawowych zasad, kt\u00f3re przyj\u0105\u0142em przy budowie aplikacji<\/p>\n B. build.bash – polecenia umo\u017cliwiaj\u0105cy sprawn\u0105 budow\u0119 obrazu i jego wypchni\u0119cie do publicznego repozytorium<\/strong><\/p>\n C. run_local.bash<\/strong> – polecenie uruchamiaj\u0105ce kontener na podstawie zbudowanego obrazu<\/p>\n W przypadku kontener\u00f3w bazowych (bez oprogramowania Jupyter)\u00a0 uruchamiam oprogramowanie w trybie interaktywnym<\/p>\n W przypadku kontener\u00f3w dodatkowych uruchamiam oprogramowanie z podaniem mapowania portu kontenera na port host bez trybu interaktywnego<\/p>\n Nale\u017cy pami\u0119ta\u0107 o opcji –runtime=nvidia<\/strong>, inaczej nie b\u0119dzie mo\u017cliwo\u015bci\u00a0 wykorzystania procesora graficznego.<\/p>\n <\/p>\n D. test.py<\/strong> – plik zawieraj\u0105cy testowy kod weryfikuj\u0105cy poprawno\u015b\u0107 instalacji (w szczeg\u00f3lno\u015bci wykorzystanie GPU hosta).<\/p>\n Ten kod nale\u017cy wykona\u0107 wewn\u0105trz kontenera.<\/p>\n Czasem wystarczy proste sprawdzenie, czy GPU Hosta jest widoczne w kontenerze, przyk\u0142adowo dla biblioteki Pytorch:<\/p>\n Po uruchomieniu kontenera wystarczy wpisa\u0107 polecenie<\/p>\n python test.py.<\/strong><\/p>\n <\/p>\n Proces budowania sk\u0142ada si\u0119 z nast\u0119puj\u0105cych krok\u00f3w<\/p>\n 1. Przygotowanie pliku Dockerfile<\/strong><\/p>\n 2 Przygotowanie pliku buduj\u0105cego build bash<\/strong><\/p>\n Uruchomienie polecenia bash build.bash<\/strong><\/p>\n 3. Przygotowanie pliku lokalnego uruchomienia run_local.bash<\/strong><\/p>\n Uruchomienie polecenia bash run_local.bash<\/strong><\/p>\n Punkty od 1) do 3) maj\u0105 charakter cykliczny, do czasu uzyskania dzia\u0142aj\u0105cego oprogramowania\u00a0 przetestowanego odpowiednim skryptem (*.py).<\/p>\n W przypadku pakietu Pytorch pojawi\u0142 si\u0119 pewien problem, nie uda\u0142o si\u0119 skompilowa\u0107 pakietu torchvision<\/strong> w spos\u00f3b automatyczny. Poradzi\u0142em sobie w nast\u0119puj\u0105cy spos\u00f3b.<\/p>\n 1. Po zbudowaniu obrazu o nazwie jetson-pytorch-base:0.1.0 uruchomi\u0142em go z opcj\u0105 –runtime=nvidia<\/strong><\/p>\n 2. Wewn\u0105trz kontenera doinstalowa\u0142em brakuj\u0105cy pakiet (jak zwykle nale\u017cy si\u0119 uzbroi\u0107 w cierpliwo\u015b\u0107)<\/p>\n 3. Po zbudowaniu pakietu skorzysta\u0142em z mo\u017cliwo\u015bci zatwierdzenia zmian z punktu 2)<\/p>\n Stworzy\u0142em dedykowany kawa\u0142ek kodu<\/p>\n Obrazy, kt\u00f3re zosta\u0142y umieszczone w repozytorium DockerHub<\/a>.<\/p>\n bazowe<\/p>\n https:\/\/hub.docker.com\/r\/djkormo\/jetson-scikit-base<\/a><\/p>\n https:\/\/hub.docker.com\/r\/djkormo\/jetson-tensorflow-base<\/a><\/p>\n https:\/\/hub.docker.com\/r\/djkormo\/jetson-pytorch-jlab<\/a><\/p>\n z dodatkiem Jupyter Lab<\/p>\n https:\/\/hub.docker.com\/r\/djkormo\/jetson-scikit-jlab<\/a><\/p>\n https:\/\/hub.docker.com\/r\/djkormo\/jetson-tensorflow-jlab<\/a><\/p>\n https:\/\/hub.docker.com\/r\/djkormo\/jetson-pytorch-jlab<\/a><\/p>\n Korzystaj\u0105c\u00a0 z przygotowanego obrazu uruchamiamy kontener w trybie detach z wystawionym portem 8888 hosta.<\/p>\n Po uruchomieniu obrazu\u00a0 djkormo\/jetson-pytorch-jlab:0.1.0<\/strong> mamy mo\u017cliwo\u015b\u0107 rozpocz\u0119cia testu na przygotowanym notatniku Jupyter. Zawiera on prosty model konwolucyjny wykorzystuj\u0105cy klasyczny zbi\u00f3r danych Cifar10.<\/p>\n Wa\u017cne, \u017ceby podczas trenowania zweryfikowa\u0107, czy GPU hosta jest wykorzystywane. Warto w tym celu mie\u0107 zainstalowany\u00a0 pakiet jtop<\/a>.<\/p>\n <\/p>\n Dla os\u00f3b, kt\u00f3re s\u0142ysz\u0105 po raz pierwszy o pakiecie Pytorch, konkurencyjnym do TenforFlow, zwr\u00f3c\u0119 uwag\u0119 na jeden szczeg\u00f3\u0142. Pytorch wymaga jawnego (explicite) oprogramowania wykorzystania CUDA, TensorFlow robi to w trybie niejawnym (implicite).<\/p>\n Przy okazji zwracam uwag\u0119 na bazowe oprogramowanie hosta<\/p>\n NVIDIA Jetson NANO\/TX1 – Jetpack UNKNOWN [L4T 32.2.1]<\/strong>, kt\u00f3re jest starsze ni\u017c bazowe oprogramowanie wykorzystywane przy budowie obraz\u00f3w (!).<\/p>\n Mo\u017cna te\u017c uruchamia\u0107 skrypty Pythona z poziomu\u00a0 wbudowanego terminala<\/p>\n <\/p>\n Dla os\u00f3b, kt\u00f3re zamiast Jupyter Lab wol\u0105 notatniki, wystarczy w adresie URL zamieni\u0107 \/lab<\/strong> na \/tree<\/strong><\/p>\n http:\/\/localhost:8888\/tree<\/a><\/p>\n Czy konteneryzacja i uczenie maszynowe mog\u0105 si\u0119 uzupe\u0142nia\u0107 i by\u0107 efektywnie wykorzystane? My\u015bl\u0119, \u017ce tak. Niniejszy wpis jest pr\u00f3b\u0105 pokazania i pr\u00f3b\u0105 odpowiedzi na pytanie, czy warto zna\u0107 jedno i drugie? Warto, ale nale\u017cy pami\u0119ta\u0107, \u017ce optymalizacja i automatyzacja naszego kodu mo\u017ce dotyczy\u0107 nie tylko typowego oprogramowania biznesowego, ale r\u00f3wnie\u017c modeli uczenia maszynowego.<\/p>\n <\/p>\n https:\/\/ngc.nvidia.com\/catalog\/containers\/nvidia:l4t-base<\/a><\/p>\n https:\/\/medium.com\/@chengweizhang2012\/how-to-run-keras-model-on-jetson-nano-in-nvidia-docker-container-b52d0df07129<\/a> https:\/\/jkjung-avt.github.io\/build-tensorflow-2.0.0\/<\/a><\/p>\n https:\/\/github.com\/rbonghi\/jetson_stats<\/a><\/p>\n![\"\"](\"http:\/\/wchmurze.cloud\/wp-content\/uploads\/2019\/10\/etcher_1.png\")
<\/p>\n![\"\"](\"http:\/\/wchmurze.cloud\/wp-content\/uploads\/2019\/10\/etcher_2.png\")
![\"\"](\"http:\/\/wchmurze.cloud\/wp-content\/uploads\/2019\/10\/etcher_3.png\")
<\/p>\nsudo date --set \"27 Oct 2019 15:08:00\"\r\n<\/pre>\n
![\"\"](\"http:\/\/wchmurze.cloud\/wp-content\/uploads\/2019\/10\/jetson_docker.png\")
<\/p>\nDNS=8.8.8.8 2001:4860:4860::8888\r\nFallbackDNS=8.8.4.4 2001:4860:4860::8844<\/code><\/pre>\n#!\/bin\/bash\r\nsudo fallocate -l 8G \/swapfile\r\nsudo chmod 600 \/swapfile\r\nsudo mkswap \/swapfile\r\nsudo swapon \/swapfile\r\necho \"\/swapfile swap swap defaults 0 0\" | sudo tee --append \/etc\/fstab > \/dev\/null\r\n\r\n<\/pre>\n
sudo apt-get install curl -y\r\ncurl -sSL https:\/\/get.docker.com\/ | sh\r\n<\/pre>\n
Client: Docker Engine - Community\r\n Version: 19.03.4\r\n API version: 1.40\r\n Go version: go1.12.10\r\n Git commit: 9013bf5\r\n Built: Fri Oct 18 15:52:24 2019\r\n OS\/Arch: linux\/arm64\r\n Experimental: false\r\n\r\nServer: Docker Engine - Community\r\n Engine:\r\n Version: 19.03.4\r\n API version: 1.40 (minimum version 1.12)\r\n Go version: go1.12.10\r\n Git commit: 9013bf5\r\n Built: Fri Oct 18 15:50:53 2019\r\n OS\/Arch: linux\/arm64\r\n Experimental: false\r\n containerd:\r\n Version: 1.2.10\r\n GitCommit: b34a5c8af56e510852c35414db4c1f4fa6172339\r\n runc:\r\n Version: 1.0.0-rc8+dev\r\n GitCommit: 3e425f80a8c931f88e6d94a8c831b9d5aa481657\r\n docker-init:\r\n Version: 0.18.0\r\n GitCommit: fec3683\r\n<\/pre>\n
Budowa obraz\u00f3w<\/h3>\n
# pobieramy z repozytorium\r\ndocker pull portainer\/portainer\r\n# uruchamiany w trybie automatycznego restartu\r\ndocker run -d -p 9000:9000 --name portainer --restart always -v \/var\/run\/docker.sock:\/var\/run\/docker.sock portainer\/portainer\r\n<\/pre>\n
![\"\"](\"http:\/\/wchmurze.cloud\/wp-content\/uploads\/2019\/11\/portainer_admin.png\")
<\/p>\n![\"\"](\"http:\/\/wchmurze.cloud\/wp-content\/uploads\/2019\/11\/portainer_connect.png\")
<\/p>\n![\"\"](\"http:\/\/wchmurze.cloud\/wp-content\/uploads\/2019\/11\/putty_port_9000_8888.png\")
<\/p>\nsudo docker pull nvcr.io\/nvidia\/l4t-base:r32.2.2\r\n<\/pre>\n
![\"\"](\"http:\/\/wchmurze.cloud\/wp-content\/uploads\/2019\/10\/jetson_docker_2.png\")
<\/p>\ngit clone https:\/\/github.com\/djkormo\/jetson-nano.git\r\n<\/pre>\n
FROM nvcr.io\/nvidia\/l4t-base:r32.2\r\nWORKDIR \/home\r\nRUN apt-get update && apt-get install -y --fix-missing make g++ libblas-dev liblapack-dev libatlas-base-dev gfortran\r\nRUN apt-get update && apt-get install -y --fix-missing python3-pip libhdf5-serial-dev hdf5-tools libfreetype6-dev\r\nRUN apt-get update && apt-get install -y python3-h5py\r\nRUN pip3 install --pre --no-cache-dir --extra-index-url https:\/\/developer.download.nvidia.com\/compute\/redist\/jp\/v42 tensorflow-gpu\r\nRUN pip3 install -U --pre --no-cache-dir numpy \r\nRUN pip3 install --no-cache-dir folium seaborn keras\r\nRUN update-alternatives --install \/usr\/bin\/pip pip \/usr\/bin\/pip3 1\r\nRUN update-alternatives --install \/usr\/bin\/python python \/usr\/bin\/python3 1\r\nCOPY test.py test.py\r\nCMD [ \"bash\" ]\r\n<\/pre>\n
\n
#!\/bin\/bash\r\n\r\nDOCKER_REGISTRY=docker.io\r\nDOCKER_PROJECT_ID=djkormo\r\nSERVICE_NAME=jetson-pytorch-base:0.1.0\r\nDOCKER_IMAGE_NAME=$DOCKER_PROJECT_ID\/$SERVICE_NAME\r\nDOCKER_IMAGE_REPO_NAME=$DOCKER_REGISTRY\/$DOCKER_IMAGE_NAME\r\n\r\necho \"DOCKER_REGISTRY: $DOCKER_REGISTRY\"\r\necho \"DOCKER_PROJECT_ID: $DOCKER_PROJECT_ID\"\r\necho \"SERVICE_NAME: $SERVICE_NAME\"\r\necho \"DOCKER_IMAGE_NAME: $DOCKER_IMAGE_NAME\"\r\necho \"DOCKER_IMAGE_REPO_NAME: $DOCKER_IMAGE_REPO_NAME\"\r\n\r\n# build \r\ndocker build -t $SERVICE_NAME . -f Dockerfile\r\n\r\n# tag\r\ndocker tag $SERVICE_NAME $DOCKER_IMAGE_NAME \r\n\r\n#push\r\ndocker push $DOCKER_IMAGE_NAME\r\n<\/pre>\n
docker run -it --runtime=nvidia --network=host djkormo\/jetson-tensorflow-base:0.1.0\r\n<\/pre>\n
docker run -d --runtime=nvidia -p 8888:8888 djkormo\/jetson-tensorflow-jlab:0.1.0\r\n<\/pre>\n
import torch\r\nprint(\"torch.__version__\",torch.__version__)\r\nprint(\"torch.cuda.current_device()\",torch.cuda.current_device())\r\nprint(\"torch.cuda.device(0)\",torch.cuda.device(0))\r\nprint(\"torch.cuda.device_count()\",torch.cuda.device_count())\r\nprint(\"torch.cuda.get_device_name(0)\",torch.cuda.get_device_name(0))\r\nprint(\"torch.cuda.is_available()\",torch.cuda.is_available())\r\n<\/pre>\n
Uwaga na pakiet Pytorch<\/h4>\n
cd torchvision \r\npython3 setup.py install\r\n<\/pre>\n
#!\/bin\/bash\r\nCONTAINER_ID=$(docker ps -qf \"ancestor=djkormo\/jetson-pytorch-base:0.1.0\")\r\ndocker commit $CONTAINER_ID djkormo\/jetson-pytorch-base:0.2.0\r\n# push to repo \r\ndocker push djkormo\/jetson-pytorch-base:0.2.0\r\n<\/pre>\n
Demonstracja:<\/h3>\n
docker run -d --runtime=nvidia -p 8888:8888 djkormo\/jetson-tensorflow-jlab:0.1.0\r\n<\/pre>\n
Net(\r\n (conv1): Conv2d(3, 6, kernel_size=(5, 5), stride=(1, 1))\r\n (pool): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)\r\n (conv2): Conv2d(6, 16, kernel_size=(5, 5), stride=(1, 1))\r\n (fc1): Linear(in_features=400, out_features=120, bias=True)\r\n (fc2): Linear(in_features=120, out_features=84, bias=True)\r\n (fc3): Linear(in_features=84, out_features=10, bias=True)\r\n)<\/pre>\n
![\"\"](\"http:\/\/wchmurze.cloud\/wp-content\/uploads\/2019\/11\/jetson_gpu_pytorch.png\")
<\/p>\n![\"\"](\"http:\/\/wchmurze.cloud\/wp-content\/uploads\/2019\/11\/pytorch-jlab.png\")
<\/p>\n![\"\"](\"http:\/\/wchmurze.cloud\/wp-content\/uploads\/2019\/11\/pytorch-jlab-terminal.png\")
<\/p>\nWnioski:<\/h3>\n
Literatura:<\/h3>\n
\nhttp:\/\/collabnix.com\/why-docker-19-03-on-nvidia-jetson-nano\/<\/a><\/p>\n