Do uruchomienia gotowego modelu\u00a0 w postaci REST API wykorzysta\u0142em darmow\u0105 piaskownic\u0119 https:\/\/labs.play-with-docker.com\/<\/a>.<\/p>\n Ka\u017cda z tych us\u0142ug ma swoje ograniczenia. Tak pierwsza pozwala na budow\u0119 jedynie dw\u00f3ch modelu w planie darmowym. Tak druga ma czasowe ograniczenie do czterech godzin dzia\u0142ania. Na pocz\u0105tek to mo\u017ce wystarczy\u0107, ale postanowi\u0142em zaj\u0105\u0107 si\u0119 drug\u0105 cz\u0119\u015bci\u0105, czyli uruchomieniem gotowego modelu uczenia maszynowego w chmurze publicznej Azure. Wykorzystam dwie us\u0142ugi ACR (Azure Container Registry<\/a>) i ACI (Azure Container Instances<\/a>).\u00a0 Wdro\u017cenie odb\u0119dzie si\u0119 przy wykorzystaniu polece\u0144 cli, albo z poziomu Visual Studio Code, albo z poziomu Azure Cloud Shell. Nie b\u0119dzie potrzeby instalacji narz\u0119dzi typu Docker for Windows.<\/p>\n B\u0119dziemy g\u0142\u00f3wnie wykorzystywa\u0107 lini\u0119 komend, od czasu do czasu spogl\u0105daj\u0105c w Portal.<\/p>\n Na pocz\u0105tku definiujemy globalne zmienne<\/p>\n Tworzymy prywatny rejestr ACR w ramach grupy zasob\u00f3w ACR_GROUP. W tym przypadku nazwa\u0142em j\u0105 rg-machinelearning<\/strong>. Zasoby zostan\u0105 umieszczone w jednej lokalizacji northeurope\u00a0<\/strong> ( Dublin w Irlandii). Rejestr zasob\u00f3w zostanie nazwany djkormoacrml<\/strong> , a utworzona instancja aplikacji djkormoaciml<\/strong>.<\/p>\n <\/p>\n Wszelkie zasoby, b\u0119d\u0105 celowo umieszczone w jednej grupie. W ten spos\u00f3b \u0142atwiej si\u0119 zarz\u0105dza kosztami. Dodatkowo dzi\u0119ki ustawieniu domy\u015blnej nazwy grupy i domy\u015blnej lokalizacji nie musimy przy budowie us\u0142ug podawa\u0107<\/p>\n Na pocz\u0105tku pobieramy z publicznego repozytorium na Githubie kod naszej aplikacji i umieszczamy na dysku lokalnym (lub na dysku Cloud Shella). W tej wersji skryptu wykorzysta\u0142em laptop z Windows 7.<\/p>\n Tak wygl\u0105da konfiguracja naszej aplikacji zawarta w pliku Dockerfile. Wi\u0119cej szczeg\u00f3\u0142\u00f3w mo\u017cna znale\u017a\u0107 w pierwszej cz\u0119\u015bci artyku\u0142u.<\/p>\n Tworzymy nasz rejestr obrazk\u00f3w, na potrzeby tego demo wystarczy najta\u0144sza wersja (Basic). Pozwala ona na umieszczenie zbioru obraz\u00f3w od \u0142\u0105cznej pojemno\u015bci nie przekraczaj\u0105cej 10GB. To repozytorium otrzymuje wpis w DNS $ACR_NAME.azurecr.io <\/strong><\/p>\n Uchomienie nslookup po zdbudowaniu rejestru…<\/p>\n Rozpoczynamy budow\u0119 naszego rejestru, zanim umie\u015bcimy w nim jakikolwiek obraz.<\/p>\n Uruchamiamy proces budowy naszego obrazu, potrwa to do oko\u0142o dw\u00f3ch minut. \u015awie\u017co przygotowany obraz zostanie umieszczony w prywatnym repozytorium ACR.. Jako nazw\u0119 obrazu przyj\u0105\u0142em ai-customvision<\/strong> , a po : umieszczam numer wersji, w tym przypadku v1<\/strong>. Zawarto\u015b\u0107 pliku Dockerfile\u00a0 zawiera przepis z jakich komponent\u00f3w i w jakiej kolejno\u015bci\u00a0 b\u0119dzie przebiega\u0142 proces. Kod uruchamiamy w bie\u017c\u0105cym katalogu (st\u0105d kropka po nazwie obrazu).<\/p>\n Informacje zwracane przez ostanie polecenie:<\/p>\n Jak wida\u0107, obraz mo\u017ce by\u0107 zaktualizowany, wylistowany, usuni\u0119ty, odczytany i zapisany. w linii polece\u0144.<\/p>\n Po zbudowaniu naszego obrazu i umieszczeniu w prywatnym repozytorium ACR przyszed\u0142 czas na uruchomienie jednej instancji naszej aplikacji. Wykorzystamy do tego ACI (Azure Container Instances) .<\/p>\n Aplikacja jest dost\u0119pna pod adresem http:\/\/ai-customvision.northeurope.azurecontainer.io, wa\u017cne by doda\u0107 parametr –dns-name-label, inaczej b\u0119dziemy skazani na wygenerowany przez Azure numer IP, Us\u0142uga b\u0119dzie pracowa\u0107 na porcie 80. Wykorzystane jest REST API i metoda POST. Wystawiony zostanie publiczny adres IP Do pobrania obrazu z ACR potrzebne s\u0105 odpowiednie uprawnienia. Dlatego te\u017c przekazywana jest para zmiennych $ACR_USERNAME i $ACR_PASSWORD. Pilnujmy\u00a0 tych po\u015bwiadcze\u0144, istnieje mo\u017cliwo\u015b\u0107 ponownego wygenerowania, co jest zreszt\u0105 zalecan\u0105 praktyk\u0105. Tego typu dane nie powinny nigdy znale\u017a\u0107 si\u0119 w repozytorium kodu.<\/p>\n Wykorzystali\u015bmy do tej pory dwie us\u0142ugi umieszczone w jednej grupie zasob\u00f3w. Dobrze wida\u0107 to z poziomu Portalu.<\/p>\n To samo mo\u017cemy obejrze\u0107, do czego zach\u0119cam, z poziomu linii komend:<\/p>\n Wynik w postaci tabeli (-o table)<\/p>\n Widok instancji z poziomu Portalu<\/p>\n Nadesz\u0142a pora, by zweryfikowa\u0107, czy nasz program dzia\u0142a, tak jak zosta\u0142 zaprojektowany.<\/p>\n Przetestujemy nasz\u0105 uruchomion\u0105 aplikacj\u0119 przez API REST, wykorzystuj\u0105c curl i przygotowane w repozytorium Gituba zdj\u0119cia.<\/p>\n Pliki ze zdj\u0119ciami znajduj\u0105 si\u0119 w podkatalogu images.<\/p>\n Zwracane rezultaty s\u0105 w formacie JSON.<\/p>\n Jeden z obraz\u00f3w (horse1) zosta\u0142 b\u0142\u0119dnie sklasyfikowany jako pies i to na dodatek z prawdopodobie\u0144stwem 100%. Czy mo\u017cna co\u015b z tym zrobi\u0107 ? Mo\u017cna, ale to temat na kolejne wpisy autora.<\/p>\n Pami\u0119tajmy o ostatniej linii, kt\u00f3ra usuwa wszelkie zasoby w obr\u0119bie grupy. Us\u0142ugi w chmurze s\u0105 ulotne, pami\u0119tajmy o tym, \u017ce je\u015bli nie s\u0105 potrzebne, nie powinny by\u0107 aktywne, gdy\u017c z regu\u0142y generuj\u0105 niepotrzebne koszty. Poni\u017cej pe\u0142ny kod<\/a> skryptu umieszczony w repozytorium.<\/p>\n <\/p>\n Literatura:<\/p>\n# definicja zmiennych globalnych \r\nACR_LOCATION=northeurope \r\nACR_GROUP=rg-machinelearning \r\nACR_NAME=djkormoacrml \r\nACI_NAME=djkormoaciml\r\n<\/pre>\n
# katalog w kt\u00f3rym umie\u015bcimy sklonowany kod\r\n\r\nINIT_DIR=c:\/developing\/Azure\/ML\/\r\n\r\ncd $INIT_DIR\r\n\r\n# domyslna lokalizacja\r\naz configure --defaults location=$ACR_LOCATION\r\n\r\n# nowa grupa zasobow\r\naz group create --name $ACR_GROUP\r\n\r\n# domyslna grupa zasobow\r\naz configure --defaults group=$ACR_GROUP\r\n<\/pre>\n
--resource-group rg-grupa --location northeurope<\/pre>\n
# klonujemy repozytorium, sprawdzaj\u0105c czy nie istnieje ju\u017c taki katalog\r\n\r\nif [ ! -d $INIT_DIR\/ContainersSamples ]; then\r\n \r\n mkdir ssh\r\n echo \"Nie masz katalogu ContainersSamples\" \r\n git clone https:\/\/github.com\/djkormo\/ContainersSamples.git\r\nfi\r\n\r\n# wchodzimy do podkatalogu naszego projektu \r\n\r\ncd ContainersSamples\/Docker\/customvision-ai-cat-dog-horse-sample\/\r\n\r\n# odswiezamy zawartosc repozytorium w ramach gal\u0119zi master \r\ngit checkout master\r\n# pobieramy zawarto\u015b\u0107 repozytorium \r\ngit pull\r\n# weryfikujemy niesp\u00f3jno\u015bci zawarto\u015bci lokalnego i zdalnego repozytorium \r\ngit status\r\n\r\n# zawartosc pliku DockerFile\r\ncat Dockerfile \r\n\r\n<\/pre>\n
FROM python:3.5\r\n\r\nADD app \/app\r\n\r\nRUN pip install --upgrade pip\r\nRUN pip install -r \/app\/requirements.txt\r\n\r\n# Expose the port\r\nEXPOSE 80\r\n\r\n# Set the working directory\r\nWORKDIR \/app\r\n\r\n# Run the flask server for the endpoints\r\nCMD python app.py\r\n<\/pre>\n
Nieautorytatywna odpowied\u017a:\r\nNazwa: r0213neu.northeurope.cloudapp.azure.com\r\nAddress: 13.69.227.89\r\nAliases: djkormoacrml.azurecr.io\r\nneu.fe.azcr.io\r\nneu-acr-reg.trafficmanager.net\r\n<\/pre>\n
# tworzymy rejestr dla kontenerow \r\naz acr create --name $ACR_NAME --sku Basic \r\n\r\n# wlaczenie konta administratorskiego \r\naz acr update -n $ACR_NAME --admin-enabled true\r\n<\/pre>\n
# pobranie wygenerowanego u\u017cytkownika i has\u0142a\r\nACR_USERNAME=$ACR_NAME\r\nACR_PASSWORD=$(az acr credential show --name $ACR_NAME --query \"passwords[0].value\")\r\n\r\necho \"$ACR_USERNAME\"\r\necho \"$ACR_PASSWORD\"\r\n\r\n# budujemy obraz kontenerowy na podstawie zawarto\u015bci pliku Dockerfile w bie\u017c\u0105cym katalogu (.)\r\naz acr build --registry $ACR_NAME --image ai-customvision:v1 .\r\n\r\n\r\n# lista zbudowanych obraz\u00f3w\r\naz acr repository list --name $ACR_NAME --output table\r\n\r\n# szczegoly danego obrazu\r\naz acr repository show -n $ACR_NAME -t ai-customvision:v1\r\n<\/pre>\n
{\r\n \"changeableAttributes\": {\r\n \"deleteEnabled\": true,\r\n \"listEnabled\": true,\r\n \"readEnabled\": true,\r\n \"writeEnabled\": true\r\n },\r\n \"createdTime\": \"2019-03-09T21:29:56.021222Z\",\r\n \"digest\": \"sha256:656234a912ca0b613f57b4504a92395402ca650d89428a173bfb91b41e5b7f30\",\r\n \"lastUpdateTime\": \"2019-03-09T21:29:56.021222Z\",\r\n \"name\": \"v1\",\r\n \"signed\": false\r\n}\r\n<\/pre>\n
\nIstnieje te\u017c mo\u017cliwo\u015b\u0107 zbudowania obrazu bez umieszczania go w repozytorium. Wystarczy doda\u0107<\/p>\n --no-push<\/pre>\n
az container create --resource-group $ACR_GROUP \\\r\n --name $ACI_NAME \\\r\n --image $ACR_NAME.azurecr.io\/ai-customvision:v1 \\\r\n --cpu 2 --memory 4 \\\r\n --registry-login-server $ACR_NAME.azurecr.io \\\r\n --dns-name-label ai-customvision \\\r\n --ports 80 \\\r\n --ip-address=Public \\\r\n --registry-username $ACR_USERNAME \\\r\n --registry-password $ACR_PASSWORD\r\n<\/pre>\n
![\"\"](\"http:\/\/wchmurze.cloud\/wp-content\/uploads\/2019\/03\/rg-ml-widok.png\")
<\/p>\n# lista zasob\u00f3w umieszczony w danej grupie zasob\u00f3w\r\naz resource list --resource-group $ACR_GROUP -o table\r\n<\/pre>\n
Name ResourceGroup Location Type Status\r\n------------ ------------------ ----------- ------------------------------------------- --------\r\ndjkormoaciml rg-machinelearning northeurope Microsoft.ContainerInstance\/containerGroups\r\ndjkormoacrml rg-machinelearning northeurope Microsoft.ContainerRegistry\/registries\r\n<\/pre>\n
![\"\"](\"http:\/\/wchmurze.cloud\/wp-content\/uploads\/2019\/03\/aci_ml_example.png\")
<\/p>\n# aplikacja dost\u0119pna pod adresem \r\n# http:\/\/ai-customvision.northeurope.azurecontainer.io:80\r\n\r\n# testowanie\r\nclear\r\n# koty\r\ncurl -X POST http:\/\/ai-customvision.northeurope.azurecontainer.io\/image -F imageData=@images\/cat1.jpg\r\ncurl -X POST http:\/\/ai-customvision.northeurope.azurecontainer.io\/image -F imageData=@images\/cat2.jpg\r\n\r\n# psy\r\ncurl -X POST http:\/\/ai-customvision.northeurope.azurecontainer.io\/image -F imageData=@images\/dog1.jpg\r\ncurl -X POST http:\/\/ai-customvision.northeurope.azurecontainer.io\/image -F imageData=@images\/dog2.jpg\r\n\r\n# konie\r\ncurl -X POST http:\/\/ai-customvision.northeurope.azurecontainer.io\/image -F imageData=@images\/horse1.jpg\r\ncurl -X POST http:\/\/ai-customvision.northeurope.azurecontainer.io\/image -F imageData=@images\/horse2.jpg\r\n\r\n<\/pre>\n
$ curl -X POST http:\/\/ai-customvision.northeurope.azurecontainer.io\/image -F imageData=@images\/cat1.jpg\r\n{\r\n \"created\": \"2019-03-09T22:05:31.011407\",\r\n \"id\": \"\",\r\n \"iteration\": \"\",\r\n \"predictions\": [\r\n {\r\n \"boundingBox\": null,\r\n \"probability\": 1.0,\r\n \"tagId\": \"\",\r\n \"tagName\": \"cat\"\r\n }\r\n ],\r\n \"project\": \"\"\r\n}\r\n\r\n$ curl -X POST http:\/\/ai-customvision.northeurope.azurecontainer.io\/image -F imageData=@images\/cat2.jpg\r\n{\r\n \"created\": \"2019-03-09T22:05:36.650195\",\r\n \"id\": \"\",\r\n \"iteration\": \"\",\r\n \"predictions\": [\r\n {\r\n \"boundingBox\": null,\r\n \"probability\": 1.0,\r\n \"tagId\": \"\",\r\n \"tagName\": \"cat\"\r\n }\r\n ],\r\n \"project\": \"\"\r\n}\r\n\r\n$ # psy\r\n\r\n$ curl -X POST http:\/\/ai-customvision.northeurope.azurecontainer.io\/image -F imageData=@images\/dog1.jpg\r\n{\r\n \"created\": \"2019-03-09T22:05:42.647791\",\r\n \"id\": \"\",\r\n \"iteration\": \"\",\r\n \"predictions\": [\r\n {\r\n \"boundingBox\": null,\r\n \"probability\": 1.0,\r\n \"tagId\": \"\",\r\n \"tagName\": \"dog\"\r\n }\r\n ],\r\n \"project\": \"\"\r\n}\r\n\r\n\r\n$ curl -X POST http:\/\/ai-customvision.northeurope.azurecontainer.io\/image -F imageData=@images\/dog2.jpg\r\n{\r\n \"created\": \"2019-03-09T22:05:49.057433\",\r\n \"id\": \"\",\r\n \"iteration\": \"\",\r\n \"predictions\": [\r\n {\r\n \"boundingBox\": null,\r\n \"probability\": 1.0,\r\n \"tagId\": \"\",\r\n \"tagName\": \"dog\"\r\n }\r\n ],\r\n \"project\": \"\"\r\n}\r\n\r\n\r\n$ # konie\r\n\r\n$ curl -X POST http:\/\/ai-customvision.northeurope.azurecontainer.io\/image -F imageData=@images\/horse1.jpg\r\n{\r\n \"created\": \"2019-03-09T22:05:54.683635\",\r\n \"id\": \"\",\r\n \"iteration\": \"\",\r\n \"predictions\": [\r\n {\r\n \"boundingBox\": null,\r\n \"probability\": 1.0,\r\n \"tagId\": \"\",\r\n \"tagName\": \"dog\"\r\n }\r\n ],\r\n \"project\": \"\"\r\n}\r\n\r\n\r\n$ curl -X POST http:\/\/ai-customvision.northeurope.azurecontainer.io\/image -F imageData=@images\/horse2.jpg\r\n{\r\n \"created\": \"2019-03-09T22:06:00.648413\",\r\n \"id\": \"\",\r\n \"iteration\": \"\",\r\n \"predictions\": [\r\n {\r\n \"boundingBox\": null,\r\n \"probability\": 0.0015334499767050147,\r\n \"tagId\": \"\",\r\n \"tagName\": \"dog\"\r\n },\r\n {\r\n \"boundingBox\": null,\r\n \"probability\": 0.9984666109085083,\r\n \"tagId\": \"\",\r\n \"tagName\": \"horse\"\r\n }\r\n ],\r\n \"project\": \"\"\r\n}\r\n\r\n\r\n<\/pre>\n![\"\"](\"http:\/\/wchmurze.cloud\/wp-content\/uploads\/2019\/03\/horse1.jpg\")
<\/p>\n
\nTutaj u\u017cy\u0142em wersji bez potwierdzania (-y) i czekania a\u017c si\u0119 zako\u0144czy proces (–no-wait).<\/p>\n# usuwamy zasoby w ramach calej grupy \r\naz group delete --name $ACR_GROUP --no-wait -y\r\n\r\n<\/pre>\n