Добрый день всем.

Моя задача посмотреть ETL тул Airflow в 0-м приближении
Для начала чего-то скачать-закачипть в БД MS-SQL , MySQL на localhost

Airflow под юникс.
Скрипты пишутся на питоне.

How to run Airflow in Windows (with Docker)
intellectualgambols.blogspot.com

1) попытка была поставтиь через докер

Поставил Docker Quickstart Terminal

c большим турдом запустил
docker-compose -f docker-compose-LocalExecutor.yml up -d

пробросив порты 8080 на 8080 в Virtual Box

заработать - заработало Вижу UI через localhost:80 В брауезре
но есть много вопросов

1) docker cp c:/air/docker-airflow-master/dags/bcp_hook.py cb9392c1d97b:/usr/local/airflow/dags
я копирюу py файл В контейнер докера
после рестарта докера файлы должны оставться ?

2) Я вижи список конетйенеров
docker ps
а вот можно ли достучаться из докера к БД MS-SQL (MySQL) на моем localhost

вообще не понbмаю - там есть create connection - но нет кнопки TEST
Интеерсует можно ли это в приниципе сдеалть из докера ( 1433 порт пробросил на virtual box - больше идей никаких нет)


3) Можно ли как то вынести файлы py в отдельную директорию чтобы докер подхватывал их каждый раз (при монтировании ?)


4) Есть ли какие то GUI тулы к докеру - поставил вроде
Dockstation - но нет там коннекта к тому что я прописываю в командной строке Docker Quickstart Terminal


На сие вопросы в телеграм чате - мне сказали что иммет смысл поставтиь airflow на VM - проще чем замарачиваться с докером

Поэтому тот же вопрос с другой стороны
A?) Где можно взять имиджи с юниксом
- самый простой
- чтобы там был гуи
- MC поставтить
- нужен будет Python 3.6 (7)
- Скорей всего mysql 5.7 (или вышел )

Где взять и какой юникс - их там врое дочерта - чтобы попроще.

Гулин Федор
Поэтому тот же вопрос с другой стороны
A?) Где можно взять имиджи с юниксом

Проще сделать свой. Взять загрузочный iso того же CentOS-а и вперёд. Пакеты хоть через GUI, хоть (что по мне так и проще) через yum install в терминале.

Гулин Федор
Где взять и какой юникс - их там врое дочерта - чтобы попроще.

Да вроде они все нынешние не сложнее винды будут Установщики GUI-вые, никакой хитрой настройки для того чтобы просто "поставить и оно работало" не требуется.

Но лучше в докер въезжать. Под 10 винду, насколько я понимаю, не нужно к vbox лазить - оно нативно работать должно, без полной VM.

все так. только нада обращать внимание на версии того, что хочешь на выходе

мдя, Джойс страдал, однако )

Гулин Федор
Где взять и какой юникс - их там врое дочерта - чтобы попроще.

Попроще это тот на который доков побольше, я считаю. Самый документированный это убунта. А детям на ноут я минт поставил. Он чуть попроще убунты для детей будет.

Но если будет желание потом развернуть в продакшн, то лучше сразу центос осваивать, как Игорь сказал. Для игр дома можно отключить селинукс и файрволл - тогда настроить для новичка будет проще. А вот в продакшн выводить уже с работающими файрволлами и селинуксом.

речь чисто для себя
вопрсо где скачать в инете имижд линукса
чтобы подклчить к virtual Box ?



Исправлено 1 раз(а). Последнее : Гулин Федор, 10.09.18 17:11

Igor Korolyov
Но лучше в докер въезжать. Под 10 винду, насколько я понимаю, не нужно к vbox лазить - оно нативно работать должно, без полной VM.

вооюще не понял последний пассаж поясин как
я думал
качаю имижд
подключаю в ВМ
и далее ставлю то что мне нужно

как еще ??

Гулин Федор
речь чисто для себя
вопрсо где скачать в инете имижд линукса
чтобы подклчить к virtual Box ?

www.centos.org

Создал виртуалку под RedHat, исошник добавил в качестве загрузочного. Загрузился с исошника, включил установку с гуями. Сетевуху только обязательно надо сразу настроить, как в VBox, так и в инсталяшке, а то потом придётся конфиг ковырять.

Гулин Федор

Igor Korolyov
Но лучше в докер въезжать. Под 10 винду, насколько я понимаю, не нужно к vbox лазить - оно нативно работать должно, без полной VM.

вооюще не понял последний пассаж поясин как

blog.docker.com
cloudblogs.microsoft.com

vbox уже не нужен

брать неизвестно кем и как созданный образ VM ну я бы точно не рискнул ("образ" для докера, кстати, тоже). А имеющиеся от "серьёзных вендоров" - например HandOnLabs образы от той же Oracle - настолько монструозны что рекомендовать их я не могу. Ну кроме как для заявленных целей - изучения напиханного туда софта.