fix(stack): публикация портов ограничена localhost
This commit is contained in:
1 parent
0bdce356e3
commit
e06b9f8b52
4 files changed
+14
-8
No files matched your search
@@ -1,5 +1,7 @@
|
|||||||
# Lakehouse без магии
|
# Lakehouse без магии
|
||||||
|
|
||||||
|
Все порты стенда публикуются только на `127.0.0.1`. На удалённой машине открывай нужные интерфейсы через SSH-туннель; прямой доступ по внешнему IP закрыт.
|
||||||
|
|
||||||
Практический курс, после которого ты будешь уверенно работать с Lakehouse-стеком: поднимать стенд, строить пайплайн `raw -> bronze -> silver`, читать одну таблицу из двух движков и не бояться изменений в данных.
|
Практический курс, после которого ты будешь уверенно работать с Lakehouse-стеком: поднимать стенд, строить пайплайн `raw -> bronze -> silver`, читать одну таблицу из двух движков и не бояться изменений в данных.
|
||||||
|
|
||||||
## Что ты получишь
|
## Что ты получишь
|
||||||
|
|||||||
@@ -1,5 +1,7 @@
|
|||||||
# START HERE
|
# START HERE
|
||||||
|
|
||||||
|
Порты стенда доступны только на `127.0.0.1` машины с Docker. Для удалённого стенда используй SSH-туннель к нужному порту, например `ssh -N -L 8080:127.0.0.1:8080 user@host` для Spark UI.
|
||||||
|
|
||||||
Здесь ты подготовишь окружение и выполнишь первое вычисление в Spark.
|
Здесь ты подготовишь окружение и выполнишь первое вычисление в Spark.
|
||||||
К концу запуска в ноутбуке появится `Spark cluster smoke test passed.`, а результат
|
К концу запуска в ноутбуке появится `Spark cluster smoke test passed.`, а результат
|
||||||
сохранится в файле на твоем компьютере. Smoke test — короткая проверка, что
|
сохранится в файле на твоем компьютере. Smoke test — короткая проверка, что
|
||||||
|
|||||||
+8
-8
@@ -8,7 +8,7 @@ services:
|
|||||||
POSTGRES_USER: iceberg
|
POSTGRES_USER: iceberg
|
||||||
POSTGRES_PASSWORD: iceberg
|
POSTGRES_PASSWORD: iceberg
|
||||||
ports:
|
ports:
|
||||||
- "5432:5432" # опционально, чтобы заходить с хоста через DBeaver/psql
|
- "127.0.0.1:5432:5432" # опционально, чтобы заходить с хоста через DBeaver/psql
|
||||||
networks:
|
networks:
|
||||||
- spark-net
|
- spark-net
|
||||||
volumes:
|
volumes:
|
||||||
@@ -71,8 +71,8 @@ services:
|
|||||||
- AWS_SECRET_ACCESS_KEY=minioadmin
|
- AWS_SECRET_ACCESS_KEY=minioadmin
|
||||||
command: ["/opt/spark/sbin/start-master.sh"]
|
command: ["/opt/spark/sbin/start-master.sh"]
|
||||||
ports:
|
ports:
|
||||||
- "7077:7077" # Spark master
|
- "127.0.0.1:7077:7077" # Spark master
|
||||||
- "8080:8080" # Web UI мастера
|
- "127.0.0.1:8080:8080" # Web UI мастера
|
||||||
volumes:
|
volumes:
|
||||||
- ./spark/spark-defaults.conf:/opt/spark/conf/spark-defaults.conf:ro
|
- ./spark/spark-defaults.conf:/opt/spark/conf/spark-defaults.conf:ro
|
||||||
|
|
||||||
@@ -94,7 +94,7 @@ services:
|
|||||||
depends_on:
|
depends_on:
|
||||||
- spark-master
|
- spark-master
|
||||||
ports:
|
ports:
|
||||||
- "8081:8081" # Web UI первого воркера
|
- "127.0.0.1:8081:8081" # Web UI первого воркера
|
||||||
volumes:
|
volumes:
|
||||||
- ./spark/spark-defaults.conf:/opt/spark/conf/spark-defaults.conf:ro
|
- ./spark/spark-defaults.conf:/opt/spark/conf/spark-defaults.conf:ro
|
||||||
|
|
||||||
@@ -116,7 +116,7 @@ services:
|
|||||||
depends_on:
|
depends_on:
|
||||||
- spark-master
|
- spark-master
|
||||||
ports:
|
ports:
|
||||||
- "8082:8081" # Web UI второго воркера (host 8082)
|
- "127.0.0.1:8082:8081" # Web UI второго воркера (host 8082)
|
||||||
volumes:
|
volumes:
|
||||||
- ./spark/spark-defaults.conf:/opt/spark/conf/spark-defaults.conf:ro
|
- ./spark/spark-defaults.conf:/opt/spark/conf/spark-defaults.conf:ro
|
||||||
|
|
||||||
@@ -132,8 +132,8 @@ services:
|
|||||||
- MINIO_ROOT_USER=minioadmin
|
- MINIO_ROOT_USER=minioadmin
|
||||||
- MINIO_ROOT_PASSWORD=minioadmin
|
- MINIO_ROOT_PASSWORD=minioadmin
|
||||||
ports:
|
ports:
|
||||||
- "9000:9000"
|
- "127.0.0.1:9000:9000"
|
||||||
- "9001:9001"
|
- "127.0.0.1:9001:9001"
|
||||||
volumes:
|
volumes:
|
||||||
- minio-data:/data
|
- minio-data:/data
|
||||||
|
|
||||||
@@ -245,7 +245,7 @@ services:
|
|||||||
- AWS_SECRET_ACCESS_KEY=minioadmin
|
- AWS_SECRET_ACCESS_KEY=minioadmin
|
||||||
- AWS_REGION=us-east-1
|
- AWS_REGION=us-east-1
|
||||||
ports:
|
ports:
|
||||||
- "8090:8080" # Web UI Trino
|
- "127.0.0.1:8090:8080" # Web UI Trino
|
||||||
volumes:
|
volumes:
|
||||||
- ./trino/catalog:/etc/trino/catalog:ro
|
- ./trino/catalog:/etc/trino/catalog:ro
|
||||||
- ./trino/jvm.config:/etc/trino/jvm.config:ro
|
- ./trino/jvm.config:/etc/trino/jvm.config:ro
|
||||||
|
|||||||
@@ -1,5 +1,7 @@
|
|||||||
# Технический reference стенда
|
# Технический reference стенда
|
||||||
|
|
||||||
|
Все опубликованные порты привязаны к `127.0.0.1` хоста. Соединения между контейнерами идут по сети Compose. Для доступа с другого компьютера используй SSH-туннель, например `ssh -N -L 8080:127.0.0.1:8080 user@host` для Spark UI. Публикация портов на всех интерфейсах открывает учебные сервисы без аутентификации внешним клиентам; обычные входящие правила UFW могут не фильтровать опубликованные Docker-порты.
|
||||||
|
|
||||||
Этот документ описывает сам стенд как runtime-среду: сервисы, порты, доступ, основные команды и smoke-тесты.
|
Этот документ описывает сам стенд как runtime-среду: сервисы, порты, доступ, основные команды и smoke-тесты.
|
||||||
|
|
||||||
Если нужен первый student onboarding, используй [START_HERE.md](../START_HERE.md). Если нужна программа курса, используй [course_program.md](./course_program.md).
|
Если нужен первый student onboarding, используй [START_HERE.md](../START_HERE.md). Если нужна программа курса, используй [course_program.md](./course_program.md).
|
||||||
|
|||||||
Reference in new issue
Block a user