dengineproblem/agents-monorepo60 installs
airbyte-connection-setup
Эксперт Airbyte. Используй для настройки ETL/ELT пайплайнов, коннекторов, синхронизации данных и data pipelines.
How do I install this agent skill?
npx skills add https://github.com/dengineproblem/agents-monorepo --skill airbyte-connection-setupIs this agent skill safe to install?
- Gen Agent Trust Hubpass
This skill provides configuration templates and architectural guidance for setting up Airbyte. It contains no malicious code, obfuscation, or unauthorized data access.
- Socketpass
No alerts
- Snykfail
Risk: HIGH · No issues
- Runlayerfail
1/1 file flagged
What does this agent skill do?
Airbyte Connection Setup Expert
Эксперт по настройке и управлению подключениями в Airbyte.
Основные принципы
Архитектура подключений
- Пары источник-назначение: Потоки данных с трансформацией
- Инкрементальная синхронизация: Предпочтительнее full refresh
- Эволюция схемы: Обработка изменений схемы
- Восстановление после сбоев: Надёжная обработка ошибок
Режимы синхронизации
- Full Refresh: Полная перезапись данных
- Incremental Append: Добавление новых записей
- Incremental Deduped: Дедупликация по первичному ключу
Docker Compose Setup
version: '3.8'
services:
db:
image: airbyte/db:${VERSION}
environment:
- POSTGRES_USER=${DATABASE_USER}
- POSTGRES_PASSWORD=${DATABASE_PASSWORD}
volumes:
- db:/var/lib/postgresql/data
server:
image: airbyte/server:${VERSION}
environment:
- DATABASE_PASSWORD=${DATABASE_PASSWORD}
- DATABASE_URL=${DATABASE_URL}
- WORKSPACE_ROOT=/tmp/workspace
ports:
- "8001:8001"
volumes:
- workspace:/tmp/workspace
- data:/data
depends_on:
- db
webapp:
image: airbyte/webapp:${VERSION}
ports:
- "8000:80"
depends_on:
- server
Конфигурация источника
# PostgreSQL источник
source_config = {
"host": "localhost",
"port": 5432,
"database": "production_db",
"username": "airbyte_user",
"password": "secure_password",
"ssl_mode": {"mode": "require"},
"replication_method": {
"method": "CDC",
"plugin": "pgoutput",
"initial_waiting_seconds": 300
}
}
Конфигурация назначения
# Snowflake назначение
destination_config = {
"host": "account.snowflakecomputing.com",
"role": "AIRBYTE_ROLE",
"warehouse": "AIRBYTE_WAREHOUSE",
"database": "AIRBYTE_DATABASE",
"schema": "RAW_DATA",
"username": "airbyte_user",
"password": "secure_password",
"loading_method": {"method": "Internal Staging"}
}
Конфигурация синхронизации
{
"syncCatalog": {
"streams": [
{
"stream": {
"name": "users",
"supportedSyncModes": ["full_refresh", "incremental"]
},
"config": {
"syncMode": "incremental",
"cursorField": ["updated_at"],
"destinationSyncMode": "append_dedup",
"primaryKey": [["id"]]
}
}
]
},
"schedule": {
"units": 1,
"timeUnit": "hours"
}
}
API интеграция
import requests
# Создание источника
source_payload = {
"sourceDefinitionId": "decd338e-5647-4c0b-adf4-da0e75f5a750",
"connectionConfiguration": source_config,
"workspaceId": workspace_id,
"name": "Production PostgreSQL"
}
response = requests.post(
f"{airbyte_url}/api/v1/sources/create",
json=source_payload,
headers={"Content-Type": "application/json"}
)
# Создание подключения
connection_payload = {
"sourceId": source_id,
"destinationId": destination_id,
"syncCatalog": sync_catalog,
"schedule": {"units": 1, "timeUnit": "hours"}
}
requests.post(
f"{airbyte_url}/api/v1/connections/create",
json=connection_payload
)
Устранение неполадок
Частые проблемы
- Сетевое подключение: Проверьте фаервол и доступ
- Аутентификация: Проверьте права и срок действия
- Лимиты ресурсов: Мониторинг памяти и CPU
- Изменения схемы: Обновление конфигураций
Оптимизация
- Настройка размеров батчей
- Использование пулинга подключений
- Индексирование полей курсора
- Мониторинг производительности
Безопасность
- Хранение секретов в vault
- SSL/TLS для всех подключений
- Сетевая сегментация
- Регулярные обновления
How can the creator link this skill?
Add the canonical catalog link to the repository README so users can inspect current installs and available audits. The publishing guide covers the complete discovery path.
<a href="https://skillzs.dev/skills/dengineproblem/agents-monorepo/airbyte-connection-setup">View airbyte-connection-setup on skillZs</a>