#AuroraMySQL
#うひーメモ
2023-11-10 16:07:20
Zero-ETL integrationの実用を試みた。 しかし、Aurora MySQLの中身の〇〇が多すぎて失敗した。
#技術系ブログ等
#zeroetlintegration
#able
#amazon
Zero-ETL integrationの実用を試みた。 しかし、Aurora MySQLの中身の〇〇が多すぎて失敗した。
SREチームの池田ですRedshiftが大好きなバケツアイコンの人です先日AuroraMySQLとRedshiftのZeroETLintegrationがGAGenerallyAvailable一般提供開始しましたawsamazoncomこの記事は早速ZeroETLintegrationの実戦投入を試してみたという内容ですなおこの記事は失敗事例になりますがZeroETLintegrationはとても素晴らしい機能ですので皆様も是非お使いくださいはじめにZeroETLintegrationはAuroraMySQLのデータをニアリアルタイムでRedshiftに同期してくれる素晴らしい機能ですマネージメントコンソールから数ステップでAuroraMySQLの中のすべてのテーブルをRedshiftに同期してくれます今回このZeroETLintegrationを早速使ってみたという内容になりますどのようなAuroraMySQLを対象にしたかというと次のようなSQLの結果が返ってくるClusterを対象にしましたMySQLnonegtSELECTCOUNTDISTINCTtableschemaasschemacountCOUNTastablecountFROMinformationschematableswheretableschemanotinmysqlinformationschemaschemacounttablecountrowinsetsecMySQLnonegtこのような結果が返ってくるAuroraMySQLの内容をRedshiftのraxlplusのシングルノードで運用されてるProvisionedClusterに同期しましたもしここまでで今回の内容のオチがわかったのならば貴方はRedshiftに関して熟知していることでしょうさて実際にZeroETLintegrationをした結果一体どうなるのでしょうかZeroETLintegration自体は問題なく作成できますGAになったばかりの新機能もちろんprodの本番環境で試すのは危険ですそこでまずはdev環境で実用してみようとおもい意気揚とdevauroraという名前のZeroETLintegrationを作成しました作成流石にテーブル数が多いのか作成自体に分程かかりましたが無事に作成できましたそしてQueryEditorvでRedshiftの中身を確認してみると次の図のようになりましたZeroETLで同期されたテーブルの様子このようにmirageというプレフィックスのスキーマがたくさん作成されてテーブルも順次作成されているようですZeroETLinegrationではltzeroetlで指定したdb名gtltmysqlのdb名gtltmysqlのtable名gtという形で同期されるようですここで同期されているテーブルについて補足説明しますこのプロダクトでは以前当TechBlogで紹介したmirageecsという仕組みを使い開発環境をたくさん立てていますtechblogkayaccomそして開発環境のAuroraMySQLにはmiragelt環境名gtltマイクロサービス名gtという命名規則でデータベースが作成されていますこのプロダクトではたくさんの環境を作ってしっかりと検証しながら開発してるため多くのmirage環境のデータが残っているのでこのようにmirageというプレフィックスのMySQLデータベースが存在している状態になっていますそしてそのMySQLを同期した結果が大量のRedshift上のスキーマーとテーブルになります順調に同期されているようなのでしばらく様子をみつつQuickSightからデータを見ようとしたとき異変が起きましたあれRedshiftの様子がQuickSightでZeroETLintegrationで同期しているテーブルとは別のテーブルを見ようとしたとき次のようなエラーが発生しましたZeroETLintegrationのメトリックの方も見てみると次のようになってました見事に途中でテーブルの同期が止まっていますこれはどういうことかと言うと次のドキュメントを読むと疑問が解決しますdocsawsamazoncomTablesforxlplusclusternodetypewithasinglenodeclusterThemaximumnumberoftablesforthexlplusclusternodetypewithasinglenodeclusterThislimitincludespermanenttablestemporarytablesdatasharetablesandmaterializedviewsExternaltablesarecountedastemporarytablesTemporarytablesincludeuserdefinedtemporarytablesandtemporarytablescreatedbyAmazonRedshiftduringqueryprocessingorsystemmaintenanceViewsandsystemtablesarentincludedinthislimitRedshiftのraxlplusのシングルノードの場合テーブル数は件が上限でその上限に引っかかりましたこのRedshiftでは既存ワークロードでテンポラリテーブル等も含めてテーブルほど存在するときがありテーブルほどZeroETLintegrationで同期した後に上限に当たって同期が失敗してしまいました同期が成功している約テーブルには継続的に最新のデータが届いているようでしたのでその点に関してZeroETLintegrationすごいとなりましたしかし流石にコレでは実用できないので一旦ZeroETLintegrationを削除して同期されたdatabaseを削除しましたということでタイトル回収ZeroETLintegrationの実用を試みたしかしAuroraMySQLの中身のテーブルが多すぎて失敗したでしたこれからどうするのが良いのか繰り返しになりますがZeroETLintegarationはとても素晴らしい機能ので積極的に使っていきたいですそのためにテーブル数の問題をどうにかする必要がありますその問題を解決する策として現在アクティブではないmirageの環境のデータを定期的に消す現在参照されていないRedshiftのデータマートや記録用に保持しているデータをSにUnloadしてRedshiftから削除するRedshiftのノード数を増やすノードをmultiノードにするとまで増えるInstanceタイプを大きくするraxlargeにするとまで増える一部の独立性の高いデータをRedshiftServerlessに分割して配置するなどが考えられますコストを据え置きで考えるならば最初の案から手を付けるのが良いと思っていますこの機会に開発用AuroraMySQLとRedshiftClusterのデータのお掃除してから再度ZeroETLintegarationを使おうと思っていますまたZeroETLintegrationのPreviewの時にも同期するテーブルをフィルタする機能の要望はしていますこの記事が公開される頃にはサポートケースでも要望をすると思いますので追加機能とかで今回の問題が別の形で解決できることも少し期待してますカヤックでは整理整頓が得意なエンジニアを募集していますhubspotkayaccom
techblog.kayac.com
November 10, 2023 at 7:07 AM
#うひーメモ
2023-11-08 11:04:05
Amazon RedshiftへのAurora MySQL zero-ETLが一般提供を開始しました
#技術系ブログ等
#amazonredshift
#aurora
#auroramysqlzeroetl
Amazon RedshiftへのAurora MySQL zero-ETLが一般提供を開始しました
データアナリティクス事業本部機械学習チームの鈴木ですAmazonRedshiftへのAuroraMySQLzeroETLが一般提供を開始しました東京リージョンでも利用可能ですAuroraMySQL
dev.classmethod.jp
November 8, 2023 at 2:04 AM
#うひーメモ
2023-10-30 16:08:04
週刊AWS – 2023/10/23週
#AWS
#amazon
#aurora
#aurorapostgresql
週刊AWS – 2023/10/23週
ことしもやりますAWSBlackBeltOnlineSeminarreinvent特集号AmazonOpenSearchServerlessの時刻に基づく自動データ削除とIPvサポートEKSの独自IAMポリシーサポートAuroraPostgreSQLのpgvectorvサポートAuroraMySQLの長期サポート発表などをお知らせ
aws.amazon.com
October 30, 2023 at 7:08 AM
RDSからAuroraへのマイグレーション "Migrate from RDS MySQL to Aurora MySQL" https://aws.amazon.com/jp/getting-started/hands-on/migrate-rdsmysql-to-auroramysql/ #MySQL #aws
August 22, 2023 at 12:31 AM
#ばばさん通信ダイジェスト 賛否関わらず話題になった/なりそうなものを共有しています。

AuroraMySQL 負荷試験報告 〜結局のところスキーマ分離のDB設計ってどうなの?〜 その1
https://tech.mntsq.co.jp/entry/2025/10/28/130041
AuroraMySQL 負荷試験報告 〜結局のところスキーマ分離のDB設計ってどうなの?〜 その1 - MNTSQ Techブログ
はじめに スキーマ分離と行分離 目的と結論 目的 結論のサマリ 試験内容 試験環境とツール 負荷の設計 本番環境でのクエリ傾向の分析 QPSの測定 進め方 試験結果 スキーマ分離のボトルネック スキーマ数を固定して負荷をあげてみる 結果まとめ なんとか延命したい はじめに 弊社が採用しているDB設計は、テナントごとに独立したスキーマを持つ「スキーマ分離」 のデータ構造に基づいています。このアーキテクチャは、高いデータ分離性とセキュリティを確保できる一方で、「スキーマ数の増加に伴ってパフォーマンスが劣化する」という性質が指摘されます。 サービスのスケールにおいてこの「性能劣化」が、いつ、どのよう…
tech.mntsq.co.jp
November 5, 2025 at 5:56 AM
AuroraMySQL 8.0.mysql_aurora.3.05.2 から 8.0.mysql_aurora.3.07.1 へのアップグレード、zero downtime有効なのか!
知らなかったー
September 13, 2024 at 4:20 AM
https://tech.mntsq.co.jp/entry/2025/10/28/130041
AuroraMySQLのスキーマ分離設計における負荷試験の結果を報告しています。
スキーマ数の増加がパフォーマンスに与える影響を検証しています。
600テナントを超えると性能劣化が顕著になるという結論に至りました。
AuroraMySQL 負荷試験報告 〜結局のところスキーマ分離のDB設計ってどうなの?〜 その1 - MNTSQ Techブログ
はじめに スキーマ分離と行分離 目的と結論 目的 結論のサマリ 試験内容 試験環境とツール 負荷の設計 本番環境でのクエリ傾向の分析 QPSの測定 進め方 試験結果 スキーマ分離のボトルネック スキーマ数を固定して負荷をあげてみる 結果まとめ なんとか延命したい はじめに 弊社が採用しているDB設計は、テナントごとに独立したスキーマを持つ「スキーマ分離」 のデータ構造に基づいています。このアーキテクチャは、高いデータ分離性とセキュリティを確保できる一方で、「スキーマ数の増加に伴ってパフォーマンスが劣化する」という性質が指摘されます。 サービスのスケールにおいてこの「性能劣化」が、いつ、どのよう…
tech.mntsq.co.jp
October 28, 2025 at 11:55 PM
AuroraMySQL 負荷試験報告 〜結局のところスキーマ分離のDB設計ってどうなの?〜 その1 - MNTSQ Techブログ
https://tech.mntsq.co.jp/entry/2025/10/28/130041
AuroraMySQL 負荷試験報告 〜結局のところスキーマ分離のDB設計ってどうなの?〜 その1 - MNTSQ Techブログ
はじめに スキーマ分離と行分離 目的と結論 目的 結論のサマリ 試験内容 試験環境とツール 負荷の設計 本番環境でのクエリ傾向の分析 QPSの測定 進め方 試験結果 スキーマ分離のボトルネック スキーマ数を固定して負荷をあげてみる 結果まとめ なんとか延命したい はじめに 弊社が採用しているDB設計は、テナントごとに独立したスキーマを持つ「スキーマ分離」 のデータ構造に基づいています。このアーキテクチャは、高いデータ分離性とセキュリティを確保できる一方で、「スキーマ数の増加に伴ってパフォーマンスが劣化する」という性質が指摘されます。 サービスのスケールにおいてこの「性能劣化」が、いつ、どのよう…
tech.mntsq.co.jp
October 28, 2025 at 10:38 AM