ついにGoogle Cloud版Dataformがプレビューに!!

Google Cloud

ついにGoogle Cloud版Dataformがプレビューに!!

Google CloudのBigQueryメニューからDataformが使える!

2020年にGoogle Cloudによって買収されたDataform(イギリスのスタートアップが開発したELTサービス)がプレビューとなり、Google Cloudの公式ドキュメント内にもDataformが追加されました。

Dataform  |  Google Cloud
Develop and operationalize scalable data transformations pipelines in BigQuery using SQL.

現状ではまだプレビューのため、全ての機能が解放されているわけではないとのことですが、Google Cloudのサービスだけでデータパイプライン処理が全て完結するというのはかなり素晴らしいことかと思います。(プレビュー版を利用するための申請が必要みたいです)

データエンジニアリング界隈では昨年あたりからDataformとほぼ同じ用途のサービスであるdbtの需要が高まっており、またTwitter界隈でもdbtに関するツイートがかなり増えており賑やかな感じになっています。

私はまだDataformもdbtも本格的には利用していませんが、個人的にはBigQueryユーザの場合はGoogle Cloud内で全て完結するDataformのほうがおススメなのかなと思ったりしています。ただ、DataformがGoogle Cloudに買収されてからしばらく新しい情報がなかった間に一気にdbtが浸透してしまったため、状況によってはdbtを触ることにもなるかもしれません。

Dataformやdbtのようなサービスを始め、データエンジニアリング関連の技術はまさに日進月歩のため、これからも日々情報収集を進めていきたいと思います。

コメント

タイトルとURLをコピーしました