Salesforce Big Objects 徹底解説：データエンジニアが語る大規模データストレージの活用術

背景と適用シナリオ

Salesforce データエンジニアとして、私は日々、膨大な量のデータと向き合っています。顧客データ、取引履歴、IoTデバイスからのセンサーデータ、ウェブサイトのクリックストリームなど、企業が扱うデータの規模は指数関数的に増大しています。Salesforce プラットフォームは強力なデータ管理機能を提供しますが、標準オブジェクトやカスタムオブジェクトは、数億、数十億レコードといった超大規模データを扱うために最適化されているわけではありません。データ量が増えるにつれて、パフォーマンスの低下、ガバナ制限への抵触、ストレージコストの増大といった課題が顕在化します。

ここで登場するのが Big Objects (ビッグオブジェクト) です。Big Objects は、Salesforce Platform 上で数十億レコード規模のデータをネイティブに格納し、一貫したパフォーマンスで処理するために設計されたスケーラブルなデータストレージソリューションです。私たちデータエンジニアにとって、これは単なる「大きなテーブル」ではありません。これは、大規模データセットを扱うための全く新しいアプローチを可能にする戦略的ツールなのです。

具体的な適用シナリオとしては、以下のようなものが挙げられます。

360度顧客ビューの実現

顧客のあらゆる接点（ウェブサイトの閲覧履歴、メールの開封、製品の利用状況、サポートへの問い合わせ履歴など）を時系列で記録します。これらのデータは膨大になりますが、Big Objects に格納することで、顧客の行動パターンを分析し、よりパーソナライズされた体験を提供するためのインサイトを得ることができます。

監査とコンプライアンス

金融サービスやヘルスケア業界では、長期的なデータ保持が法的に義務付けられています。標準オブジェクトである `FieldHistoryArchive` は、実は Big Object の一例です。同様に、カスタム Big Objects を使用して、変更不可能な監査ログやアクセス履歴を長期間、セキュアかつ低コストで保管できます。

IoTとイベントデータの追跡

スマートデバイスや産業機械から送られてくる大量のセンサーデータやイベントログをリアルタイムでキャプチャし、蓄積します。これにより、予知保全や製品利用状況の分析など、データ駆動型のサービス開発が可能になります。

これらのシナリオに共通するのは、データが「書き込み中心」であり、一度書き込まれた後はほとんど変更されないという特性です。Big Objects は、このような大規模かつ不変的なデータセットを扱う上で、その真価を発揮します。

原理説明

Big Objects の強力なスケーラビリティを理解するためには、その背後にある技術的な原理を把握することが不可欠です。標準オブジェクトが従来のリレーショナルデータベース（Oracle）を基盤としているのに対し、Big Objects は Apache HBase のような実績ある分散型 NoSQL データベース技術を基盤としています。このアーキテクチャの違いが、Big Objects の特性を決定づけています。

インデックス (Index) の重要性

Big Objects を扱う上で最も重要な概念は Index (インデックス) です。これは、Big Object のレコードを一意に識別し、クエリのパフォーマンスを決定づける「主キー」の役割を果たします。

インデックスは、最大5つの項目（フィールド）から構成される複合キー (Composite Key) です。インデックスを定義する際、項目の順序が極めて重要になります。なぜなら、Big Objects に対するクエリは、このインデックスの左側から順番に項目を指定してフィルタリングする必要があるからです。例えば、`AccountId__c`、`InteractionType__c`、`EventDateTime__c` の順でインデックスを定義した場合、効率的なクエリを実行するには、少なくとも `AccountId__c` をフィルタ条件に含める必要があります。`InteractionType__c` だけで検索しようとすると、パフォーマンスが著しく低下するか、クエリが失敗します。

このインデックス設計は、データエンジニアの腕の見せ所です。将来のデータアクセスパターンを予測し、最も効率的にデータを取得できるインデックスを設計することが、Big Objects プロジェクトの成功の鍵を握ります。一度定義したインデックスは後から変更できないため、設計段階での慎重な検討が求められます。

データアクセス方法

Big Objects のデータには、いくつかの方法でアクセスしますが、それぞれに特徴があります。

SOQL (Salesforce Object Query Language): 標準オブジェクトと同様に SOQL を使用できますが、前述の通り、インデックスに基づいた厳格なフィルタリングが必須です。少量の特定レコードを高速に取得するのに向いています。
Async SOQL (非同期SOQL): 数百万、数千万といった大量のレコードを抽出・処理するための機能です。クエリをバックグラウンドジョブとして実行し、結果を別のオブジェクト（通常は CSV ファイルとして添付された `AsyncApexJob` レコード）に出力します。大規模なデータ分析や他システムへのデータ連携に不可欠なツールです。
Bulk API 2.0: 大量のデータを Big Objects にロードするための主要な手段です。非同期で実行され、高いスループットを実現します。

データエンジニアとしては、これらのツールの特性を理解し、ユースケースに応じて最適なものを選択する能力が求められます。

示例代码

ここでは、カスタム Big Object を定義し、データを挿入し、そしてクエリする方法を具体的なコードで示します。これらのコードは Salesforce 公式ドキュメントに基づいています。

カスタムビッグオブジェクトの定義

Big Objects はメタデータ API を通じて定義されます。以下は、顧客のインタラクションログを保存するための `Customer_Interaction__b.object-meta.xml` ファイルの例です。

<?xml version="1.0" encoding="UTF-8"?>
<CustomObject xmlns="http://soap.sforce.com/2006/04/metadata">
    <deploymentStatus>Deployed</deploymentStatus>
    <fields>
        <fullName>AccountId__c</fullName>
        <label>Account ID</label>
        <length>18</length>
        <required>true</required>
        <type>Text</type>
        <unique>false</unique>
    </fields>
    <fields>
        <fullName>Interaction_Type__c</fullName>
        <label>Interaction Type</label>
        <length>255</length>
        <required>true</required>
        <type>Text</type>
        <unique>false</unique>
    </fields>
    <fields>
        <fullName>Event_DateTime__c</fullName>
        <label>Event DateTime</label>
        <required>true</required>
        <type>DateTime</type>
    </fields>
    <fields>
        <fullName>Details__c</fullName>
        <label>Details</label>
        <length>131072</length>
        <type>LongTextArea</type>
        <visibleLines>3</visibleLines>
    </fields>
    <indexes>
        <fullName>InteractionIndex</fullName>
        <label>Interaction Index</label>
        <fields>
            <name>AccountId__c</name>
            <sortDirection>ASC</sortDirection>
        </fields>
        <fields>
            <name>Interaction_Type__c</name>
            <sortDirection>ASC</sortDirection>
        </fields>
        <fields>
            <name>Event_DateTime__c</name>
            <sortDirection>DESC</sortDirection>
        </fields>
    </indexes>
    <label>Customer Interaction</label>
    <pluralLabel>Customer Interactions</pluralLabel>
</CustomObject>

詳細な注釈

<fields>: Big Object の項目を定義します。Text, LongTextArea, DateTime, Number, Lookup などの型が利用可能です。
<indexes>: 最も重要なセクションです。ここで複合主キーを定義します。
<name>: インデックスに含める項目名を指定します。
<sortDirection>: 各項目のソート順（ASC または DESC）を指定します。この例では `Event_DateTime__c` を降順（DESC）にしているため、最新のインタラクションが先頭に来るようにソートされます。

Apexによるデータ挿入

Big Objects へのデータ挿入には、標準のDMLステートメント（`insert`）ではなく、`Database.insertImmediate()` メソッドを使用します。これは、Big Objects がトランザクションの制御外で動作するためです。

// 挿入する Big Object レコードのリストを作成
List<Customer_Interaction__b> interactionsToInsert = new List<Customer_Interaction__b>();

// 1つ目のレコード
Customer_Interaction__b interaction1 = new Customer_Interaction__b();
interaction1.AccountId__c = '001xx000003DHPpAAO';
interaction1.Interaction_Type__c = 'Website Visit';
interaction1.Event_DateTime__c = Datetime.newInstance(2023, 10, 26, 10, 30, 0);
interaction1.Details__c = 'Visited pricing page.';
interactionsToInsert.add(interaction1);

// 2つ目のレコード
Customer_Interaction__b interaction2 = new Customer_Interaction__b();
interaction2.AccountId__c = '001xx000003DHPpAAO';
interaction2.Interaction_Type__c = 'Email Open';
interaction2.Event_DateTime__c = Datetime.newInstance(2023, 10, 27, 9, 0, 0);
interaction2.Details__c = 'Opened marketing newsletter.';
interactionsToInsert.add(interaction2);

// Database.insertImmediate を使用してレコードを即時挿入
List<Database.SaveResult> saveResults = Database.insertImmediate(interactionsToInsert);

// 結果をチェック
for (Database.SaveResult sr : saveResults) {
    if (sr.isSuccess()) {
        System.debug('Successfully inserted interaction with ID: ' + sr.getId());
    } else {
        for (Database.Error err : sr.getErrors()) {
            System.debug('The following error has occurred.');
            System.debug(err.getStatusCode() + ': ' + err.getMessage());
            System.debug('Fields that affected this error: ' + err.getFields());
        }
    }
}

詳細な注釈

`__b`: Big Object の API 名のサフィックスは `__b` となります。
`Database.insertImmediate(records)`: このメソッドは、リスト内の Big Object レコードをデータベースに直接、同期的に挿入します。ガバナ制限（DML行数など）の対象外ですが、独自の制限があります。

Async SOQLによるデータクエリ

大量のデータを Big Object から抽出するには、Async SOQL が最適です。以下は、Apex を使って Async SOQL ジョブを起動する例です。実際には REST API を直接呼び出すことが多いですが、Apex からも実行可能です。

// Async SOQL クエリを定義
// 対象オブジェクトとして CSV を指定し、クエリを記述
String query = 'SELECT AccountId__c, Interaction_Type__c, Event_DateTime__c FROM Customer_Interaction__b WHERE AccountId__c = \'001xx000003DHPpAAO\'';

// REST API エンドポイントにリクエストを送信
HttpRequest req = new HttpRequest();
// Async SOQL のエンドポイント
req.setEndpoint(URL.getOrgDomainUrl().toExternalForm() + '/services/data/v59.0/async-queries');
req.setMethod('POST');
req.setHeader('Authorization', 'Bearer ' + UserInfo.getSessionId());
req.setHeader('Content-Type', 'application/json');

// リクエストボディを作成
Map<String, String> queryMap = new Map<String, String>{'query' => query};
req.setBody(JSON.serialize(queryMap));

// リクエストを送信し、レスポンスを取得
Http http = new Http();
HttpResponse res = http.send(req);

// レスポンスをパースしてジョブIDを取得
if (res.getStatusCode() == 201) { // 201 Created
    Map<String, Object> responseMap = (Map<String, Object>) JSON.deserializeUntyped(res.getBody());
    String jobId = (String) responseMap.get('id');
    System.debug('Async SOQL job submitted with ID: ' + jobId);
    // この後、jobId を使って定期的にジョブのステータスを確認し、
    // 'JobComplete' になったら結果を取得する処理を実装します。
} else {
    System.debug('Error submitting Async SOQL job: ' + res.getBody());
}

詳細な注釈

Async SOQL Endpoint: `/services/data/vXX.X/async-queries` に対してPOSTリクエストを送信することでジョブを開始します。
`query`: 実行したいSOQLクエリをリクエストボディに含めます。
Job ID: ジョブが正常に投入されると、一意のジョブIDが返されます。このIDを使って、`AsyncApexJob` オブジェクトをクエリし、ジョブの進捗状況（`Status`項目が `Queued`, `InProgress`, `Completed`, `Failed` など）を確認できます。
結果の取得: ジョブが完了すると、結果はCSVファイルとして `AsyncApexJob` レコードに添付されるか、指定した場所に格納されます。

注意事項

Big Objects は非常に強力ですが、その特性上、いくつかの重要な制約があります。これらを理解せずに導入すると、期待した効果が得られない可能性があります。

クエリの制約

インデックス必須: クエリの `WHERE` 句は、インデックスで定義された項目を、定義された順序でフィルタリングする必要があります。インデックスの最初の項目を省略して、2番目の項目だけでフィルタすることはできません。
演算子の制限: インデックスの最後の項目以外では、`=`（等しい）または `IN` 演算子しか使用できません。最後の項目では、`>`, `<`, `>=`, `<=` も使用できます。
サポートされない機能: `LIKE`, `OR`, `NOT IN`, `!=` などの演算子は使用できません。また、集計関数（`COUNT()` を除く）や `GROUP BY` もサポートされていません。

UIとレポート

標準UIなし: Big Objects には、標準のタブ、リストビュー、詳細ページは存在しません。データを確認するには、カスタムの Lightning Web Component (LWC) などを開発する必要があります。
標準レポート非対応: Salesforce の標準レポートおよびダッシュボード機能で Big Objects のデータを直接集計することはできません。分析には Tableau CRM (旧 Einstein Analytics) や、Async SOQL でデータを抽出し、外部のBIツールを利用するなどのアプローチが必要です。

データ操作と自動化

更新・削除の制限: 標準の `update` や `delete` DML 操作はサポートされていません。レコードの削除は `Database.deleteImmediate()` や Async SOQL の `HardDelete` ジョブなど、特別な方法で行う必要があります。
自動化の非対応: Trigger, Flow, Process Builder, Workflow Rule, Validation Rule といった、Salesforce の標準的な自動化ツールは一切動作しません。

権限

ユーザーが Big Objects のデータにアクセスするには、プロファイルまたは権限セットで「ビッグオブジェクトの参照」および「ビッグオブジェクトの編集」権限を明示的に付与する必要があります。

まとめとベストプラクティス

Salesforce Big Objects は、プラットフォーム上で前例のない規模のデータを扱うための、データエンジニアにとっての強力な武器です。しかし、それは万能薬ではなく、特定の用途に特化した特殊なツールです。標準オブジェクトやカスタムオブジェクトを置き換えるものではなく、それらを補完する存在として位置づけるべきです。

Big Objects を成功裏に活用するためのベストプラクティスを以下にまとめます。

インデックス設計を最優先する: これが最も重要な点です。「このデータをどのように検索・取得したいか？」という問いから始め、そのアクセスパターンに最適化されたインデックスを設計してください。この設計が、将来のアプリケーションのパフォーマンスと拡張性を決定します。
適切なツールを選択する: データのロードには Bulk API 2.0、大量データの抽出・分析には Async SOQL、特定の少数のレコード取得には同期SOQL、とユースケースに応じて最適なデータアクセス方法を選択してください。
データライフサイクルを計画する: データを Big Objects にアーカイブする戦略（どのデータを、いつ、どのくらいの頻度で移動させるか）、データ保持ポリシー、そして将来的にデータを削除する必要があるかどうかを事前に計画しておくことが重要です。
分析と可視化の戦略を立てる: Big Objects に格納したデータからビジネス価値を引き出すためには、分析・可視化の戦略が不可欠です。Tableau CRM のようなネイティブツールを活用するのか、外部のデータウェアハウスやBIツールと連携するのかを早期に決定し、アーキテクチャを設計してください。

Big Objects を正しく理解し、これらのベストプラクティスに従うことで、Salesforce を単なるCRMから、エンタープライズ規模のデータハブへと昇華させることが可能になります。私たちデータエンジニアの役割は、この強力な機能を最大限に引き出し、データから真の価値を創造することにあるのです。

にゃんこのSalesforce日記

このブログを検索