在程式設計和數據處理領域，集合通信（collective communication）是並行計算中用於多個進程之間交換數據的操作。以下是常見的集合通信操作及其含義：
1. 廣播（Broadcast）#
- 操作：將數據從一個進程發送給所有其他進程。
- 含義：一個進程擁有某個數據，它需要將該數據分發給所有其他進程。這通常用於使所有進程共享某個相同的值。
- 示例：在分佈式計算中，一個主進程需要將配置參數發送給所有工作進程。
2. 归约（Reduce）#
- 操作：將多個進程的數據按照某種運算（如求和、最大值、最小值等）聚合，並將結果發送到一個指定的進程。
- 含義：多個進程各自擁有一部分數據，想要通過某種合併操作得到一個最終結果，並將其傳遞給主進程。
- 示例：求各個節點計算結果的總和，然後將總和傳遞給主節點。
3. 全归约（All-Reduce）#
- 操作：與归约相似，但最終的归约結果會發送給所有進程。
- 含義：所有進程需要共享归约操作後的最終結果，而不是僅發送給一個進程。
- 示例：在深度學習中，多節點需要同步梯度信息以更新模型參數。
4. 散播（Scatter）#
- 操作：將一個進程中的數據分塊，分別發送給其他進程，每個進程接收到其中一部分。
- 含義：一個進程擁有大量數據，需要分配給多個進程以便進行分佈式計算。
- 示例：在矩陣乘法中，將一部分矩陣行分配給不同節點進行並行計算。
5. 收集（Gather）#
- 操作：與散播操作相反，多個進程各自擁有數據，最終將它們聚集到一個進程中。
- 含義：多個進程處理完各自部分的數據後，需要將結果合併到一個進程。
- 示例：在並行處理後，主進程需要收集各個子進程的結果來構建最終結果。
6. 全收集（All-Gather）#
- 操作：每個進程將自己的數據發送給所有其他進程。
- 含義：每個進程擁有獨立的數據，最終所有進程都需要共享所有進程的數據。
- 示例：在分佈式學習中，每個節點的局部梯度需要發送給所有其他節點以便更新參數。
7. 全对等（All-to-All）#
- 操作：每個進程將自己的數據發送給所有其他進程，並且每個進程也會接收到來自所有其他進程的數據。
- 含義：所有進程需要彼此交換數據，通常用於需要全局通信的場景。
- 示例：在並行排序算法中，各個節點需要交換部分排序數據以進行全局排序。
8. 扫描（Scan）#
- 操作：按順序累積多個進程的數據，結果是每個進程都收到該進程及之前進程的數據累積結果。
- 含義：一種前綴累積操作，各個進程獲取到之前所有進程數據的合併結果。
- 示例：用於計算累積和或累積乘積等操作。
這些集合通信操作在分佈式計算和並行算法中非常重要，它們幫助多個處理單元高效地進行數據交換和同步。