并行算法就是用多臺處理機 聯合求解問題的方法和步驟,其執行過程是將給定的問題首先分解成若干個盡量相互獨立的子問題,然后使用多臺計算機同時求解它,從而最終求得原問題的解.

定義
      并行算法是并行計算中非常重要的問題。并法研究應該確立一個“理論－設計－實現－應用”的系統方法，形成一個完善的 “架構—算法—編程” 方法論，這樣才能保證并行算法不斷發展并變得更加實用。
并行算法簡介
      簡單的說，算法就是求解問題的方法和步驟。并行算法，就是在并行機上用很多個處理器聯合求解問題的方法和步驟。實際上，在自然界中并行是客觀存在的普遍現象，關鍵問題在于能不能很好的利用。由于人們的思維能力以及思考問題的方法對并行不太習慣，且并行算法理論不成熟，所以總是出現了需求再來研究算法，不具有導向性，同時實現并行算法的并行程序性能較差，往往滿足不了人們的需求。并行算法的研究歷史可簡單歸納為：上世紀70到80年代，并行算法研究處于高潮；到上世紀90年代跌入低谷；目前，又處于研究的熱點階段?，F在，人們已經可以自己搭建PC cluster，利用學習到的理論知識來解決實際問題，不再是紙上談兵，這也為我們提供了新的機遇和挑戰。
并行算法的研究內容
      (1) 、并行計算模型 并行算法作為一門學科，首先研究的是并行計算模型。并行計算模型是算法設計者與體系結構研究者之間的一個橋梁，是并行算法設計和分析的基礎。它屏蔽了并行機之間的差異，從并行機中抽取若干個能反映計算特性的可計算或可測量的參數，并按照模型所定義的計算行為構造成本函數，以此進行算法的復雜度分析。
并行計算模型的第一代是共享存儲模型，如SIMD-SM和MIMD-SM的一些計算模型，模型參數主要是CPU的單位計算時間，這樣科學家可以忽略一些細節，集中精力設計算法。第二代是分布存儲模型。在這個階段，人們逐漸意識到對并行計算機性能帶來影響的不僅僅是CPU，還有通信。因此如何把不同的通信性能抽象成模型參數，是這個階段的研究重點。第三代是分布共享存儲模型，也是我們目前研究所處的階段。隨著網絡技術的發展，通信延遲固然還有影響，但對并行帶來的影響不再像當年那樣重要，注重計算系統的多層次存儲特性的影響。
      (2)、 設計技術并行算法研究的第二部分是并行算法的設計技術。雖然并行算法研究還不是太成熟，但并行算法的設計依然是有章可循的，例如劃分法、分治法、平衡樹法、倍增法/指針跳躍法、流水線法破對稱法等都是常用的設計并行算法的方法。另外人們還可以根據問題的特性來選擇適合的設計方法。
      (3) 、并行算法分為多機并行和多線程并行。多機并行，如MPI技術；多線程并行，如OpenMP技術。