背景介紹：序列建模的現狀與挑戰
在深度學習的早期，序列建模大多依賴於 RNNs，如LSTM和GRU，這些模型利用時間步驟一個接一個地處理數據。然而，隨著序列長度增加，這些模型在計算效率和記憶保持方面的局限性逐漸顯現。
隨著Transformer架構的出現，序列建模進入了一個全新的時代。Transformer透過Self-Attention Mechanism，可以在單次計算中捕捉整個序列的全局依賴關係，使得處理平行化，並在語言建模、機器翻譯等任務中取得了優異表現。
但隨著序列變得更長，Transformer也面臨了不可忽視的計算挑戰。
Transformer的優勢與限制
優勢：Transformer的自注意力機制允許模型「查看」序列中的每一個元素與其他元素的關係，從而能夠學習到序列中的全局依賴關係。這在處理相對較短的文本時非常有效，因為它可以在單步操作中捕捉到整體結構。此外，自注意力的平行計算特性使得Transformer在計算資源充足的情況下效率很高，這也是它在NLP領域迅速走紅的原因。
限制：然而，自注意力機制的計算複雜度隨著序列長度的平方增長（O(n^2)），這意味著在處理極長序列時，計算和內存需求會成為巨大的瓶頸。例如，在文本生成、長序列的視頻理解或基因序列分析等應用中，序列可能包含數萬甚至數十萬的元素。Transformer架構的高計算複雜度讓其在這些場景中變得不切實際。
這種瓶頸成為了目前AI研究領域的一大挑戰：如何在保留高性能的同時，設計出更具計算效率的模型來處理超長序列。
為何需要Mamba？
為了解決Transformer在長序列處理上的不足，研究者們嘗試了許多方法，如Linear Attention、LSTM 以及混合模型等。然而，這些方法通常要麼無法有效保持長距離依賴，要麼計算性能未能達到預期。
在這樣的背景下，Mamba應運而生。Mamba引入了 SSM (Structured State Space Model)和選擇性機制，結合了狀態空間模型的靈活性和自注意力的全局依賴捕捉能力。透過這種結合，Mamba能夠在長序列建模任務中實現近似線性的計算效率，填補了Transformer在長序列處理中的性能不足。
Mamba的核心理念是利用狀態空間模型來建模序列中的結構化信息，使得模型可以在保留高效記憶的同時，動態選擇並保留長序列中的關鍵信息，過濾掉無關的信息，從而在長距離依賴捕捉上表現出色。