㈠ 數學建模-方法合集
線性規劃（Linear programming,簡稱LP）是運籌學中研究較早、發展較快、應用廣泛、方法較成熟的一個重要分支，它是輔助人們進行科學管理的一種數學方法。研究線性約束條件下線性目標函數的極值問題的數學理論和方法。英文縮寫LP。它是運籌學的一個重要分支，廣泛應用於軍事作戰、經濟分析、經營管理和工程技術等方面。為合理地利用有限的人力、物力、財力等資源作出的最優決策，提供科學的依據。
0-1規劃是決策變數僅取值0或1的一類特殊的整數規劃。在處理經濟管理中某些規劃問題時，若決策變數採用 0-1變數即邏輯變數，可把本來需要分別各種情況加以討論的問題統一在一個問題中討論。
蒙特卡羅法(Monte Carlo method)是以概率與統計的理論、方法為基礎的一種計算方法，蒙特卡羅法將所需求解的問題同某個概率模型聯系在一起，在電子計算機上進行隨機模擬，以獲得問題的近似解。因此，蒙特卡羅法又稱隨機模擬法或統計試驗法。
在生活中經常遇到這樣的問題，某單位需完成n項任務，恰好有n個人可承擔這些任務。由於每人的專長不同，各人完成任務不同(或所費時間)，效率也不同。於是產生應指派哪個人去完成哪項任務，使完成n項任務的總效率最高(或所需總時間最小)。這類問題稱為指派問題或分派問題。
無約束最優化方法是求解無約束最優化問題的方法，有解析法和直接法兩類。
解析法
解析法就是利用無約束最優化問題中目標函數 f(x) 的解析表達式和它的解析性質（如函數的一階導數和二階導數），給出一種求它的最優解 x 的方法，或一種求 x 的近似解的迭代方法。
直接法
直接法就是在求最優解 x*的過程中，只用到函數的函數值，而不必利用函數的解析性質，直接法也是一種迭代法，迭代步驟簡單，當目標函數 f(x) 的表達式十分復雜，或寫不出具體表達式時，它就成了重要的方法。
可用來解決管路鋪設、線路安裝、廠區布局和設備更新等實際問題。基本內容是：若網路中的每條邊都有一個數值（長度、成本、時間等），則找出兩節點（通常是源節點和阱節點）之間總權和最小的路徑就是最短路問題。 [1]
例如：要在n個城市之間鋪設光纜，主要目標是要使這 n 個城市的任意兩個之間都可以通信，但鋪設光纜的費用很高，且各個城市之間鋪設光纜的費用不同，因此另一個目標是要使鋪設光纜的總費用最低。這就需要找到帶權的最小生成樹
管道網路中每條邊的最大通過能力（容量）是有限的，實際流量不超過容量。
最大流問題(maximum flow problem)，一種組合最優化問題，就是要討論如何充分利用裝置的能力，使得運輸的流量最大，以取得最好的效果。求最大流的標號演算法最早由福特和福克遜與與1956年提出，20世紀50年代福特(Ford)、(Fulkerson)建立的「網路流理論」，是網路應用的重要組成成分。
最小費用最大流問題是經濟學和管理學中的一類典型問題。在一個網路中每段路徑都有「容量」和「費用」兩個限制的條件下，此類問題的研究試圖尋找出：流量從A到B，如何選擇路徑、分配經過路徑的流量，可以在流量最大的前提下，達到所用的費用最小的要求。如n輛卡車要運送物品，從A地到B地。由於每條路段都有不同的路費要繳納，每條路能容納的車的數量有限制，最小費用最大流問題指如何分配卡車的出發路徑可以達到費用最低，物品又能全部送到。
旅行推銷員問題（英語：Travelling salesman problem, TSP）是這樣一個問題：給定一系列城市和每對城市之間的距離，求解訪問每一座城市一次並回到起始城市的最短迴路。它是組合優化中的一個NP困難問題，在運籌學和理論計算機科學中非常重要。
最早的旅行商問題的數學規劃是由Dantzig（1959）等人提出，並且是在最優化領域中進行了深入研究。許多優化方法都用它作為一個測試基準。盡管問題在計算上很困難，但已經有了大量的啟發式演算法和精確方法來求解數量上萬的實例，並且能將誤差控制在1%內
計劃評審法(Program Evaluation and Review Technique，簡稱PERT)，是指利用網路分析制訂計劃以及對計劃予以評價的技術。它能協調整個計劃的各道工序，合理安排人力、物力、時間、資金，加速計劃的完成。在現代計劃的編制和分析手段上，PERT被廣泛使用，是現代化管理的重要手段和方法。
關鍵路線法(Critical Path Method，CPM)，又稱關鍵線路法。一種計劃管理方法。它是通過分析項目過程中哪個活動序列進度安排的總時差最少來預測項目工期的網路分析。
人口系統數學模型，用來描述人口系統中人的出生、死亡和遷移隨時間變化的情況，以及它們之間定量關系的數學方程式或方程組，又稱人口模型。
初值問題是指在自變數的某值給出適當個數的附加條件，用來確定微分方程的特解的這類問題。
如果在自變數的某值給出適當個數的附加條件，用來確定微分方程的特解，則這類問題稱為初值問題。
邊值問題是定解問題之一，只有邊界條件的定解問題稱為邊值問題。二階偏微分方程(組)一般有三種邊值問題：第一邊值問題又稱狄利克雷問題，它的邊界條件是給出未知函數本身在邊界上的值；第二邊值問題又稱諾伊曼邊值問題或斜微商問題，它的邊界條件是給出未知函數關於區域邊界的法向導數或非切向導數；第三邊值問題又稱魯賓問題，它的邊界條件是給出未知函數及其非切向導數的組合
目標規劃是一種用來進行含有單目標和多目標的決策分析的數學規劃方法。線性規劃的一種特殊類型。它是在線性規劃基礎上發展起來的，多用來解決線性規劃所解決不了的經濟、軍事等實際問題。它的基本原理、數學模型結構與線性規劃相同，也使用線性規劃的單純形法作為計算的基礎。所不同之處在於，它從試圖使目標離規定值的偏差為最小入手解題，並將這種目標和為了代表與目標的偏差而引進的變數規定在表達式的約束條件之中。
時間序列（或稱動態數列）是指將同一統計指標的數值按其發生的時間先後順序排列而成的數列。時間序列分析的主要目的是根據已有的歷史數據對未來進行預測。
支持向量機(Support Vector Machine，SVM)是Corinna Cortes和Vapnik等於1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現出許多特有的優勢，並能夠推廣應用到函數擬合等其他機器學習問題中。
在機器學習中，支持向量機（SVM，還支持矢量網路）是與相關的學習演算法有關的監督學習模型，可以分析數據，識別模式，用於分類和回歸分析。
聚類分析法是理想的多變數統計技術，主要有分層聚類法和迭代聚類法。 聚類分析也稱群分析、點群分析，是研究分類的一種多元統計方法。
例如，我們可以根據各個銀行網點的儲蓄量、人力資源狀況、營業面積、特色功能、網點級別、所處功能區域等因素情況，將網點分為幾個等級，再比較各銀行之間不同等級網點數量對比狀況。
成分分析（Principal Component Analysis，PCA）， 是一種統計方法。通過正交變換將一組可能存在相關性的變數轉換為一組線性不相關的變數，轉換後的這組變數叫主成分。
在實際課題中，為了全面分析問題，往往提出很多與此有關的變數（或因素），因為每個變數都在不同程度上反映這個課題的某些信息。
主成分分析首先是由K.皮爾森（Karl Pearson）對非隨機變數引入的，爾後H.霍特林將此方法推廣到隨機向量的情形。信息的大小通常用離差平方和或方差來衡量。
因子分析是指研究從變數群中提取共性因子的統計技術。最早由英國心理學家C.E.斯皮爾曼提出。他發現學生的各科成績之間存在著一定的相關性，一科成績好的學生，往往其他各科成績也比較好，從而推想是否存在某些潛在的共性因子，或稱某些一般智力條件影響著學生的學習成績。因子分析可在許多變數中找出隱藏的具有代表性的因子。將相同本質的變數歸入一個因子，可減少變數的數目，還可檢驗變數間關系的假設。
判別分析又稱「分辨法」，是在分類確定的條件下，根據某一研究對象的各種特徵值判別其類型歸屬問題的一種多變數統計分析方法。
其基本原理是按照一定的判別准則，建立一個或多個判別函數，用研究對象的大量資料確定判別函數中的待定系數，並計算判別指標。據此即可確定某一樣本屬於何類。
當得到一個新的樣品數據，要確定該樣品屬於已知類型中哪一類，這類問題屬於判別分析問題。
對互協方差矩陣的一種理解，是利用綜合變數對之間的相關關系來反映兩組指標之間的整體相關性的多元統計分析方法。它的基本原理是：為了從總體上把握兩組指標之間的相關關系，分別在兩組變數中提取有代表性的兩個綜合變數U1和V1（分別為兩個變數組中各變數的線性組合），利用這兩個綜合變數之間的相關關系來反映兩組指標之間的整體相關性。
對應分析也稱關聯分析、R-Q型因子分析，是近年新發展起來的一種多元相依變數統計分析技術，通過分析由定性變數構成的交互匯總表來揭示變數間的聯系。可以揭示同一變數的各個類別之間的差異，以及不同變數各個類別之間的對應關系。
對應分析主要應用在市場細分、產品定位、地質研究以及計算機工程等領域中。原因在於，它是一種視覺化的數據分析方法，它能夠將幾組看不出任何聯系的數據，通過視覺上可以接受的定點陣圖展現出來。
多維標度法是一種將多維空間的研究對象(樣本或變數)簡化到低維空間進行定位、分析和歸類，同時又保留對象間原始關系的數據分析方法。
在市場營銷調研中，多維標度法的用途十分廣泛。被用於確定空間的級數(變數、指標)，以反映消費者對不同品牌的認知，並且在由這些維構築的空間中，標明某關注品牌和消費者心目中理想品牌的位置。
偏最小二乘法是一種數學優化技術，它通過最小化誤差的平方和找到一組數據的最佳函數匹配。 用最簡的方法求得一些絕對不可知的真值，而令誤差平方之和為最小。 很多其他的優化問題也可通過最小化能量或最大化熵用最小二乘形式表達。
系統介紹了禁忌搜索演算法、模擬退火演算法、遺傳演算法、蟻群優化演算法、人工神經網路演算法和拉格朗日鬆弛演算法等現代優化計算方法的模型與理論、應用技術和應用案例。
禁忌（Tabu Search）演算法是一種元啟發式(meta-heuristic)隨機搜索演算法，它從一個初始可行解出發，選擇一系列的特定搜索方向（移動）作為試探，選擇實現讓特定的目標函數值變化最多的移動。為了避免陷入局部最優解，TS搜索中採用了一種靈活的「記憶」技術，對已經進行的優化過程進行記錄和選擇，指導下一步的搜索方向，這就是Tabu表的建立。
模擬退火演算法來源於固體退火原理，是一種基於概率的演算法，將固體加溫至充分高，再讓其徐徐冷卻，加溫時，固體內部粒子隨溫升變為無序狀，內能增大，而徐徐冷卻時粒子漸趨有序，在每個溫度都達到平衡態，最後在常溫時達到基態，內能減為最小。
傳演算法（Genetic Algorithm）是模擬達爾文生物進化論的自然選擇和遺傳學機理的生物進化過程的計算模型，是一種通過模擬自然進化過程搜索最優解的方法。遺傳演算法是從代表問題可能潛在的解集的一個種群（population）開始的，而一個種群則由經過基因（gene）編碼的一定數目的個體(indivial)組成。每個個體實際上是染色體(chromosome)帶有特徵的實體。染色體作為遺傳物質的主要載體，即多個基因的集合，其內部表現（即基因型）是某種基因組合，它決定了個體的形狀的外部表現，如黑頭發的特徵是由染色體中控制這一特徵的某種基因組合決定的。因此，在一開始需要實現從表現型到基因型的映射即編碼工作。由於仿照基因編碼的工作很復雜，我們往往進行簡化，如二進制編碼，初代種群產生之後，按照適者生存和優勝劣汰的原理，逐代（generation）演化產生出越來越好的近似解，在每一代，根據問題域中個體的適應度（fitness）大小選擇（selection）個體，並藉助於自然遺傳學的遺傳運算元（genetic operators）進行組合交叉（crossover）和變異（mutation），產生出代表新的解集的種群。這個過程將導致種群像自然進化一樣的後生代種群比前代更加適應於環境，末代種群中的最優個體經過解碼（decoding），可以作為問題近似最優解。
The Technique for Order of Preference by Similarity to Ideal Solution (TOPSIS) is a multi-criteria decision analysis method, which was originally developed by Hwang and Yoon in 1981[1] with further developments by Yoon in 1987,[2] and Hwang, Lai and Liu in 1993.[3] TOPSIS is based on the concept that the chosen alternative should have the shortest geometric distance from the positive ideal solution (PIS)[4] and the longest geometric distance from the negative ideal solution (NIS).[4]
TOPSIS是一種多准則決策分析方法，最初由Hwang和Yoon於1981年開發[1]，1987年由Yoon進一步開發，[2]和Hwang， 1993年賴和劉。[3] TOPSIS是基於這樣一個概念，即所選擇的方案應該具有離正理想解（PIS）最短的幾何距離[4]和距負理想解（NIS）最遠的幾何距離[4]。
模糊綜合評價法是一種基於模糊數學的綜合評價方法。該綜合評價法根據模糊數學的隸屬度理論把定性評價轉化為定量評價，即用模糊數學對受到多種因素制約的事物或對象做出一個總體的評價。它具有結果清晰，系統性強的特點，能較好地解決模糊的、難以量化的問題，適合各種非確定性問題的解決。
數據包絡分析方法(Data Envelopment Analysis,DEA)是運籌學、管理科學與數理經濟學交叉研究的一個新領域。它是根據多項投入指標和多項產出指標，利用線性規劃的方法，對具有可比性的同類型單位進行相對有效性評價的一種數量分析方法。DEA方法及其模型自1978年由美國著名運籌學家A.Charnes和W.W.Cooper提出以來，已廣泛應用於不同行業及部門，並且在處理多指標投入和多指標產出方面，體現了其得天獨厚的優勢。
對於兩個系統之間的因素，其隨時間或不同對象而變化的關聯性大小的量度，稱為關聯度。在系統發展過程中，若兩個因素變化的趨勢具有一致性，即同步變化程度較高，即可謂二者關聯程度較高；反之，則較低。因此，灰色關聯分析方法，是根據因素之間發展趨勢的相似或相異程度，亦即「灰色關聯度」，作為衡量因素間關聯程度的一種方法。
主成分分析也稱主分量分析，旨在利用降維的思想，把多指標轉化為少數幾個綜合指標（即主成分），其中每個主成分都能夠反映原始變數的大部分信息，且所含信息互不重復。這種方法在引進多方面變數的同時將復雜因素歸結為幾個主成分，使問題簡單化，同時得到的結果更加科學有效的數據信息。在實際問題研究中，為了全面、系統地分析問題，我們必須考慮眾多影響因素。這些涉及的因素一般稱為指標，在多元統計分析中也稱為變數。因為每個變數都在不同程度上反映了所研究問題的某些信息，並且指標之間彼此有一定的相關性，因而所得的統計數據反映的信息在一定程度上有重疊。主要方法有特徵值分解，SVD，NMF等。
秩和比法（Rank-sum ratio，簡稱RSR法），是我國學者、原中國預防醫學科學院田鳳調教授於1988年提出的，集古典參數統計與近代非參數統計各自優點於一體的統計分析方法，它不僅適用於四格表資料的綜合評價，也適用於行×列表資料的綜合評價，同時也適用於計量資料和分類資料的綜合評價。
灰色預測是就灰色系統所做的預測
灰色預測是一種對含有不確定因素的系統進行預測的方法。灰色預測通過鑒別系統因素之間發展趨勢的相異程度，即進行關聯分析，並對原始數據進行生成處理來尋找系統變動的規律，生成有較強規律性的數據序列，然後建立相應的微分方程模型，從而預測事物未來發展趨勢的狀況。其用等時距觀測到的反應預測對象特徵的一系列數量值構造灰色預測模型，預測未來某一時刻的特徵量，或達到某一特徵量的時間。
回歸分析預測法，是在分析市場現象自變數和因變數之間相關關系的基礎上，建立變數之間的回歸方程，並將回歸方程作為預測模型，根據自變數在預測期的數量變化來預測因變數關系大多表現為相關關系，因此，回歸分析預測法是一種重要的市場預測方法，當我們在對市場現象未來發展狀況和水平進行預測時，如果能將影響市場預測對象的主要因素找到，並且能夠取得其數量資料，就可以採用回歸分析預測法進行預測。它是一種具體的、行之有效的、實用價值很高的常用市場預測方法，常用於中短期預測。
包含未知函數的差分及自變數的方程。在求微分方程 的數值解時，常把其中的微分用相應的差分來近似，所導出的方程就是差分方程。通過解差分方程來求微分方程的近似解，是連續問題離散化 的一個例子。
馬爾可夫預測法主要用於市場佔有率的預測和銷售期望利潤的預測。就是一種預測事件發生的概率的方法。馬爾科夫預測講述了有關隨機變數 、 隨機函數與隨機過程。
邏輯性的思維是指根據邏輯規則進行推理的過程；它先將信息化成概念，並用符號表示，然後，根據符號運算按串列模式進行邏輯推理；這一過程可以寫成串列的指令，讓計算機執行。然而，直觀性的思維是將分布式存儲的信息綜合起來，結果是忽然間產生想法或解決問題的辦法。這種思維方式的根本之點在於以下兩點：1.信息是通過神經元上的興奮模式分布儲在網路上；2.信息處理是通過神經元之間同時相互作用的動態過程來完成的。
中文名 神經網路演算法 外文名 Neural network algorithm
㈡ 牛頓法求解無約束最優化問題的方法
B6公式是從B2對x求導得到的
pk是定義的方向，沿著負梯度方向，後面是證明這樣確實是f(x)減小的方向。
這些在《數值計算》這些書里都有。
㈢ 如何將約束優化問題化為無約束優化問題有哪些優缺點
將約束優化問題化為無約束優化問題的方法和優缺點如下：
1、約束優化問題轉為為無約束優化問題的方法：Lagrange乘子化(拉格朗日乘子化)。然後得到多元函數，然後對各個變數求偏導數。
2、曲線擬合問題：比如某個實驗得出一系列數據，但是由於實驗誤差導致使每個點都在某個函數上的函數很難找到，而且就算找到了，由於數據有誤差，這樣子的函數也沒有意義，所以我們就只需要找到一條最貼近這一系列點的函數。
3、將約束優化問題化為無約束優化問題的主要優點：促進企業不斷地發現、分析和解決企業發展的關鍵瓶頸，提高企業資源配置效率。
4、將約束優化問題化為無約束優化問題的主要缺點：涉及多個部門、多個責任主體，協調溝通難度大。對相關數據的量化要求較高。
㈣ 2、牛頓法和最速下降法只能求解無約束優化，有約束的非線性規劃有哪些求解方法
Data Mining
無約束最優化方法
梯度的方向與等值面垂直，並且指向函數值提升的方向。
二次收斂是指一個演算法用於具有正定二次型函數時，在有限步可達到它的極小點。二次收斂與二階收斂沒有盡然聯系，更不是一回事，二次收斂往往具有超線性以上的收斂性。一階收斂不一定是線性收斂。
解釋一下什麼叫正定二次型函數：
n階實對稱矩陣Q，對於任意的非0向量X，如果有XTQX>0，則稱Q是正定矩陣。
對稱矩陣Q為正定的充要條件是：Q的特徵值全為正。
二次函數，若Q是正定的，則稱f(X)為正定二次函數。
黃金分割法
黃金分割法適用於任何單峰函數求極小值問題。
求函數在[a,b]上的極小點，我們在[a,b]內取兩點c,d，使得a<c<d<b。並且有
1）如果f(c)<f(d)，則最小點出現在[a,d]上，因此[a,d]成為下一次的搜索區間。
2）如果f(c)>f(d)，則[c,b]成為下一次的搜索區間。
假如確定了[a,d]是新的搜索區間，我們並不希望在[a,d]上重新找兩個新的點使之滿足(1)式，而是利用已經抗找到有c點，再找一個e點，使滿足：
可以解得r=0.382，而黃金分割點是0.618。
練習：求函數f(x)=x*x-10*x+36在[1,10]上的極小值。
+ View Code
最速下降法
泰勒級數告訴我們：
其中Δx可正可負，但必須充分接近於0。
X沿D方向移動步長a後，變為X+aD。由泰勒展開式：
目標函數：
a確定的情況下即最小化：
向量的內積何時最小？當然是兩向量方向相反時。所以X移動的方向應該和梯度的方向相反。
接下來的問題是步長a應該怎麼定才能使迭代的次數最少？
若f(X)具有二階連續偏導，由泰勒展開式可得：
H是f(X)的Hesse矩陣。
可得最優步長：
g是f(X)的梯度矩陣。
此時：
可見最速下降法中最優步長不僅與梯度有關，而且與Hesse矩陣有關。
練習：求函數f(x1,x2)=x1*x1+4*x2*x2在極小點，以初始點X0=(1,1)T。
+ View Code
梯度下降法開始的幾步搜索，目標函數下降較快，但接近極值點時，收斂速度就比較慢了，特別是當橢圓比較扁平時，收斂速度就更慢了。
另外最速下降法是以函數的一次近似提出的，如果要考慮二次近似，就有牛頓迭代法。
牛頓迭代法
在點Xk處對目標函數按Taylar展開：
令
得
即
可見X的搜索方向是，函數值要在此方向上下降，就需要它與梯度的方向相反，即。所以要求在每一個迭代點上Hesse矩陣必須是正定的。
練習：求的極小點，初始點取X=(0,3)。
+ View Code
牛頓法是二次收斂的，並且收斂階數是2。一般目標函數在最優點附近呈現為二次函數，於是可以想像最優點附近用牛頓迭代法收斂是比較快的。而在開始搜索的幾步，我們用梯度下降法收斂是比較快的。將兩個方法融合起來可以達到滿意的效果。
收斂快是牛頓迭代法最大的優點，但也有致命的缺點：Hesse矩陣及其逆的求解計算量大，更何況在某個迭代點Xk處Hesse矩陣的逆可能根本就不存在（即Hesse矩陣奇異），這樣無法求得Xk+1。
擬牛頓法
Hesse矩陣在擬牛頓法中是不計算的，擬牛頓法是構造與Hesse矩陣相似的正定矩陣，這個構造方法，使用了目標函數的梯度（一階導數）信息和兩個點的「位移」（Xk-Xk-1）來實現。有人會說，是不是用Hesse矩陣的近似矩陣來代替Hesse矩陣，會導致求解效果變差呢？事實上，效果反而通常會變好。
擬牛頓法與牛頓法的迭代過程一樣，僅僅是各個Hesse矩陣的求解方法不一樣。
在遠離極小值點處，Hesse矩陣一般不能保證正定，使得目標函數值不降反升。而擬牛頓法可以使目標函數值沿下降方向走下去，並且到了最後，在極小值點附近，可使構造出來的矩陣與Hesse矩陣「很像」了，這樣，擬牛頓法也會具有牛頓法的二階收斂性。
對目標函數f(X)做二階泰勒展開：
兩邊對X求導
當X=Xi時，有
這里我們用Hi來代表在點Xi處的Hesse矩陣的逆，則
(5)式就是擬牛頓方程。
下面給出擬牛頓法中的一種--DFP法。
令
我們希望Hi+1在Hi的基礎上加一個修正來得到：
給定Ei的一種形式：
m和n均為實數，v和w均為N維向量。
(6)(7)聯合起來代入(5)可得：
下面再給一種擬牛頓法--BFGS演算法。
(8)式中黑色的部分就是DFP演算法，紅色部分是BFGS比DFP多出來的部分。
BFGS演算法不僅具有二次收斂性，而且只有初始矩陣對稱正定，則BFGS修正公式所產生的矩陣Hk也是對稱正定的，且Hk不易變為奇異，因此BFGS比DFP具有更好的數值穩定性。