數據處理中熵值計算方法

A. 熵怎麼計算

熱力學中表徵物質狀態的參量之一,通常用符號S表示。在經典熱力學中，可用增量定義為dS＝(dQ/T)，式中T為物質的熱力學溫度;dQ為熵增過程中加入物質的熱量；下標「可逆」表示加熱過程所引起的變化過程是可逆的。若過程是不可逆的,則dS＞(dQ/T)不可逆。單位質量物質的熵稱為比熵,記為 s。熵最初是根據熱力學第二定律引出的一個反映自發過程不可逆性的物質狀態參量。熱力學第二定律是根據大量觀察結果總結出來的規律，有下述表述方式：①熱量總是從高溫物體傳到低溫物體，不可能作相反的傳遞而不引起其他的變化；②功可以全部轉化為熱，但任何熱機不能全部地、連續不斷地把所接受的熱量轉變為功（即無法製造第二類永動機）；③在孤立系統中,實際發生的過程,總使整個系統的熵值增大，此即熵增原理。摩擦使一部分機械能不可逆地轉變為熱，使熵增加。熱量dQ由高溫(T1)物體傳至低溫(T2)物體,高溫物體的熵減少dS1=dQ/T1,低溫物體的熵增加dS2=dQ/T2,把兩個物體合起來當成一個系統來看,熵的變化是dS＝dS2－dS1＞0，即熵是增加的。
物理學上指熱能除以溫度所得的商，標志熱量轉化為功的程度。物質都有自己的標准熵，一個反應可以根據各種物質的熵來計算熵變。ΔH-TΔs是計算自由能的公式，用來判斷反應的自發性。

B. 如何在SPSS中運用熵值法計算權重

指標權重計算確定的困惑

相信很多寫過或者正在寫指標處理類論文的朋友都曾對如何計算指標權重充滿困惑，到底是用熵值法，還是主成分分析法？或者其他各種看起來奧妙無窮卻難以上手操作的神奇方法？好不容易確定要選用主成分分析法時又開始發愁要如何實現呢？

聽說過要可以用SPPS，可是又如何使用SPSS操作呢？用SPSS進行主成分分析之後又要如何得到最終的權重呢？接下來筆者將以一個實際的案例，帶領大家一步步從SPSS入手，進行主成分分析，並利用主成分分析的結果最終得到各指標的權重值。

2

利用SPSS實現主成分分析

1. 數據標准化

（1）為什麼要對數據進行標准化處理

在對數據進行主成分分析前，首先要對數據進行標准化，之所以要對數據進行標准化，是因為各種類別的數據間的度量不同，比如計算經濟的指標，我們通常會選取地區GDP生產總值和第三產業產值在GDP中的比重，GDP產值以億為單位，通常以千計或萬計，而第三產業產值在GDP中的比重的取值范圍在0~1之間，如何能夠相提並論呢？能夠因為前者的數據遠遠大於後者，而得出前者的指標更為重要的結論嗎？顯然是不行的，所以要進行主成分分析，首先要對數據進行標准化。

（2）數據標准化的方法

為什麼要關心數據處理的方法呢？在實際操作中，筆者曾經遇到一個問題。筆者利用SPSS自帶的數據標准化方法對數據進行了標准化處理，但在權重的計算過程中不斷出現負值，後來筆者幾次重新調整指標類別，終於得出了均為正值的權重。但筆者最終的目的是要進行耦合協調度，這時候出現了大量的負值，而耦合度及耦合協調度的取值范圍應該在0~1之間，因此筆者開始從頭探索出錯的原因。終於，筆者找到了原因，那就是數據標准化的方法選取的不正確，因此筆者重新選擇了極差法對數據重新進行標准化，並最終順利得到了後續的結果。

C. SPSSAU面板數據如何進行熵值法

熵值法的原理是針對數據不確定性進行度量，從而計算權重。無論是什麼數據（包括面板數據），均可正常的進行熵值法，一般不需要進行處理。當然面板數據進行熵值法分析時，也可以先篩選出不同的年份，重復進行多次熵值法均可。推薦可使用SPSSAU[綜合評價]-[熵值法]進行分析。

D. 信息熵的計算公式，麻煩通俗地講一下。

信息熵的計算公式：H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,..n)。

其中，x表示隨機變數，與之相對應的是所有可能輸出的集合，定義為符號集,隨機變數的輸出用x表示。P(x)表示輸出概率函數。變數的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。

信息熵是數學方法和語言文字學的結合，基本計算公式是未H = - LOG2(P)。其中，H 表示信息熵，P 表示某種語言文字的字元出現的概率，LOG2是以二為底的對數，用的是二進制，因而，信息熵的單位是比特（BIT，即二進制的0和1）。信息熵值就是信息熵的數值。

(4)數據處理中熵值計算方法擴展閱讀：

信息熵的相關介紹：

一個信源發送出什麼符號是不確定的，衡量它可以根據其出現的概率來度量。概率大，出現機會多，不確定性小；反之不確定性就大。不確定性函數f是概率P的減函數；兩個獨立符號所產生的不確定性應等於各自不確定性之和。

人們常常說信息很多，或者信息較少，但卻很難說清楚信息到底有多少。比如一本五十萬字的中文書到底有多少信息量。

直到1948年，香農提出了「信息熵」的概念，才解決了對信息的量化度量問題。信息熵這個詞是C．E．香農從熱力學中借用過來的。熱力學中的熱熵是表示分子狀態混亂程度的物理量。香農用信息熵的概念來描述信源的不確定度。資訊理論之父克勞德·艾爾伍德·香農第一次用數學語言闡明了概率與信息冗餘度的關系。

E. 如何用熵權法計算權重

熵權法是一種客觀賦權方法。十分復雜，計算步驟如下：

1、構建各年份各評價指標的判斷矩陣。

2、將判斷矩陣進行歸一化處理, 得到歸一化判斷矩陣。

3、根據熵的定義，根據各年份評價指標，可以確定評價指標的熵。

4、定義熵權。定義了第n個指標的熵後，可得到第n個指標的熵權。

5、計算系統的權重值。

根據信息熵的定義，對於某項指標，可以用熵值來判斷某個指標的離散程度，其信息熵值越小，指標的離散程度越大， 該指標對綜合評價的影響（即權重）就越大，如果某項指標的值全部相等，則該指標在綜合評價中不起作用。

因此，可利用信息熵這個工具，計算出各個指標的權重，為多指標綜合評價提供依據。

注意事項：

系統由有序轉變為無序被的過程是熵增，比如系的鞋帶會開；家中鋪的很整齊的床單睡過後會變亂。

「熱力學第二定律」熱量可以自發地從較熱的物體傳遞到較冷的物體，但不可能自發地從較冷的物體傳遞到較熱的物體。

比如一滴墨滴進清水，清水會變黑；一個熱的物體和一個冷的物體放在一起，熱的物體會變冷，冷的物體會變熱.....物理系統總是會趨向平衡狀態。

一個系統的溫度是不均勻的，它慢慢趨向均勻；一個溶液的濃度是不均勻的，同樣它會慢慢趨向均勻。

F. 熵值（H值）法

熵是數學家Shanon最早提出的概念，在統計學中它作為各種隨機試驗不肯定程度的度量。首先應用於熱力學，熵是分子熱運動「亂度」的度量，在平衡狀態下熵值最大，這時分子處於最無序狀態。資訊理論的問世使熵成為資訊理論中的專有名詞，用來度量信息的無規則程度，即信息亂度的度量。它也反映事物發生的不確定度。一般來說，復雜系統的不確定度高。因此，地質構造特徵越復雜，其不確定度越大，即熵值越高。這就是我們用熵來表示地質構造特徵的復雜程度的原因。熵的計算公式如下。

對定和數據，如地層、岩漿等出露面積（其和為1），可用如下公式來計算：

西南三江中段成礦規律與成礦預測研究

對不定和數據，如斷層條數等，用如下公式來計算：

西南三江中段成礦規律與成礦預測研究

式中：p為變數數；n為單元總數；x_ij為第i個單元第j個變數的取值（原始數據）；對數log可以取自然對數或者常用對數等。

G. 在熵編碼中，熵值的計算

計算步驟如下圖：

在資訊理論中，熵是對不確定性的一種度量。信息量越大，不確定性就越小，熵也就越小；信息量越小，不確定性越大，熵也越大。根據熵的特性，我們可以通過計算熵值來判斷一個事件的隨機性及無序程度，也可以用熵值來判斷某個指標的離散程度，指標的離散程度越大，該指標對綜合評價的影響越大。

H. 什麼是熵值法

在資訊理論中，熵是對不確定性的一種度量。信息量越大，不確定性就越小，熵也就越小；信息量越小，不確定性越大，熵也越大。
熵值法就是根據熵的特性， 通過計算熵值來判斷一個事件的隨機性及無序程度的方法或用熵值來判斷某個指標的離散程度的方法（指標的離散程度越大，該指標對綜合評價的影響越大）。

I. 熵值法步驟

（1）方法原理及適用場景

熵值法屬於一種客觀賦值法，其利用數據攜帶的信息量大小計算權重，得到較為客觀的指標權重。熵值是不確定性的一種度量，熵越小，數據攜帶的信息量越大，權重越大；相反熵越大，信息量越小，權重越小。

適用場景：熵值法廣泛應用於各個領域，對於普通問卷數據（截面數據）或面板數據均可計算。在實際研究中，通常情況下是與其他權重計算方法配合使用，如先進行因子或主成分分析得到因子或主成分的權重，即得到高維度的權重，然後再使用熵值法進行計算，想得到具體各項的權重。

（2）操作步驟

使用SPSSAU【綜合評價-熵值法】。

使用熵值法計算權重時，需將數據整理為以下格式：

（3）注意事項

熵值法的計算公式上會有取對數，因此如果小於等於0的數字取對數，則會出現null值。此種情況共有兩種辦法。

• 第一種：SPSSAU非負平移功能是指，如果某列（某指標）數據出現小於等於0，則讓該列數據同時加上一個『平移值』【該值為某列數據最小值的絕對值+0.01】，以便讓數據全部都大於0，因而滿足演算法要求。

• 第二種：研究者也可以手工查看數據並將小於等於0的數據設置為異常值，但此種做法會讓樣本減少。