1. 預處理都有哪些方法
生物預處理（biological pre-treatment）指主要利用生物作用，以去除原水中氨氮、異臭、有機微污染物等的凈水過程。
生物預處理工藝有流化形式和濾池形式兩大類。其中，流化池以懸浮球生物流化池為代表，而生物濾池又分為連續過濾與間歇反沖過濾兩種。
浮球生物流化池具有池型簡單、工程造價低、運行管理簡便，工藝在設計負荷范圍內對氨氮具有較高的去除率。歇反沖過濾生物濾池由於堵塞問題使得其應用受限，目前應用較好的典型工藝（主要用於污水處理）為輕質濾料生物濾池（威立雅公司）及重濾料生物濾料（得利滿）。
連續過濾生物曝氣濾池不需要將濾池停止運行就可以清洗濾床。氣水同向向上流經濾床，而濾料慢慢向下移動。在過濾過程中臟濾料在一個清洗容器中清洗，臟物隨清洗水一起排出。工藝採用錳砂作為生物載體，錳砂表面附著生物膜及催化物質在曝氣充氧條件下去除水中氨氮。
2. 大數據預處理的方法有哪些
1、數據清理
數據清理常式就是通過填寫缺失值、光滑雜訊數據、識別或者刪除離群點，並且解決不一致性來進行“清理數據”。
2、數據集成
數據集成過程將來自多個數據源的數據集成到一起。
3、數據規約
數據規約是為了得到數據集的簡化表示。數據規約包括維規約和數值規約。
4、數據變換
通過變換使用規范化、數據離散化和概念分層等方法，使得數據的挖掘可以在多個抽象層面上進行。數據變換操作是提升數據挖掘效果的附加預處理過程。
3. 常見的圖像預處理方法有哪些
圖像預處理的主要目的是消除圖像中無關的信息，恢復有用的真實信息，增強有關信息的可檢測性、最大限度地簡化數據，從而改進特徵提取、圖像分割、匹配和識別的可靠性。一般的預處理流程為：1灰度化->2幾何變換->3圖像增強
4. 對完全無回答的情況常常採用的數據預處理方法是
摘要 在數據分析之前，我們通常需要先將數據標准化（normalization），利用標准化後的數據進行數據分析。數據標准化也就是統計數據的指數化。數據標准化處理主要包括數據同趨化處理和無量綱化處理兩個方面。
5. 大數據預處理的方法有哪些
1)數據清理
數據清理常式就是通過填寫缺失值、光滑雜訊數據、識別或者刪除離群點，並且解決不一致性來進行「清理數據」。
2)數據集成
數據集成過程將來自多個數據源的數據集成到一起。
3)數據規約
數據規約是為了得到數據集的簡化表示。數據規約包括維規約和數值規約。
4)數據變換
通過變換使用規范化、數據離散化和概念分層等方法，使得數據的挖掘可以在多個抽象層面上進行。數據變換操作是提升數據挖掘效果的附加預處理過程。
6. 對固體樣品的常見預處理方法有哪些各有何優缺點
對固體樣品的常見預處理方法有哪些
溶劑提取法 同一溶劑中，不同物質具有不同的溶解度。利用混合物中各物質溶解度的不同將混合物組分完全或部分分離的過程稱為萃取，也稱提取。常用方法有以下幾種。 (一)浸提法 浸提法又稱浸泡法。用於從固體混合物或有機體中提取某種物質，所採用的提取劑，應既能大量溶解被提取的物質，又要不破壞被提取物質的性質。為了提高物質在溶劑中的溶解度，往往在浸提時加熱。如用索氏抽提法提取脂肪。提取劑是此類方法中重要因素，可以用單一溶劑，也可以用混合溶劑。 (二)溶劑萃取法 溶劑萃取法用於從溶液中提取某一組分，利用該組分在兩種互不相溶的試劑中分配系數的不同，使其從一種溶液中轉移至另一種溶劑中，從而與其他組分分離，達到分離和富集的目的。通常可用分液漏斗多次提取達到目的。若被轉移的成分是有色化合物，可用有機相直接進行比色測定，即萃取比色法。萃取比色法具有較高的靈敏度和選擇性。如雙硫腙法測定食品中的鉛含量。此法設備簡單、操作迅速、分離效果好，但是成批試樣分析時工作量大。同時，萃取溶劑常易揮發，易燒．且有毒性，操作時應加以注意。 鹽析法 向溶液中加入某種無機鹽，使溶質在原溶劑中的溶解度大大降低，而從溶液中沉澱析出，這種方法叫做鹽析。如在蛋白質溶液中加入大量的鹽類(硫酸銨)，特別是加入重金屬鹽，使蛋白質從溶液中沉澱出來。 在進行鹽析工作時，應注意溶液中所加入的物質的選擇。它應是不會破壞溶液中所要析出的物質，否則達不到鹽析提取的目的。 化學分離法 (一)磺化法和皂化法 這是處理油脂或脂肪樣品時經常使用的方法。例如，殘留農葯分析和脂溶性維生素測定中，油脂被濃硫酸磺化，或被鹼皂化，由疏水性變成親水性，使油脂中需檢測的非極性物質能較容易地被非極性或弱極性溶劑提取出來。 (二)沉澱分離法 沉澱分離法是利用沉澱反應進行分離的方法。在試樣中加入適當的沉澱劑,使被測組分沉澱下來，或將干擾組分沉澱除去，從而達到分離的目的。 (三)掩蔽法 利用掩蔽劑與樣液中的干擾成分作用，使干擾成分轉變為不幹擾測定的狀態，即被掩蔽起來。運用這種方法，可以不經過分離干擾成分的操作而消除其干擾作用，簡化分析步驟，因而在食品分析中應用十分廣泛，常用於金屬元素的測定。 色層分離法 色層分離法又稱色譜分離法，是一種在載體上進行物質分離的方法的總稱。根據分離原理的不同，可分為吸附色譜分離、分配色譜分離和離子交換色譜分離等。此類方法分離效果好，近年來在食品分析中應用得越來越廣泛。色層分離不僅分離效果好，而且分離過程往往也就是鑒定的過程。本法常用於有機物質的分析測定。 (一)吸附色譜分離 吸附色譜分離法利用聚醯胺、硅膠、硅藻土、氧化鋁等吸附劑，經過活化處理後，具有適當的吸附能力，可對被測組分或干擾組分進行選擇性的吸附而達到分離的目的。比如：食品中色素的測定，可將樣品溶液中的色素經吸附劑吸附(其他雜質不被吸附)，經過過濾、洗滌，再用適當的溶劑解吸，得到比較純凈的色素溶液。吸附劑可以直接加入樣品中吸附色素，也可將吸附劑裝入玻璃管製成吸附柱或塗布成薄層板使用。 (二)分配色譜分離 分配色譜分離法根據兩種不同的物質在兩相中的分配比不同進行分離的，兩相中一相是流動的，稱為流動相；另一相是固定的，稱為固定相。當溶劑滲透於固定相中並向上滲透時，分配組分就在兩相中進行反復分配，進而分離。例如：多糖類樣品的紙上層析，樣品經酸水解處理，中和後製成試液，在濾紙上進行點樣，用苯酚一1％氨水飽和溶液展開，苯胺鄰苯二酸顯色劑顯色，於105℃加熱數分鍾，可見不同色斑：戊醛糖(紅棕色)、己醛糖(棕褐色)、己酮糖(淡棕色)、雙糖類(黃棕色)的色斑。 (三)離子交換色譜分離 離子交換色譜分離法是利用離子交換劑與溶液中的離子之間所發生的交換反應來進行分離的方法。根據被交換離子的電荷分為陽離子交換和陰離子交換。該法可用於從樣品溶液中分離待測離子，也可從樣品溶液中分離干擾組分。分離操作可將樣液與離子交換劑一起混合振盪或將樣液緩緩通過事先制備好的離子交換柱，則被測離子與交換劑上的H+或OH-發生交換，被測離子或干擾組分上柱，從而將其分離。例如：可以利用離子交換色譜分離法制備無氨水、無鉛水及分離比較復雜的樣品。 濃縮法 食品樣品經提取、凈化後，有時凈化液的體積較大，被測組分的濃度太低，會影響最後結果的測定。此時需要對被測樣液進行濃縮，以提高被測成分的濃度。常用的方法有常壓濃縮和減壓濃縮兩種。 (一)常壓濃縮法 常壓濃縮法只能用於待測組分為非揮發性的樣品試液的濃縮，否則會造成待測組分的損失。操作可採用蒸發皿直接揮發。如果溶劑需要回收，則可用一般蒸餾裝置或旋轉蒸發器。該法操作簡便、快速，是常用的方法。 (二)減壓濃縮法 減壓濃縮法主要用於待測組分為熱不穩定性或易揮發的樣品凈化液的濃縮，其樣品凈化液的濃縮需採用K—D濃縮器。濃縮時，水浴加熱並抽氣減壓，以便濃縮在較低的溫度下進行，且速度快，可減少被測組分的損失。食品中有機磷農葯的測定(如甲胺磷、乙醯甲胺磷)多採用此法濃縮樣品凈化液。
7. 網頁打不開預處理的方法
用戶是否使用路由器，核實用戶使用台數，聯系機房核實用戶是否屬１拖Ｎ封停。2、如果用戶寬頻顯示連接，網頁打不開QQ登不上，可幫用戶做個測試，方法：開始→運行→在「打開」輸入「cmd」→在游標顯示處輸入「ipconfig」→回車→顯示一個本地連接，一個寬頻連接說明是正常的，如果只有一個本地連接，就說明寬頻沒有連接上，重新建個寬頻連接，把貓關了重啟再試。了解更多服務優惠點擊下方的「官方網址」客服219為你解答。
8. 有機化合物測定的預處理方法
在樣品制備過程中，應注意防止易揮發性成分的逸散，避免樣品組成和理化性質發生變化。做微生物檢驗的樣品，必須根據微生物學的要求，按照無菌操作規程制備。
食品的成分復雜，既含有大分子的有機化合物，如蛋白質、糖類、脂肪等，也含有各種無機元素，如鉀、鈉、鈣、鐵等。這些組分往往以復雜的結合態形式存在。當應用某種化學方法或物理方法對其中一種組分的含量進行測定時，其他組分的存在常常給測定帶來干擾。因此，為了保證檢驗工作的順利進行，得到准確的檢驗結果，必須在測定前排除干擾組分。此外，有些被測組分在食品中含量極低，如農葯、黃麴黴毒素、污染物等，要准確檢驗出其含量，必須在檢驗前對樣品進行濃縮。以上這些操作過程統稱為樣品預處理，它是食品檢驗過程中的一個重要環節，直接關系著檢驗的成敗。
樣品預處理總的原則是：消除干擾因素，完整保留被測組分，並使被測組分濃縮，以獲得可靠的分析結果。常用的樣品預處理方法有以下幾種。
一、有機物破壞法
有機物破壞法主要用於食品無機元素的測定。食品中的無機元素，常與蛋白質等有機物質結合，成為難溶、難離解的化合物。要測定這些無機成分的含量，需要在測定前破壞有機結合體，釋放出被測組分。通常採用高溫、或高溫加強烈氧化條件，使有機物質分解，呈氣態逸散，而被測組分殘留下來。
各類方法又因原料的組成及被測元素的性質不同可有許多不同的操作條件，選擇的原則應是：第一，方法簡便，使用試劑越少越好；第二，方法耗時間越短，有機物破壞越徹底越好；第三，被測元素不受損失，破壞後的溶液容易處理，不影響以後的測定步驟。
根據具體操作方法不同，又可分為干法和濕法兩大類。
(1)干法灰化：又稱為灼燒法，是一種用高溫灼燒的方式破壞樣品中有機物的方法。干法灰化法是將一定量的樣品置於鉗禍中加熱，使其中的有機物脫水、炭化、分解、氧化，再置高溫電爐中（一般約550℃）灼燒灰化，直至殘灰為白色或淺灰色為止，所得殘渣即為無機成分，可供測定用。除汞外大多數金屬元素和部分非金屬元素的測定都可用此法處理樣品。
干法灰化法的特點是不加或加入很少的試劑，故空白值低；因多數食品經灼燒後灰分體積很少，因而能處理較多的樣品，可富集被測組分，降低檢測限；有機物分解徹底，操作簡單，無需操作者看管。但此法所需時間長；因溫度高易造成易揮發元素的損失；並且坩渦對被測組分有一定吸留作用，致使測定結果和回收率降低。
干法灰化提高回收率的措施：可根據被測組分的性質，採取適宜的灰化溫度；也可加入助灰化劑，防止被測組分的揮發損失和柑禍吸留。例如：加氯化鎂或硝酸鎂可使磷元素、硫元素轉化為磷酸鎂或硫酸鎂，防止它們損失；加入氫氧化鈉或氫氧化鈣可使鹵素轉化為難揮發的碘化鈉或氟化鈣；加入氯化鎂及硝酸鎂可使砷轉化為砷酸鎂；加硫酸可使一些易揮發的氯化鉛、氯化鎘等轉變為難揮發的硫酸鹽。
9. 預處理是什麼 包括哪兩種方法
資料庫基礎分析為什麼要進行預處理數據 收藏
做數據預處理很重要，但是如何做好數據預處理似乎是件更困難的事。。。。。
-----------------------------------------------------------------------------------------------------------------------
當今現實世界的資料庫極易受雜訊、丟失數據和不一致數據的侵擾，因為資料庫太大（常常多達數千兆位元組，甚至更多），並且多半來自多個異構數據源。低質量的數據將導致低質量的挖掘結果。「如何預處理數據提高數據質量，從而提高挖掘結果的質量？如何預處理數據，使得挖掘過程更加有效、更加容易？」
有大量數據預處理技術。數據清理可以用來去掉數據中的雜訊，糾正不一致。數據集成將數據由多個源合並成一致的數據存儲，如數據倉庫。也可以使用數據變換，如規范化。例如，規范化可以提高涉及距離度量的挖掘演算法的准確率和有效性。數據歸約可以通過聚集、刪除冗餘特徵或聚類等方法來減小數據規模。這些技術不是互斥的，可以一起使用。例如，數據清理可能涉及糾正錯誤數據的變換，如將日期欄位變換成共同的格式。這些數據處理技術在挖掘之前使用，可以顯著地提高挖掘模式的總體質量和/或減少實際挖掘所需要的時間。
介紹數據預處理的基本概念，介紹作為數據預處理基礎的描述性數據匯總。描述性數據匯總幫助我們研究數據的一般特徵、識別雜訊或離群點，對成功的數據清理和數據集成很有用。數據預處理的方法組織如下：數據清理、數據集成與變換和數據歸約。概念分層可以用作數據歸約的一種替換形式，其中低層數據（如年齡的原始值）用高層概念（如青年、中年或老年）替換。這種形式的數據歸約，在那裡我們討論使用數據離散化技術，由數值數據自動地產生概念分層。
為什麼要預處理數據
想像你是AllElectronics的經理，負責分析涉及你部門的公司銷售數據。你立即著手進行這項工作，仔細地審查公司的資料庫和數據倉庫，識別並選擇應當包含在分析中的屬性或維，如item, price和units_sold。啊！你注意到許多元組在一些屬性上沒有值。為了進行分析，希望知道每種購進的商品是否作了銷售廣告，但是發現這些信息沒有記錄下來。此外，你的資料庫系統用戶已經報告某些事務記錄中的一些錯誤、不尋常的值和不一致性。換言之，你希望
使用數據挖掘技術分析的數據是不完整的（缺少屬性值或某些感興趣的屬性，或僅包含聚集數據），含雜訊的（包含錯誤或存在偏離期望的離群值），並且是不一致的（例如，用於商品分類的部門編碼存在差異）。歡迎來到現實世界！
存在不完整的、含雜訊的和不一致的數據是現實世界大型的資料庫或數據倉庫的共同特點。不完整數據的出現可能有多種原因。有些感興趣的屬性，如銷售事務數據中顧客的信息，並非總是可用的。其他數據沒有包含在內只是因為輸入時認為是不重要的。相關數據沒有記錄可能是由於理解錯誤，或者因為設備故障。與其他記錄不一致的數據可能已經刪除。此外，記錄歷史或修改的數據可能被忽略。缺失的數據，特別是某些屬性上缺少值的元組可能需要推導出來。
數據含雜訊（具有不正確的屬性值）可能有多種原因。收集數據的設備可能出故障；人或計算機的錯誤可能在數據輸入時出現；數據傳輸中的錯誤也可能出現。這些可能是由於技術的限制，如用於數據傳輸同步的緩沖區大小的限制。不正確的數據也可能是由命名約定或所用的數據代碼不一致，或輸入欄位（如日期）的格式不一致而導致的。重復元組也需要數據清理。
數據清理常式通過填寫缺失的值、光滑雜訊數據、識別或刪除離群點並解決不一致性來「清理」數據。如果用戶認為數據是臟的，則他們不會相信這些數據的挖掘結果。此外，臟數據造成挖掘過程陷入混亂，導致不可靠的輸出。盡管大部分挖掘常式都有一些過程處理不完整或雜訊數據，但它們並非總是魯棒的。相反，它們著重於避免建模函數過分擬合數據。因此，一個有用的預處理步驟是使用一些清理常式處理數據。2.3節討論清理數據的方法。回到你在AllElectronics的任務，假定在分析中包含來自多個數據源的數據。這涉及集成48 多個資料庫、數據立方體或文件，即數據集成。代表同一概念的屬性在不同的資料庫中可能有不同的名字，這將導致不一致性和冗餘。例如，顧客標識屬性在一個資料庫中可能是customer_id，而在另一個中為cust_id。命名的不一致還可能出現在屬性值中。例如，同一個人的名字可能在一個資料庫中登記為「Bill」，在第二個資料庫中登記為「William」，而在第三個資料庫中登記為「B」。此外，你可能會覺察到，有些屬性可能是由其他屬性（例如年收入）導出的。含大量冗餘數據可能降低知識發現過程的性能或使之陷入混亂。顯然，除數據清理之外，在數據集成時必須採取步驟，避免數據冗餘。通常，在為數據倉庫准備數據時，數據清理和集成將作為預處理步驟進行。還可以再次進行數據清理，檢測和刪去可能由集成導致的冗餘。
回到你的數據，假設你決定要使用諸如神經網路、最近鄰分類法或聚類這樣的基於距離的挖掘演算法進行分析。如果待分析的數據已經規范化，即按比例映射到一個特定的區間[0.0,1.0]，這些方法能得到更好的結果。例如，你的顧客數據包含年齡和年薪屬性。年薪屬性的取值范圍可能比年齡大得多。這樣，如果屬性未規范化，距離度量對年薪所取的權重一般要超過距離度量對年齡所取的權重。此外，分析得到每個客戶區域的銷售額這樣的聚集信息可能是有用的。這種信息不在你的數據倉庫的任何預計算的數據立方體中。你很快意識到，數據變換操作，如規范化和聚集，是導向挖掘過程成功的預處理過程。
隨著你進一步考慮數據，你想知道「我選擇用於分析的數據集太大了，肯定降低挖掘過程的速度。有沒有辦法壓縮我的數據集而又不損害數據挖掘的結果？」數據歸約得到數據集的簡化表示，它小得多，但能夠產生同樣的（或幾乎同樣的）分析結果。有許多數據歸約策略，包括數據聚集（例如建立數據立方體）、屬性子集選擇（例如通過相關分析去掉不相關的屬性）、維度歸約（例如使用諸如最小長度編碼或小波等編碼方案）和數值歸約（例如使用聚類或參數模型等較小的表示「替換」數據）。使用概念分層泛化也可以「歸約」數據。泛化用較高層的概念替換較低層的概念，例如，對於顧客位置，用region或49 province_or_state替換city。概念分層將概念組織在不同的抽象層。數據離散化是一種數據歸約形式，對於從數值數據自動地產生概念分層是非常有用的。
下圖總結了這里討論的數據預處理步驟。注意，上面的分類不是互斥的。例如，冗餘數據的刪除既是一種數據清理形式，也是一種數據歸約。
概言之，現實世界的數據一般是臟的、不完整的和不一致的。數據預處理技術可以改進神經網路和最近鄰分類法在第6章介紹，聚類在第7章討論。
數據的質量，從而有助於提高其後的挖掘過程的精度和性能。由於高質量的決策必然依賴於高質量的數據，因此數據預處理是知識發現過程的重要步驟。檢測數據異常、盡早地調整數據並歸約待分析的數據，將在決策過程得到高回報。
10. 大數據處理之道(預處理方法）
大數據處理之道(預處理方法）
一：為什麼要預處理數據？
（1）現實世界的數據是骯臟的（不完整，含雜訊，不一致）
（2）沒有高質量的數據，就沒有高質量的挖掘結果（高質量的決策必須依賴於高質量的數據；數據倉庫需要對高質量的數據進行一致地集成）
（3）原始數據中存在的問題：
不一致 —— 數據內含出現不一致情況
重復
不完整 —— 感興趣的屬性沒有
含雜訊 —— 數據中存在著錯誤、或異常（偏離期望值）的數據
高維度
二：數據預處理的方法
（1）數據清洗 —— 去雜訊和無關數據
（2）數據集成 —— 將多個數據源中的數據結合起來存放在一個一致的數據存儲中
（3）數據變換 —— 把原始數據轉換成為適合數據挖掘的形式
（4）數據規約 —— 主要方法包括：數據立方體聚集，維度歸約，數據壓縮，數值歸約，離散化和概念分層等。
（5）圖說事實
三：數據選取參考原則
（1）盡可能富餘屬性名和屬性值明確的含義
（2）統一多數據源的屬性編碼
（3）去除唯一屬性
（4）去除重復屬性
（5）去除可忽略欄位
（6）合理選擇關聯欄位
（7）進一步處理：
通過填補遺漏數據、消除異常數據、平滑雜訊數據，以及糾正不一致數據，去掉數據中的噪音、填充空值、丟失值和處理不一致數據
四：用圖說話，（我還是習慣用統計圖說話）
結尾：計算機領域存在一條鄙視鏈的 ---- 學java的鄙視學C++的，有vim的鄙視用IDE的等等。
數據清洗的路子：剛拿到的數據 ----> 和數據提供者討論咨詢 -----> 數據分析（藉助可視化工具）發現臟數據 ---->清洗臟數據（藉助MATLAB或者Java/C++語言） ----->再次統計分析（Excel的data analysis不錯的，最大小值，中位數，眾數，平均值，方差等等，以及散點圖） -----> 再次發現臟數據或者與實驗無關的數據（去除） ----->最後實驗分析 ----> 社會實例驗證 ---->結束。