氣象大數(shù)據(jù)的大作用

2014/03/14 11:37      紀(jì)曉峰

由阿里數(shù)據(jù)委員會和阿里研究院主辦的“2014西湖品學(xué)”大數(shù)據(jù)峰會于3月7日在杭州舉行。會上,中國氣象局紀(jì)曉峰發(fā)表了《氣象大數(shù)據(jù)的商業(yè)服務(wù)與研究》的演講。紀(jì)曉峰表示,在過去服務(wù)中,氣象局提供天氣預(yù)報,不知道行業(yè)怎么用,行業(yè)拿了天氣預(yù)報也不知道應(yīng)該怎么用,這困擾了氣象系統(tǒng)十幾年,現(xiàn)在大數(shù)據(jù)時代來了,終于看到了這個問題改變的希望。

以下為紀(jì)曉峰的演講整理:

今天非常高興有機會在這里和大家分享一些我們的服務(wù)經(jīng)驗和一些美好愿景。我來自中國氣象局,中國改革開放以來經(jīng)濟不斷發(fā)展,各種極端天氣現(xiàn)象和天氣災(zāi)害越來越多,社會各界越來越關(guān)注天氣服務(wù),過去很長一段時間我們?yōu)槟茉?、交通、媒體、風(fēng)險、商品銷售提供中長期的監(jiān)測和報道。但是在過去服務(wù)中發(fā)現(xiàn)一個問題,我們提供了天氣預(yù)報,不知道行業(yè)怎么用,行業(yè)拿了我們的天氣預(yù)報也不知道應(yīng)該怎么用,這困擾了氣象系統(tǒng)十幾年,現(xiàn)在大數(shù)據(jù)時代來了,我覺得自己生有逢時,看到了這件事改變的希望。

氣象數(shù)據(jù)是什么?

大家看到的每天網(wǎng)上或者是電視上看到的天氣預(yù)報,后面其實有非常大的數(shù)據(jù)級,包括每天有2000多個地面站、120多個高空探測站、440多個雷達站、6顆在軌衛(wèi)星、5萬多個自動監(jiān)測站、600多個農(nóng)業(yè)監(jiān)測站、300多個雷達站、90多個酸雨監(jiān)測站……這些數(shù)據(jù)逐天逐小時甚至到逐分鐘掃描著中國發(fā)生的各種各樣的天氣數(shù)據(jù),中國海陸空的天氣情況幾乎可以建成一張?zhí)摂M數(shù)字網(wǎng)絡(luò),我們做氣象的每天看到這樣的數(shù)據(jù)覺得非??蓯?。

每日監(jiān)測數(shù)據(jù)能做什么?

我們拿到這些每天監(jiān)測的數(shù)據(jù)要做什么呢?比如說我們拿到雷達,會把雷達繪制成圖片,用它來觀測臺風(fēng)和霧霾的范圍;雷達的一些氣象還可以變成地面的溫度、濕度形式;通過一些算法模型能夠預(yù)測大量農(nóng)作物的長勢,比如說每天掃全球的時候關(guān)注到南美的大豆、北美的小麥和玉米,觀測到烏克蘭的玉米和小麥的產(chǎn)量,預(yù)測未來一年整個糧食形勢——這是一個宏觀數(shù)據(jù)。

為了拿到雷達數(shù)據(jù),我們要從500米到幾千米的高空不斷掃描,看空氣中的水汽含量,這些數(shù)據(jù)是6分鐘一次,可以預(yù)測風(fēng)電的發(fā)電情況,可以為航空提供負(fù)責(zé)細(xì)致的服務(wù)。

這幾年,國家不斷提供了建設(shè),在密集地面通過一些差值算法我們組成了中國1公里*1公里知道地面的數(shù)據(jù),可以知道哪些地方是大雨等等。另外,國際氣象數(shù)據(jù)交換,通過一些國際數(shù)據(jù)可以了解到中國的小氣候環(huán)境和全球大環(huán)境,進行數(shù)據(jù)優(yōu)化。

在過去,拿到這些數(shù)據(jù)以后,我們用數(shù)據(jù)的方法就是統(tǒng)計。比如說像剛才主持人說的陰雨綿綿,我們可以知道全國多少天降水分布在什么地方,形成了五年積累數(shù)據(jù)的氣侯分布。在過去的氣象大數(shù)據(jù)里面,我們拿到剛才說的數(shù)據(jù)統(tǒng)計,把這些數(shù)據(jù)統(tǒng)計成我們需要的模式,然后人工經(jīng)驗和模擬,把結(jié)果帶到模型里面,天天做天氣預(yù)報其實就是數(shù)數(shù),就是玩數(shù)字游戲,建立數(shù)字模型。

在新時代里,我們看到了國外一直在傳說的大數(shù)據(jù)服務(wù),國外一些走得比較前面的氣象服務(wù)公司給了我們很好的建議,傳說大數(shù)據(jù)在國外是價值連城,很多公司會把所有地區(qū)和商品的銷量和天氣做對比分析,尋找他們的正相關(guān)和負(fù)相關(guān),發(fā)現(xiàn)他們最暢銷的是藍(lán)莓烤面包。比如說一方面是天氣發(fā)生的時候,商場里面沒有水或者是其他的東西,也許這個東西真的賣得很好,但是季節(jié)分布很明顯,可以提前有備貨。我們了解到一個案例是美國一個EMC的保險公司,它在國外做冰雹的保險,發(fā)現(xiàn)冰雹造成的災(zāi)害很多,他們統(tǒng)計了很多數(shù)據(jù)發(fā)現(xiàn)這個地區(qū)的冰雹災(zāi)害不斷降低,通過這個發(fā)現(xiàn)很多數(shù)據(jù),是用這樣的方式不斷避免不必要的騙保,在美國也有很多電子公司也關(guān)注氣象數(shù)據(jù)。

氣象數(shù)據(jù)的大作用

在諸多案例里面,氣象大數(shù)據(jù)也就是氣象數(shù)據(jù)加上行業(yè)數(shù)據(jù)等于事情能夠發(fā)生的變化規(guī)律和對未來的一些預(yù)測,氣象數(shù)據(jù)能做這樣的事情是因為客觀、穩(wěn)定,而且量非常大。而且氣象數(shù)據(jù)和各行各業(yè)的相關(guān)性非常高,氣象對環(huán)境造成的影響是70%,過去說預(yù)測就是觀天象,一個是看天,還有就是氣象。

在現(xiàn)代一些系統(tǒng)內(nèi)的學(xué)者和社會上的學(xué)者研究,我們發(fā)現(xiàn)氣象通過大數(shù)據(jù)的應(yīng)用有非常大的應(yīng)用,比如說能源,可以觀測到電力負(fù)荷歷史,加上氣象條件進行用電量估算,農(nóng)業(yè)也是一樣,建筑行業(yè)也是,通過工期歷史加上歷史天氣就可以知道工期預(yù)測;還有交通,航班準(zhǔn)點率歷史加上機場歷史天氣,就可以航班延誤預(yù)測,準(zhǔn)確性非常高;還有公共衛(wèi)生,通過門診量和藥品銷量加上氣象歷史就可以知道發(fā)病率預(yù)測;在飲品方面,通過銷量和溫度就可以知道銷量預(yù)測;在生產(chǎn)方面,通過經(jīng)濟數(shù)據(jù)加上氣象條件可以知道中國宏觀經(jīng)濟判斷條件,這是技術(shù)性比較成熟;還有旅游,我們通過有客對旅游景區(qū)的評價和評價條件可以知道什么樣的景區(qū)適合什么天氣旅游。

氣象數(shù)據(jù)的應(yīng)用案例

通過對之前的研究,我們也做了一些小小的實踐,因為實踐時間比較短,經(jīng)驗不太成熟,希望大家批評指正。去年我們和安聯(lián)進行了“賞月險”的研究,安聯(lián)的保險沒有進行精算,因為沒有這個城市陰天或者影響賞月天氣的概率,所以不知道賠多少錢,所以只能是拍腦袋算。同時,他們通過天氣網(wǎng)站來進行判責(zé),這個判責(zé)是不準(zhǔn)備的。另外,我們做了喜陽陽的產(chǎn)品,就是用30年的歷史數(shù)據(jù)和安聯(lián)精算部門進行了合作,通過降水概率知道哪些城市在春節(jié)期間降水可以,得出賠償。未來我們構(gòu)想,保險服務(wù)很有可能是做保險理賠數(shù)據(jù)和天氣數(shù)據(jù)進行對比,能夠?qū)崟r得出到底是什么樣的天氣造成了什么樣的理賠,這樣還是相對比較有價值的。

還有就是對藥品,西安楊森有一款息斯敏的藥,他們和我們合作,可以通過天氣歷史數(shù)據(jù)預(yù)測這個地區(qū)的過敏源,得出的結(jié)果是非常理想。比如說在北京三四月份的時候連續(xù)幾天溫度低溫,馬上就會造成非常嚴(yán)重的過敏問題。

雙十一,過去我們和阿里巴巴進行了嘗試,比如說去年雙十一的時候,我們把天氣對道路交通的影響,分為三個等級和快遞到達時間得出了結(jié)論分析。

氣象數(shù)據(jù)分析目前存在的難度

過去我們發(fā)現(xiàn)大數(shù)據(jù)在商業(yè)應(yīng)用的問題,比如說數(shù)據(jù)壁壘,我們需要建立雙方的環(huán)境進行數(shù)據(jù)融合,也許各個行業(yè)的數(shù)據(jù)都需要分析。氣象數(shù)據(jù)的相關(guān)性也比較難找,也許是單一的,也許是多樣的,分析到底是什么原因造成的需要非常大量的數(shù)據(jù)不斷優(yōu)化、不斷完善,我們也設(shè)想找一個中心線,把氣象數(shù)據(jù)進行主觀分類,比如說到底什么是熱天,在過去沒有明確的定義,我們嘗試和SNS合作,看什么樣的形成網(wǎng)友發(fā)狀態(tài)說“熱”,就把它定義為“熱”。

相關(guān)閱讀