2017年4月27日 星期四

正確的海期歷史資料(1)

歷史資料,做程式交易,除了選軟體之外最重要的就是資料了,正確的資料的重要性我相信大家都知道 ,所以在做海外商品的時候我們想的第一件事也就是先取得正確的歷史資料,當然取得的過程之中有各式各樣的管道,大家講的第一件事應該都是先跟期貨商拿,或者是找朋友要


在國內各期貨商之中,說真的,資料品質十分的差,常常漏東漏西的,我一開始拿到之後還想要對一下,但是實在錯的嚴重,原本有找期貨自營部的朋友拿歷史資料,但是又不確定資料的完整性,後來還是做罷


其實有一句話說得很好,免費的才是最貴的,加上國內做海外期貨的人真的沒有太多,願意分享的人似乎也不多,為了不要重蹈前兩次的錯誤,心一狠,我就裝了esignal,他是一個專業的報價源,也擁有完整的10年歷史資料 ,雖然花了不少錢,但是我相信是值得了,只有擁有高品質的歷史資料,我們才能確定我們想要交易的策略是不是能夠完成的呈現出來。


我也知道很多人在跨足海外商品的時候也有一樣的問題, 想想有機會來幫助大家的話這個也是不錯,所以我就把我所有收集的海外歷史資料全部免費提供給大家下載,希望大家能一起進軍國際市場,如果有好的交易觀念的話,不要忘了分享喔!


在下載的時候我先跟大家講一下這些歷史資料,台灣因為有人做期貨連續月,所以大家可以只用一個商品代號就可以下單,但是在海外商品的卻是不一樣的;舉例亞洲市場來說,每一個月都是獨立的,所以你看到恆生,他是每1個月每1個月分開的,我們一開始要先把每一個月的名稱代號建立起來,然後才能藉由esignal讀入資料;如果一年有12個月的話,10年就有120個月,也就是120個檔案 ,所以就要把這120個檔案全部匯入之後,你的歷史資料才是完整的,在我分享的過程中,還有人希望我提供給他CSV的檔案,看了上面幾行之後,我相信你知道我為何無法這樣做了吧;我可以一次把自訂期貨匯出來,這樣他就一次匯出100多個檔案,那弄成csv的檔案,我這個匯出的動作,至少要做100多次,各位就體諒一下吧





大部分的商品我已經建立好MultiChart 基本資料,大家直接匯入就可以使用


只有美國的商品大部分有連續月的商品代號可以直接使用,但是考慮到換月時間和換月時的交易量,有些還是自己組自訂期貨是比較適合的。


下載地點: 2019年更換成微軟雲端硬碟


密碼: show me the money (中間不必空格,不要用複製歐)


如果看到有Databaes+日期開頭的壓縮檔,例如Databases20170422.zip,這就是我完整的資料庫,你可以下載最新的來用,裡面有海外期貨的完整歷史資料,還有200檔以上的美股和其他國際股票的資料,直接替換就可以了,以下有說明。
(其他單獨下載的檔案和各種說明我下一篇再來寫吧)

20200301補充說明:因為近三個月esignal在美國熱門時間中美期報價會延遲長達1分鐘,官方也解決不了,讓我非常生氣,畢竟一個月費用好幾萬,所以我決定改用ib當資料源,也重新整理的一下檔案,如果看見 @YM, @Hsi等等....就是已經把歷史資料整理成一個檔案了。

20200430補充說明:因為檔案已經超過10G,所以我切割成三個檔案,請同樣檔名要一起下載,一起解壓縮。


MultiChart 專業版9.0可以直接替換Databases目錄,專業版8.5的無法使用;券商版要看設定中的資料庫目錄在哪(如果只想抓幾個商品資料,請看第二篇)
注意:替換MultiChart  Databases目錄前,請不要執行過MC,不然最好重新開機。



提醒一下,如果沒接esignal資料源而開圖會造成讀很久的狀況,請用離線模式、離線模式、離線模式(很重要所以講三次),因為QM會一直去等資料源給資料;再次提醒,MultiChart 8.5版的無法使用!!

以上圖片來源於網絡,均為轉載分享不作商用,版權屬於原作者或網站。)

69 則留言:

Unknown 提到...

Book大 謝謝您的資料分享
想跟您請教
1. eSignal在數據公布的時候 會delay或掉tick嗎?
2. eSignal之報價可否接入自己撰寫的API不透過MC

BOOK 提到...

Nicholas 您好:
關於你問的1,這部份應該不會delay,我不常觀察數據的時候,但是我曾看過,當時報價跑的飛快,十分順暢,沒任何delay的感覺
2.這部份應該是可以,但是我不懂這部份,可能要上esignal網站去了解一下

希望有回答到您的問題~~

Unknown 提到...

謝謝您的分享

GD 提到...

Book大您好,
我下載了您提供的歷史資料,首先向您致謝。
想要請問您所提供的資料當中,農產品(黃小玉)的連續月資料,是根據什麼樣的換月規則編成的?
就我認知,農產品的一些和約月份是為避險者所設計,成交量非常低,在組成連續月時都會拿掉
因此
玉米應該是 110N0^HKNZ
黃豆是 110XN^FHKNX
小麥是 110N0^HKNZ
由於您所提供的是已經編好的連續月資料,在使用之前想先確認換月規則。
能否請您確認一下?
感謝您!

Unknown 提到...

Book大您好
想請教一個問題:
請問國外哪裡有單賣CBOT的報價源(最主要是想看小道瓊)
而不用同時買軟體或開戶的?
謝謝

BOOK 提到...

不太懂?
ib開戶就可以用,付點費用就好

BOOK 提到...

GD 大您好
我黃豆 規則後來調整成 !ZS_100N1^FHKNX
應該要N1,而不是用N0吧
其他兩個商品因為我沒有策略在跑,所以我就沒特別弄了

esignal有自己換月規則 ZS #F ZC #F ZW #F
https://www.evernote.com/l/ACHMKeP7UGNLu60DNp65JiD-ZWT7KWnAIVc

Jesse 提到...
作者已經移除這則留言。
處女座的PM人生 提到...

找歷史資料找好久了,經人推薦到這裡,真的很感謝您!!

revolution 小昭 提到...

我是新手,幾天前剛剛買了MultiCharts中文版。謝謝BOOK大的分享。

BOOK 提到...

一起努力歐~~

Jesse 提到...

感謝分享,想請教回測問題,因自訂商品無法細部回測,如果需要細部回測BOOK大都是怎麼做的?

BOOK 提到...

應該不是自訂商品無法細部回測吧,應該是沒有tick資料吧? 我自己都不敢保證我自己有接收到完整的tick資料,所以這部份可能要找人幫忙了,但是有時候可以研究自己的交易策略,就知道需不需要細部回測了

樂Sam 提到...

你好,首先先感謝分享,謝謝你的無私
我是一個MC的新人,在匯入歷史資料中有出現一些問題
還請你看看是否能幫忙解答,謝謝你
我使用的MC版本是官方下載的30天試用包
在偏好設定裡的確如你文中圖示
但後續我去尋找我的資料夾後,發現沒有所謂的database資料夾
反而是有一個datafeeds的資料夾
請問是直接將datafeeds的資料夾代換嗎?
因為我按照你的操作直接新建一個database代換但MC沒有出現任何的反應
還有我有參考一些網路上教學
再匯入歷史資料中通常好像會開到QM
但我看你的說明裡是沒有帶入QM的,會不會是說我步驟錯誤呢
再麻煩你幫忙回答了,謝謝。

BOOK 提到...

看一下上面設定的圖片,裡面有路徑,隱藏路徑要打開他才能看到

樂Sam 提到...
作者已經移除這則留言。
樂Sam 提到...

BOOK大你好
謝謝你,我找到錯誤的地方了
是路徑錯誤
Program data我一直找到Program files
我以為是最後的資料夾的隱藏檔案,沒想到一開始的Program data就隱藏了
難怪找不到,搞烏龍了,謝謝你
已經可開啟資料了,非常感謝你的分享喔

BOOK 提到...

贊歐~~

Unknown 提到...
作者已經移除這則留言。
suni 提到...

感謝BOOK大的分享。

另外,Databases20180303.zip裡面的mDJI,FDAX,GLOD,Gold-Hot,LightCrudeOil,6E,6J等商品,在2018/2/23-3/2之間TICK資料似乎有遺漏,不知BOOK大是否有留意到。

Unknown 提到...
作者已經移除這則留言。
Unknown 提到...

感謝BOOK 大
小弟想抓 GC 黃金的期貨 成交TICK

不曉得 小弟 該如何著手
感謝大大 幫忙

bb 提到...

suni , jh 大大,我對tick沒有維護,這部份我幫不上忙,不好意思

Unknown 提到...

您好
想請問您如果如果像我選擇了ESINGAL的來源並新增圖表後,卻發現圖表畫不出圖,但我確定已將database換掉了
或是我應該自行匯入qmd呢
謝謝您

bb 提到...

請看清楚文章中藍色的字

Unknown 提到...

Book大 您好,

請問券商版的也可以使用嗎?或是需要永久版才可以使用?

目前照著您所提供的步驟會出現“Data feed could not be loaded"

是否有建議的處理方式,感謝您!

bb 提到...

券商版我沒試過,你可以試試看匯入單一商品看看

三言兩語 提到...

想問一下, Multichart 11 64版本 (非券商版本), 是否不能直接改名Database的方式去取代數據庫的方式去匯入數據? 因為我嘗試改名的方式, Multichart 就冇法啟動, 只能改回原本的Database 才能起動

kkk 提到...

請問這軟體多少錢?
我想找小道瓊30分K跟60分K歷史資料
這個軟體有嗎?有的話也是10年歷史資料?
請版大賜教
或者教教我哪裡可以找到或購買

Eric 提到...

請問這資料還有在更新嗎?
謝謝!

BOOK 提到...

一直忘記要看留言....
「改回原本的Database」我不太懂你的意思? 不是置換原來的就可以用了嗎? 檔名當然是一樣的

這軟體? multichart嗎? 可以google 就可以找到中文版或英文版購買歐,但是這是開發軟體,或是你買esignal上面就有資料

「這資料還有在更新」,你說呢?

Dave Lam 提到...

你好大哥, 謝謝你提供這麼優質的資料, 其實如果不太貴的話我自己也想訂閱eSignal報價源自己接收數據好了, 因為最近打算把自己的策略放在其他海期上測試看看行不行...
我想搞清楚以下2個問題, 如果訂閱eSignal Classic,
1. 我們可以立即下載到多少年的1分鐘及tick數據呢? (例如是恒生指數期貨, 港股, 美股, 美國E-mini指數期貨, 美國除ICE外四大期貨交易所等等)
2. 我看到Classic的費用是50美金一個月, 但是又看到有什麼交易所費用(Exchange Fee)的說法, 如果是選擇Delayed Service Bundle的話, 要搞定我上面的品種總共就要額外的5X美金。那是代表著真正的訂閱eSignal延遲報價的總成本就是50+5X美金嗎?

BOOK 提到...

我自己沒訂過eSignal Classic, 所以我只能就我訂的來回答
1.十年一分鐘,三個月tick
2.延遲資料可以訂亞洲、美洲、歐洲等地的期貨延遲資料,應該不需要付交易所費用
3.還有一個期貨費用不知道要不要付? 你再研究一下
但是我有疑問,為何要訂延遲資料?這不就是和歷史資料意思一樣嗎? 還是我有誤解?

啃魚 提到...

BOOK大大您好,

謝謝提供這麼寶貴的資料,我正在研究小日經225的海期也下載了您所提供的資料。
但我有個疑問想請教您,您提供的資料是分年份及3/6/9/12月的小日經,如何自訂期貨做成一個連續月?我實在沒有頭緒,可否教學一下小弟,感恩!!!

Dave Lam 提到...

哈囉book大,我發現瑞士法郎的數據只更新到2018年3月, 以及現貨道瓊斯指數的數據只更新到2016年11月26日呢!
還有請問一下Russell 2000指數期貨的歷史數據你的eSignal中應該也有的吧,
可不可以在下次數據庫更新時也加入Russell 2000的期貨數據呢?
不勝感激!

BOOK 提到...

日經225不是已經在自訂期貨 裡面了嗎?


瑞士法郎自從暴漲出事後,量變太小,我覺得我不會做,所以我沒接
現貨道瓊斯指數要另外付費,我沒用到,所以我沒接

Russell 2000有點尷尬,她的歷史資料只有2017到現在,不到兩年,不知為何?

Dave Lam 提到...

上網查了一下,不來Russell 2000的期貨專營權CME在2017年7月才拿回來,之前一直都是ICE在做...

kkk 提到...

抱歉我是新手問的問題比較沒水準...
請問是下載了版大的資料然後是下載eSignal還是multichart來抓資料?

感謝耐心回答笨問題...

BOOK 提到...

MultiChart 的歐

Jimmy 提到...

請問,資料庫裡的S&P 500 index好像只有美國開盤時的資料,要怎麼找到整個交易段的資料,謝謝!!

BOOK 提到...

Jimmy 兄,你可能要好好想想你的問題? S&P 500 index 的交易時間?

Galaxy 提到...

你好,我想開發上市櫃個股的策略,若我要找分鐘線的歷史資料的話,去那裏找比較好呢?esignal是否有提供?

Unknown 提到...

太感謝了, 正在猶豫要不要買esignal拿歷史資料就看到這篇

Unknown 提到...

版大.很感謝您分享這篇文章...我也考慮買個一個月...請問一下.ESIGN裡有台指期的委買筆數及委賣筆數類的資料嗎?還有金融及電子及台灣五十現貨指數有資料嗎?另外您說道瓊現貨另外接要付費.請問是多少錢

BOOK 提到...

台灣的資料我建議最好從台灣這邊來找,股票或是台指委買賣,可以找看看凱衛....
道瓊現貨忘記多少,10美金吧?

sisi 提到...

版大.請問為何建議台灣資料最好由台灣來找?esign裡的資料會比較有問題嗎?主要想請問一下esign裡有台指期的委買筆數及委賣筆數類的資料嗎?還有金融及電子及台灣五十現貨指數有資料嗎?因為凱衛的資料期間太短了@@...才找到esign.....我連touchance都問過了...

jacky 提到...

請問book大可以在提供新的歷史資料嗎?感謝您

幽嵐飋翼 提到...

感謝大漢堡大神!!!
謝謝您提供海期資料讓我能回測
雖然已經無償取得卻還提出意見著實不該
但還是想請問看看
Us3Big裡的YM Z2008缺少分鐘資料
請問大神有辦法幫忙補一下嗎
沒有也沒關係,當前的資料能夠取得已十分感謝了
謝謝您!!

BOOK 提到...

jacky 改天再放上去吧,最近換雲端硬碟,有點懶...

幽嵐飋翼 你好,終於有人發現這個問題「YM Z2008缺少分鐘資料」,這部分esignal也缺資料,我要了好久都沒有,後來我就自己去ym #F裡面抓出來自己補,可以試試看歐

幽嵐飋翼 提到...

十分感謝版大!!

NOG 提到...

BOOK大您好,不好意思打擾~請問我下載Databases20190921,但我發現裡面的商品幾乎都沒有歷史資料,有的話也是只到2016之類的,請問有人有反應這個問題嗎?感覺我下載到的只是商品的格式而已,謝謝您的幫忙!感激不盡~

NOG 提到...

EX:CBOT裡面的商品都沒有歷史資料,資料源也都是空白,不是eSignal,謝謝您~

BOOK 提到...

NOG date source 沒esignal當然就不是esignal,可能是tc的商品名稱吧
你找錯商品,再找找看,可以看看文章說明

NOG 提到...

好的!!謝謝您。

香腸大盜 提到...

您好~請問像裡面寫小玉米 後面資料源是空白的話 就表示沒資料嗎?

MM 提到...

BOOK大您好:
請問如果要訂閱esignal Signature的費用一個月另外附註Not including real-time exchange fees,若要Multicharts收到即時資料,需要額外收取哪些費用?費用多少?
謝謝!

CAss 提到...

大大您好,您2020年的資料因為沒有新增2020年的合約,所以自動上傳歷史資料後將database直接Cover過去時,實際因為合約沒有創建,所以似乎歷史資料也等於沒地方存取就不見囉,想說跟大大說一下。

Riemann 提到...

show me the money 密碼是不是有改了 ?

Eden 提到...

跪求˙更新

Alex 提到...

大哥你好,請問有無新的數據, 感謝

bb 提到...

檔案超過10G雲端無法上傳,我再想想辦法...

Leeraphael 提到...

@Riemann, no space in the password

匿名 提到...

我非常感谢本杰明先生的服务,也无法让人们知道,我非常感谢您和您的团队员工所提供的所有协助,我期待着在需要财务建议或协助时,向朋友和家人推荐他们, 他们可获得商业贷款利率的 1.9%。通过联系 : . Lfdsloans@outlook.com Whatsapp... +19893943740.继续做伟大的工作。
谢谢 布萨拉卡姆

Unknown 提到...

你好,
請問MC12英文是否可匯入你Drive的Data?
因Copy至Databases Folder沒有反應,如可匯入?謝謝!

Ann 提到...

想請問一個問題eSignal或IB可以取得選擇權的歷史資料嗎?
因為需要6A和6C的選擇權歷史資料
另外請問IB是不是只能取大概兩年左右的資料?
謝謝

Unknown 提到...

你好,請問MC專業版可否匯入book大的資料?
因匯入後跳出"索引在陣列的界限之外",主程式也無法看到外期資料,還是我有步驟錯誤?
謝謝book大提供資料!

提到...

漢堡大大您好:
想請問一下,我已經把databases資料夾替換,
而且使用離線模式,
要怎麼把資料匯入QM呢? 試好久
求救,謝謝

CatLitter 提到...

您好
這幾次下載資料後
發現像是@NQ、@ES等都只有近一個月的成交量資料
其他歷史資料成交量都是0
我進Quote Manager裡面看資料
確實也都只有近一個月才有資料
但也沒有其他資料源可以抓資料
請問這要怎麼調整呢
感謝

小傑 提到...

你好:
我發現2007~2020的資料都是正確的
另一檔2016之後只要是沒有成交量的資料,開高收低四價是全錯的
所有的商品的交易資料都是這樣