科技大小事

要分析資料, 有時候需要用到網路上的資料, 這時就需要爬資料. 爬資料有很多種方式, 一般會用R 或Python 寫爬蟲程式來爬取資料. 今天教大家不用寫程式也能爬網路資料 只要用google sheets 一步就搞定. 如果我們想要知道今天 集中市場前10大進出券商淨買賣超前30名個股是那些, 一般我們都要google 去找, 或上網到某特定網站去點選查找, 如果想要紀錄分析就還要copy paste 的動作, 現在這些通通免了, 只要開啟google sheets 每天最新的資料就自動出現了~~~ 趕快來看怎麼做ㄅ…. 比如: 我們要爬取 https://www.cnyes.com/twstock/idx_main2/0000T.htm 裡的資料 開啟 google sheets 在任一cell內輸入: =IMPORTHTML("https://www.cnyes.com/twstock/idx_main2/0000T.htm","table",2) 輸入完後按enter 就完成了 存檔後, 每天一開啟這個檔案, 甚麼都不用做,最新的資料就自動show 在眼前, 是不是很方便?

政府公開資料:個股日成交資訊, 免費下載 https://data.gov.tw/dataset/11549

用google sheets中的IMPORTDATA功能來連結下載網路上的csv 檔案資料, 來分析 1. 先到有csv 檔案資料的網站, 以下舉政府公開資料網站為例: https://data.gov.tw/dataset/5977 在要下載的CSV檔案圖示下按滑鼠右鍵,選擇複製連結網址 開啟google sheets, 並輸入: =IMPORTDATA("按ctrl_V貼上剛才的網址"), 如下圖所示 =IMPORTDATA(" http://www.epza.gov.tw/pagedownloadfile.aspx?fid=a8475f8a4ebc4e17 ") 按enter 即可抓取下載該筆資料:

使用 google sheets 外掛程式 Magic Json 因有些資料都是使用json格式, 如政府公開資料, 所以要用Magic Json 來下載資料, 在goolge search 裡打”magic json" 就可以找到, 點擊 +免費 圖案就可將程式外掛到 你的google sheets 裡 點擊外掛程式裡的import json 政府的資料開放平台: https://data.gov.tw/dataset 找到想分析的資料, 在JSON圖案上點滑鼠右鍵,選擇複製連結網址 將資料的網址copy進magic jason 框格裡, 這裡用的例子是: 勞就保保險費分擔金額表 點擊import jason 連結成功後會出現欄位與資料說明, root-fields是說明欄位的名稱, root-data就是實際的資料, default 為全選, 直接點擊Generate sheets 按鈕 成功讀取資料, 會有兩個sheets, root-fields放欄位的名稱與型態說明, root-data就是實際的資料數值 可將root-fields的中文名稱說明copy 到root-data欄位上, 這樣會比較清楚 到此資料下載就大功告成, 接著就可進一步進行相關的圖表分析了~