如何高效率地使用 Python 走訪資料夾中的檔案


最近一個工作需求是要爬近 TB 等級的資料,資料的儲存格式是散落在各資料夾中的 XML 檔。然而實際爬蟲發現 IO 的瓶頸反而不是處理 XML 檔及萃取資料並寫入資料庫中,瓶頸是出現在走訪資料夾所花費的時間。原本想改用 Multi Thread / Process 的方式處理,無奈自己也不太熟悉。最後則是改採 glob 模組,讓搜尋資料夾中 XML 檔的效率增加,整體的作業時間就有相當明顯的改善!

logo

閱讀更多

ASP.NET MVC 5 使用 Bootstrap3 設計表單 (Design Forms with BS3)


使用 ASP.NET MVC 開發時,最常見的痛點就是在設計表單 (forms) 需要來回切換頁面查詢 Bootstrap 的架構格式,雖然有 Snippets 可以使用,但仍是有許多地方需要進行客製,同時也要考慮到 ASP.NET MVC 提供了許多的 Helper,不善加利用十分可惜,於是綜合兩者的優勢的開發方式以及常用的 Code Helper 及 Snippets 整理於本筆記,供日後檢索。

logo

閱讀更多