華文網

Facebook、微信團隊、Twitter、微軟開源軟體清單一覽

編輯|小智

對於為什麼要發佈開源專案,Facebook開源項目負責人曾經解釋過:一是開源能夠幫助他人更快地開發軟體,

促進世界創新,主要是社會價值層面的考慮。二是開源能夠倒逼Facebook的工程師寫出更好的代碼。三是開源能夠更有效利用社區的力量,幫助Facebook一起解決難題。開源,讓世界更美好,不是嗎?

Facebook開源軟體清單

從Facebook的GitHub帳戶中可以看到,Facebook已經開源的開源專案有近300個,領域涉及移動、前端、Web、後端、大資料、資料庫、工具和硬體等。Facebook開源專案負責人James Pearce曾在OSCON解釋過Facebook究竟為何要使用、支援和發佈開源專案。

具體如下:

共用Facebook的代碼(通常是軟體“棧”,偶爾也包括硬體設計)促進了這個世界的創新。這些代碼説明他人更快地開發軟體。因為Facebook不是一家軟體公司,所以它在開源過程中沒有面臨競爭對手的威脅,相反,開源帶來的價值在逐漸顯現。用戶使用Facebook的開原始程式碼可以更快地構建應用,而他們也樂於回饋代碼,使Facebook從中受益。

擁抱開源,意味著Facebook必須一開始就寫出更優秀的軟體。如果他們知道某個軟體從誕生起就要公開,那就必須要好好做,提高可用性和可靠性,因為將來外面的人都會用它。這種壓力也會給公司內部帶來更多的價值。

開源帶來了共用挑戰的機會。開源項目面臨的難題會吸引一些外部的優秀人員,而結果是,他們也帶動了公司內部人員的能力提升。每天Facebook都承載了超過一億人的溝通互聯,

何以能做到?唯有開源的力量。

下面是InfoQ編輯整理的Facebook現有的比較活躍的開源專案列表,歡迎交流討論。

移動開發框架:React Native

React Native是Facebook在2015年開源的基於React.js的移動開發框架,它的設計理念是讓移動應用既擁有Native的用戶體驗,同時又可以保留React的開發效率,提高代碼的複用率。React Native的宗旨是,學習一次,高效編寫跨平臺原生應用。開發者可以使用JavaScript編寫應用,並利用相同的核心代碼就可以創建Web、iOS 和Android平臺的原生應用,

目前已經實現了對iOS和Android兩大平臺的支持。

資料查詢語言:GraphQL

GraphQL是Facebook開源的資料查詢語言。Facebook在構建移動應用程式時,需要用API獲取足夠強大的資料來描述所有的臉譜,同時簡單易學易用,於是開發了GraphQL,並支援每天千億級的調用。GraphQL不是像MySQL或Redis這樣直接面向資料的介面,而是面向已經存在的應用代碼的介面。你可以把GraphQL看作是為了調用應用伺服器上的方法的一些內嵌的RPC。

大資料查詢引擎:Presto

Presto是Facebook開發的一款分散式SQL引擎,主要用於針對各種大小的資料來源(從GB到PB)來運行互動式分析查詢。Facebook創建Presto的主要目的在於説明他們更快地分析資料,因為Facebook的資料量一直在持續增長,產品週期的節奏也變得越來越快。自從2013年11月開源後,Presto的用戶量呈現了爆發式增長。諸如Airbnb、京東、Dropbox以及Netflix等公司都將Presto作為自己的互動式查詢引擎。

PHP執行引擎:HHVM

HHVM(HipHop Virtual Machine)是Facebook於2013年開源的PHP執行引擎。它採用一種JIT(just-in-time)的編譯機制實現了高性能,同時又保持對 PHP 語法的充分支援。HHVM常常用作獨立的伺服器,用於替代Apache與mod_php,旨在執行使用Hack與PHP所編寫的程式。它使用了即時編譯方法來實現超高的性能,同時又保持了PHP開發者所習慣的靈活性。

GitHub主頁:https://github.com/facebook/hhvm

Star數量:13652

JavaScript庫:React

React是Facebook開發的用於構建使用者介面的JavaScript庫,現已為很多公司所用,因為它採用了一種不同的方式來構建應用:借助于React,開發者可以將應用分解為彼此解耦的獨立元件,這樣就可以獨立維護並反覆運算各種元件了。2015年,React有兩個主要的發佈,同時還發佈了React Native,並且發佈了新的開發者工具。現在已經有越來越多的公司(包括Netflix與WordPress)開始使用React構建自己的產品了。

GitHub主頁:https://github.com/facebook/react

Star數量:43146

鍵值存儲系統:RocksDB

RocksDB是Facebook開源的嵌入式、可持久化鍵值存儲系統,它基於Google的LevelDB,但提高了擴展性可以運行在多核處理器上,可以有效使用快速存儲,支援IO綁定、記憶體和一次寫負荷。過去一段時間,RocksDB在社區非常流行,Facebook分析其原因在於它能夠對由於網路延遲等原因造成的慢查詢回應時間起到消除的作用,RocksDB非常靈活,完全可以針對各種新興的硬體發展趨勢進行定制。LinkedIn與Yahoo都是RocksDB的重度使用者。

人工智慧硬體平臺:Big Sur

近些年,人工智慧和機器學習方向取得了長足的發展。據Kevin Lee透露,Facebook的AI軟體已經能夠閱讀故事、回答相關場景的問題、玩遊戲以及通過一些例子來學習非指定的內容。作為計算密集型的應用,AI軟體的性能與資料集規模/硬體性能密切相關。尤其是硬體方面,高性能微處理器、記憶體以及圖形處理器(Graphics Processing Unit,GPU)的發展為AI演算法的快速運行提供了堅實基礎。為了進一步更好地服務大規模AI計算,Facebook推出了基於GPU的、用於訓練神經網路的“Big Sur”硬體系統。

網路類比測試工具:ATC

Augmented Traffic Control(ATC)能夠利用Wi-Fi網路類比2G、2.5G(Edge)、3G以及LTE 4G移動網路環境,測試工程師們可以快速在各種不同的類比網路環境中切換,從而實現對智慧手機和App在不同國家地區和應用環境下的性能表現進行測試。ATC是Facebook內部團隊在2013年的一次Hackathon活動上開發出來的工具,其原理實際是利用了Linux流量控制系統,通過純Python的網路庫pyroute2調用netlink的API控制,而開發其的目的是為了確保更多的用戶獲得最好的應用體驗。

開來源資料庫:HydraBase

HydraBase是HBase資料庫的升級版。Facebook是HBase的重度用戶,Facebook的HBase資料庫系統存儲著Facebook的很多關鍵業務資料,包括內部監控系統、搜索索 引、流資料分析以及資料抓取等。HydraBase相比HBase穩定性和可用性更高,可以減少伺服器宕機時間。HydraBase能夠讓一個資料欄分佈在多個域伺服器中,域伺服器之間能相互備份,因此能夠大大減少資料恢復所用的時間。Facebook聲稱HydraBase能將Facebook全年的宕機時間縮減到不到5分鐘。

Facebook已經將HydraBase捐贈給Apache,目前很多代碼都已經被合併到HBase中。

關係型數據庫:WebScaleSQL

WebScaleSQL是基於MySQL 5.6 社區版本改編的MySQL通用分支,基於GPL開源協定發佈。WebScaleSQL目前已經做了很多性能改進工作,包括:用戶端非同步協調、邏輯預讀、查詢限流、服務端執行緒池優化、InnoDB大頁支援等等。WebScaleSQL上的功能都是很“Web Scale”和接地氣的。比如執行緒池優化,WebScaleSQL基於Mariadb的執行緒池實現進行重寫並優化,對讀寫佇列進行分離,重新設計佇列優先順序策略,避免了餓死現象。要知道執行緒餓死在有些場景下是很嚴重的。尤其是在併發連接數往往很大的互聯網應用裡面。

代碼審查工具Phabricator

代碼審查方面,Facebook開源了視覺化工具Phabricator。工程師可以在頁面上非常方便的針對每一段(單行或者多行)代碼進行交互討論;負責審查的工程師可以接受代碼改變,可以提出疑問要求原作者繼續修改,可以提出自己不適合以推出該代碼審查,等等。只有代碼被明確接受之後才能被工程師提交到伺服器端的代碼庫,這一點集成到提交工具中強制執行。

C++HTTP框架:Proxygen

Proxygen是一款Facebook開源的支持SPDY 3.1的HTTP框架。其目的不是替換Apache,而是有能力創建一個專用的高性能Web伺服器,使其可以嵌入到Facebook提供Web服務的現有應用中。Facebook從2011年開始構建一款代理伺服器(Proxygen這個名字也是由此而來),在該項目演進並在生產環境中測試了數年之後,Facebook將其代碼開源了。 Facebook內部做的基準測試表明,在一個Proxygen echo伺服器上,每秒可以支撐多達304 197次基於SPDY 3.1的記憶體GET請求。

開源動畫庫:Pop

Pop是Facebook推出的一個可擴展的iOS 和OS X動畫庫,其新聞聚合閱讀應用Paper背後的核心技術就是由Pop支援。除了增加基本的靜態動畫外,還支援Spring和衰變動態動畫,可非常方便的構建現實的、基於物理的交互。Pop動畫庫的動畫效果非常流暢,因為它使用了CADisplayLink來刷新畫面(幀),一秒鐘刷新幀數為60幀,接近于遊戲開發引擎。Pop動畫的自成體系,與系統的CoreAnimation有很大的區別,但使用上非常相似。

GitHub主頁:https://github.com/facebook/pop

Star數量:15468

靜態代碼分析工具:Infer

Infer是Facebook的開發團隊在代碼提交內部評審時,用來執行增量分析的一款靜態分析工具,在代碼提交到代碼庫或者部署到使用者的設備之前找出bug。由OCaml語言編寫的Infer目前能檢測出空指標訪問、資源洩露以及記憶體洩露,可對C、Java或Objective-C代碼進行檢測。Facebook使用Infer自動驗證iOS和安卓上的移動應用的代碼,bug報告的正確率達80%。Infer通過捕獲編譯命令,把要被編譯的檔轉換為可用於分析潛在錯誤的中間語言格式。整個過程是增量進行的,意味著通常只有那些有修改過並提交編譯的檔才會被Infer分析。Infer還集成了大量的構建或編譯工具,包括Gradle、Maven、Buck、Xcodebuild、clang、make和javac。

作業系統監控工具:osquery

osquery是一款面向OSX和Linux的作業系統檢測框架。它將作業系統暴露為一個高性能的關係型數據庫,允許使用者編寫SQL查詢查看作業系統資料。在osquery中,SQL表代表像下面這樣的抽象概念:

正在運行的進程

已載入的內核模組

打開的網路連接

雖然osquery利用了非常底層的作業系統API,但它允許用戶在Ubuntu、CentOS和Mac OS X上構建並使用它。osquery性能極高,記憶體佔用小,支援使用者在整個基礎設施上執行查詢。

JavaScript靜態類型檢查工具:Flow

Flow是Facebook出品的一個JavaScript代碼的靜態類型檢查工具,該工具採用開放源碼的OCaml(Objective Caml)語言開發,。Flow能夠幫助開發人員查找出JavaScript代碼中的類型錯誤,從而提高開發效率和代碼品質。Flow已經能夠捕獲JavaScript代碼中的常見問題,如靜態類型轉換不匹配、空指標引用等問題。同時,Flow還為JavaScript新增了類型語法,如類型別名。

GitHub主頁:https://github.com/facebook/flow

Star數量:7510

Web應用架構:Flux

Facebook認為MVC無法滿足他們的擴展需求,因此他們決定使用另一種模式:Flux。由於Facebook非常巨大的代碼庫和龐大的組織,所以MVC真的很快就變得非常複雜,於是他們得出結論,認為MVC不適合於大規模應用。

每次Facebook工程師努力增加一項新特性時,系統的複雜性成級數增長,代碼變得“脆弱和不可預測”。對於剛接觸某個代碼庫的開發人員來說,這正成為一個嚴重的問題。Flux是一個Facebook開發的、利用單向資料流程實現的應用架構,用於 React。Flux應用有三個主要的部分組成:調度程式、存儲和視圖(React 元件)。

GitHub主頁:https://github.com/facebook/flux

Star數量:11616

Android調試工具:Stetho

Stetho是一個Android應用的調試工具。當Android應用集成Stetho時,開發者可以通過訪問Chrome,在Chrome Developer Tools中查看應用佈局、網路請求、sqlite、preference等等,視覺化一切應用操作(更重要的是不用root)。開發者也可通過它的dumpapp工具提供的命令列介面來訪問應用內部。

C/C++協程庫Libco

GitHub地址:https://github.com/tencent/libco

Star數量:1043

生產級paxos類庫PhxPaxos

PhxPaxos的特性包括使用基於消息傳遞機制的純非同步工程架構、每次寫盤使用fsync嚴格保證正確性、支持Checkpoint以及對PaxosLog的自動清理、使用點對點流式協議進行快速學習、支援跨機器的Checkpoint自動拉取、內置Master選舉功能、自我調整的超載保護等。

高可用、強一致的MySQL集群PhxSQL

PhxSQL是一個相容MySQL、服務高可用、資料強一致的關係型數據庫集群。PhxSQL以單Master多Slave方式部署,在集群內超過一半機器存活的情況下、即可提供服務,並且自身實現自動Master切換、保證資料一致性。PhxSQL不依賴於ZooKeeper等任何協力廠商做存活檢測及選主。PhxSQL基於MySQL的一個分支Percona 5.6開發,功能和實現與MySQL基本一致。

RPC框架PhxRPC

使用Protobuf作為IDL用於描述RPC介面以及通信資料結構。

基於Protobuf檔自動生成Client以及Server介面,用於Client的構建,以及Server的實現。

半同步半非同步模式,採用獨立多IO執行緒,通過Epoll管理請求的接入以及讀寫,工作執行緒採用固定執行緒池。IO執行緒與工作執行緒通過記憶體佇列進行交互。

提供完善的超載保護,無需配置閾值,支援動態自我調整拒絕請求。

提供簡易的Client/Server配置讀入方式。

基於lambda函數實現併發訪問Server,可以非常方便地實現Google提出的 Backup Requests 模式。

GitHub地址:https://github.com/tencent-wechat/phxrpc

Star數量:467

終端跨平臺網路元件:Mars

在設計上,Mars以跨平臺、跨業務為前提,遵從高可用,高性能,負載均衡的設計原則。以網路的可用性為例,移動互聯網有著丟包率高、頻寬受限、延遲波動、協力廠商影響等特點,使得網路的可用性,尤其是弱網路下的可用性變得尤為關鍵。Mars 的STN元件作為基於 socket 層的網路解決方案,在很多細節設計上會充分考慮弱網路下的可用性。

GitHub地址:https://github.com/Tencent/mars

Star數量:5895

熱補丁技術Tinker

Tinker的具體設計目標如下:

開發透明:開發者無需關心是否在補丁版本,他可以隨意修改,不由框架限制。

性能無影響:補丁框架不能對應用帶來性能損耗。

完整支持:支援代碼,So 庫以及資源的修復,可以發佈功能。

補丁大小較小: 補丁大小應該儘量的小,提高升級率。

GitHub地址:https://github.com/Tencent/tinker

Star數量:6707

Twitter開源軟體專案清單

從Twitter的GitHub帳戶中可以看到,Twitter已經開源的開源專案有近200個,領域涉及分散式架構、大資料、非同步網路傳輸(用戶端、服務端)、Web、工具等。Twitter可以稱為構建於開源專案之上,該公司開源負責人Chris Aniszczyk表示,如果沒有開源軟體,Twitter將不會存在,用戶在移動端和PC端發送和接收的每一條推文都會需要開源軟體。

Twitter從開源社區中獲得了大量的好處,而Twitter也在不斷地回饋社區,開源了大量基礎設施和工具,使得其他企業和開發者不必重新發明輪子,在這些開源項目的基礎上更加快速地實現自己所需。可以看到,Twitter在開源社區的貢獻是顯著的,甚至其貢獻的某些開源項目在一定程度上比Twitter本身帶來的影響力更大。

下面是InfoQ編輯整理的Twitter現有的比較活躍的開源專案列表,歡迎交流討論。

jQuery外掛程式,快速、全功能的自動完成庫:Typeahead.js

Typeahead.js是Twitter的一個jQuery外掛程式,支持遠端和本地的資料集。比較有特色的地方在於,你可以將資料集使用本機存放區(local storage)來保存在本地,有效的提高用戶體驗。同時也擁有很多遠端資料集的處理選項,例如請求頻率,最大的併發請求數,等等。它的主要特性有:

支援資料本地保存,用戶端載入,優化載入速度;

支援多語言,並且支援阿拉伯文;

支持Hogan.js範本引擎整合;

支持多資料集拼裝;

支援本地和遠端的資料集。

GitHub主頁:https://github.com/twitter/typeahead.js

Star數量:12700

JavaScript庫:Twemoji

JavaScript範本引擎:Hogan.js

Hogan.js是Twitter團隊所製作的一個針對mustache範本的語法解析器。Hogan.js不依賴其他任何庫或框架,同時保證了高效率的範本解析,而其體積卻僅有2.5K。用它作為你的一部分資產打包編譯範本提前或將它包括在你的流覽器來處理動態範本。

RPC框架:Finagle

Finagle是一個允許開發者使用Java、Scala或其他JVM語言來構建非同步RPC伺服器和用戶端的庫,主要用於Twitter的後端服務。Finagle是Twitter基於Netty開發的支援容錯的、協議無關的RPC框架,該框架支撐了Twitter的核心服務。

Twitter面向服務的架構是由一個龐大的Ruby on Rails應用轉化而來的。為了適應這種架構的變化,需要有一個高性能的、支援容錯的、協定無關且非同步的RPC框架。在面向服務的架構之中,服務會將大多數的時間花費在等待上游服務的響應上,因此使用非同步的庫能夠讓服務併發地處理請求,從而充分發揮硬體的潛能。Finagle構建在Netty之上,並不是直接在原生NIO之上構建的,這是因為Netty已經解決了許多Twitter所遇到的問題並提供了乾淨整潔的API。

自動化測試工具:Diffy

Diffy是一個開源的自動化測試工具,它能夠自動檢測基於Apache Thrift或者基於HTTP的服務。使用Diffy,只需要進行簡單的配置,之後不需要再編寫測試代碼。

Diffy主要基於穩定版本和它的副本的輸出,對候選版本的輸出進行比較,以檢查候選版本是否正確。因此,Diffy首先假設候選版本應該和穩定版本有“相似”的輸出。即不論候選版本和穩定版本系統模組是否相同,他們的最終輸出應該是“相似”的。這裡一直使用“相似”,而不是使用相同,是因為相同請求可能會有一些Diffy不需要關心的干擾,比如:

回應中包含伺服器生成的時間戳記;

代碼中使用了亂數;

系統服務間有條件競爭。

GitHub主頁:https://github.com/twitter/diffy

Star數量:2544

Scala庫:Scalding

Scalding是一個Scala庫,簡化了Hadoop MapReduce作業開發,基於Cascading構建。Scalding跟Pig類似,但提供更緊密的Scala集成。Scalding是用於Cascading的Scala API。Cascading是一個構建於Hadoop上的API,用來創建複雜和容錯資料處理工作流,它抽象了集群拓撲結構和配置,允許開發者快速開發複雜分散式的應用,而不用考慮背後的MapReduce。

資料即時分析平臺:Heron

2016年5月25日,Twitter正式宣佈Heron開源。Heron的基本原理和方法:即時流系統是在大規模資料分析的基礎上實現系統性的分析。另外,它還需要:每分鐘處理數十億事件的能力、有秒級延遲,和行為可預見;在故障時保證資料的準確性,在達到流量峰值時是彈性的,並且易於調試和在共用的基礎設施上實現簡單部署。

為了滿足這些需求,Twitter討論出了幾種方案,包括:擴展Storm、使用其他的開源系統、開發一個全新的平臺。因為有幾個需求是要求改變 Storm的核心架構,所以對它進行擴展需要一個很長的開發週期。其他的開源流處理框架並不能完美滿足Twitter對於規模、輸送量和延遲的需求。而且,這些系統也不能相容Storm API——適應一個新的API需要重寫幾個topologies和修改高級的abstractions,這會導致一個很長的遷移過程。所以,Twitter決定建立 一個新的系統來滿足以上提到需求和相容Storm API。

在Twitter,Heron作為主要的流媒體系統,運行數以百萬計的開發和生產topologies。由於Heron可高效使用資源,在遷移Twitter所有的topologies後,整體硬體減少了3倍,導致Twitter的基礎設置 效率有了顯著的提升。

GitHub主頁:https://github.com/twitter/heron

Star數量:1873

Web安全開發工具:SecureHeaders

SecureHeaders是Twitter送給Web開發者的一份大禮,作為一款Web安全開發工具,Secureheaders能夠自動實施安全相關的header規則,包括內容安全政策(CSP),防止XSS、HSTS等攻擊,防止火綿羊(Firesheep)攻擊以及XFO點擊劫持等。

代理伺服器:Twemproxy

Twemproxy是一個快速的單執行緒代理程式,支援Memcached ASCII協定和更新的Redis協定。它全部用C寫成,使用Apache 2.0 License授權。Twemproxy的強大之處在於可以通過配置的方式讓它禁用掉失敗的結點,同時還能在一段時間後進行重試,抑或使用指定的鍵->伺服器映射。這意味著在將Redis用作資料存儲時,它可以對Redis資料集進行分片(禁用掉結點驅逐);在將Redis用作緩存時,它可以啟用結點驅逐以實現簡單的高可用性。它的特性是:

通過代理的方式減少緩存伺服器的連接數;

自動在多台緩存伺服器間共用資料;

通過不同的策略與散列函數支援一致性散列;

通過配置的方式禁用失敗的結點;

運行在多個實例上,用戶端可以連接到首個可用的代理伺服器;

支持請求的流式與批次處理,因而能夠降低來回的消耗;

速度快;

羽量級。

GitHub主頁:https://github.com/twitter/twemproxy

Star數量:5434

微軟開源軟體清單

提起微軟公司,不少人第一反應是老牌巨頭專注于私有化軟體盈利模式,這大抵是源於微軟前CEO Steve Ballmer曾經宣稱“Linux是顆毒瘤(Linux is a cancer)”,並曾經偏執地認為所有開源軟體都不值一提。但是,這是2001年的事情了,是時候更新大家對微軟的刻板印象。

2014年10月,出任微軟首席執行官的薩提亞∙ 納德拉,第一次公開宣佈“微軟愛Linux”。同年,微軟首次發佈.NET Core並將其開源;眾所周知,微軟核心的技術棧長期以來基於.NET和Windows綁定。在重寫標準庫之後,2016年6月.NET Core 1.0實現跨平臺(Windows、Linux和Mac),這意味著開發者可以使用Windows開發而Linux部署。

2016年3月,Windows原生支持 Ubuntu Linux Bash, 這意味著Windows作業系統級別的開放,Win10 可以當作一台Ubuntu開發機來使用。此外,微軟稱Azure全面支援所有開源技術棧,並且從IaaS(VM),PaaS和SaaS(CRM、PowerBI、Office365)全面支持用戶的靈活選擇。

InfoQ對數個較受社區歡迎的項目進行了整理如下:

Visual Studio Code:跨平臺原始程式碼編輯器

Visual Studio Code是微軟於2015年正式發佈的項目,可以運行在Mac OS X、Windows和Linux之上,面向Web和雲應用的一款跨平臺原始程式碼編輯器。

雖然它的名字與Visual Studio相近,但前者是代碼編輯器,後者是整合式開發環境(IDE)並且目前只運行在Windows上。

Star數量:24.3k;Fork數量:3.3k

GitHub主頁:https://github.com/Microsoft/vscode

TypeScript:開源程式設計語言,JavaScript的超集合

TypeScript是JavaScript強類型的超集合,可以編譯成純JavaScript。由微軟開發的自由和開源的程式設計語言,可以運行在各類流覽器和作業系統之上。

Star數量:19.8k ;Fork數量:2.8k

GitHub主頁:https://github.com/Microsoft/TypeScript/

CNTK: 深度學習開源工具包

CNTK全稱為The Microsoft Cognitive Toolkit, 將神經網路描述為電腦可處理的有向圖,有向圖的葉節點表示輸入值或網路參數,其他節點表示輸入對應的矩陣運算。CNTK便於實現並且也結合了很多流行計算模型如前饋DNN,卷積網(CNN)和複現網路(RNN / LSTM)。它可以跨多個GPU和伺服器實現隨機梯度下降(SGD,誤差反向傳播)學習與自動微分和並行化。

可以在Python或者C++語言中如同庫版應用,也可以使用其自有的描述語言BrainScript單機化使用。CNTK可適用於64位的Linux和Window,於2015年4月開源。

下圖比較CNTK的處理速度(每秒處理的幀數)與四個其他眾所周知的工具包的處理速度。 配置使用完全連接的4層神經網路(參見微軟的基準腳本)和有效的迷你批量大小(8192)。在相同硬體上獲得的結果。

Star數量:9.9k;Fork數量:2.4k

GitHub地址:https://github.com/Microsoft/CNTK

Donnet:採用系統虛擬機器運行的程式設計平臺

.NET是微軟研發的XML Web services平臺,此框架支援多種語言(如C#、F#、VB.Net、C++、Python等)的開發。.NET框架歷經亟待,最終於2014年開源。

C#通常被認為是微軟專屬,是.NET框架上最常用的程式設計語言之一, 其著名競爭對手是Java。

Star數量:7.8k ;Fork數量:1.2k

GitHub主頁:https://github.com/Microsoft/dotnet/network

PowerShell :為任何系統提供Windows的命令列工具

一個跨平臺(Windows、Linux和macOS)自動化和配置工具/框架,可與現有工具完美配合,並優化用於處理結構化資料(例如JSON,CSV,XML等)、REST API 和物件模型。 它包括命令列shell,相關的指令碼語言和用於處理cmdlet的框架。

Star數量:6.4k;Fork數量:800

GitHub地址:https://github.com/PowerShell/PowerShell

MSOpenTech/redis: 在Windows使用Redis

官方只支援64位,可自行構建32位版。

該開源專案,在2.8版本中,替代UNIX forkAPI中的記憶體映射檔類比寫時複製行為。 版本3.0類似,為了便於系統檔分頁,刪除了記憶體映射檔,在管理堆碎片方面進行了改進。

Redis對檔描述符的值做了一些假設,微軟構建了一個虛擬檔描述符映射層。

Star數量:5.8k;Fork數量:8.7k

GitHub地址:https://github.com/MSOpenTech/redis

WinObjc:Windows下的Objective-C

為Visual Studio提供了一個Objective-C開發環境並支援iOS API。通過重新使用Objective-C代碼和iOS API,配以Windows自有Cortana(中文名:微軟小娜,微軟發佈的全球第一款個人智慧助理)和通知等功能,用戶可以創建通用Windows平臺(UWP)應用程式並運行在Windows設備上。

ASP.NET之MVC核:模型(model)-視圖(view)-控制器(controller)框架

旨在TDD友好,用於創建符合最新Web標準的複雜應用程式、構建動態網站,可以在IIS中託管或自我託管。

Star數量:4.4k;Fork數量:1.6k

GitHub地址:https://github.com/aspnet/Mvc

BashOnWindows:解決Ubuntu Bash在Windows的使用問題

微軟在Build 2016大會上宣佈了一條振奮人心的消息,大家驚呼Ubuntu on Windows。Bash on Windows 為開發者們提供了Bash shell、Linux類似環境,在不需要Linux虛擬機器的情況下,大部分的Linux命令列工具基本上可以不經修改地運行在Windows上。

Star數量:3.7k;Fork數量:129

GitHub地址:https://github.com/Microsoft/BashOnWindows

Azure相關:文檔、SDK和代碼示例

微軟支援開發者們將各種開源軟體工具和技術帶入Azure。Azure 應用市場支持很多Linux 分發,包括 Ubuntu、Debian 和 SUSE;也支持借助支持 Node.js、PHP、Python 和 Java 的 Azure 應用服務,生成 Web 和移動應用。

在GitHub上Azure相關的存儲庫有1700+個。

Star數量(共計):149k;Fork數量(共計):291k

地址:https://azure.microsoft.com/zh-cn/overview/open-source/

今日薦文

點擊下方圖片即可閱讀

一名合格的架構師應該具備哪些特質?

它採用一種JIT(just-in-time)的編譯機制實現了高性能,同時又保持對 PHP 語法的充分支援。HHVM常常用作獨立的伺服器,用於替代Apache與mod_php,旨在執行使用Hack與PHP所編寫的程式。它使用了即時編譯方法來實現超高的性能,同時又保持了PHP開發者所習慣的靈活性。

GitHub主頁:https://github.com/facebook/hhvm

Star數量:13652

JavaScript庫:React

React是Facebook開發的用於構建使用者介面的JavaScript庫,現已為很多公司所用,因為它採用了一種不同的方式來構建應用:借助于React,開發者可以將應用分解為彼此解耦的獨立元件,這樣就可以獨立維護並反覆運算各種元件了。2015年,React有兩個主要的發佈,同時還發佈了React Native,並且發佈了新的開發者工具。現在已經有越來越多的公司(包括Netflix與WordPress)開始使用React構建自己的產品了。

GitHub主頁:https://github.com/facebook/react

Star數量:43146

鍵值存儲系統:RocksDB

RocksDB是Facebook開源的嵌入式、可持久化鍵值存儲系統,它基於Google的LevelDB,但提高了擴展性可以運行在多核處理器上,可以有效使用快速存儲,支援IO綁定、記憶體和一次寫負荷。過去一段時間,RocksDB在社區非常流行,Facebook分析其原因在於它能夠對由於網路延遲等原因造成的慢查詢回應時間起到消除的作用,RocksDB非常靈活,完全可以針對各種新興的硬體發展趨勢進行定制。LinkedIn與Yahoo都是RocksDB的重度使用者。

人工智慧硬體平臺:Big Sur

近些年,人工智慧和機器學習方向取得了長足的發展。據Kevin Lee透露,Facebook的AI軟體已經能夠閱讀故事、回答相關場景的問題、玩遊戲以及通過一些例子來學習非指定的內容。作為計算密集型的應用,AI軟體的性能與資料集規模/硬體性能密切相關。尤其是硬體方面,高性能微處理器、記憶體以及圖形處理器(Graphics Processing Unit,GPU)的發展為AI演算法的快速運行提供了堅實基礎。為了進一步更好地服務大規模AI計算,Facebook推出了基於GPU的、用於訓練神經網路的“Big Sur”硬體系統。

網路類比測試工具:ATC

Augmented Traffic Control(ATC)能夠利用Wi-Fi網路類比2G、2.5G(Edge)、3G以及LTE 4G移動網路環境,測試工程師們可以快速在各種不同的類比網路環境中切換,從而實現對智慧手機和App在不同國家地區和應用環境下的性能表現進行測試。ATC是Facebook內部團隊在2013年的一次Hackathon活動上開發出來的工具,其原理實際是利用了Linux流量控制系統,通過純Python的網路庫pyroute2調用netlink的API控制,而開發其的目的是為了確保更多的用戶獲得最好的應用體驗。

開來源資料庫:HydraBase

HydraBase是HBase資料庫的升級版。Facebook是HBase的重度用戶,Facebook的HBase資料庫系統存儲著Facebook的很多關鍵業務資料,包括內部監控系統、搜索索 引、流資料分析以及資料抓取等。HydraBase相比HBase穩定性和可用性更高,可以減少伺服器宕機時間。HydraBase能夠讓一個資料欄分佈在多個域伺服器中,域伺服器之間能相互備份,因此能夠大大減少資料恢復所用的時間。Facebook聲稱HydraBase能將Facebook全年的宕機時間縮減到不到5分鐘。

Facebook已經將HydraBase捐贈給Apache,目前很多代碼都已經被合併到HBase中。

關係型數據庫:WebScaleSQL

WebScaleSQL是基於MySQL 5.6 社區版本改編的MySQL通用分支,基於GPL開源協定發佈。WebScaleSQL目前已經做了很多性能改進工作,包括:用戶端非同步協調、邏輯預讀、查詢限流、服務端執行緒池優化、InnoDB大頁支援等等。WebScaleSQL上的功能都是很“Web Scale”和接地氣的。比如執行緒池優化,WebScaleSQL基於Mariadb的執行緒池實現進行重寫並優化,對讀寫佇列進行分離,重新設計佇列優先順序策略,避免了餓死現象。要知道執行緒餓死在有些場景下是很嚴重的。尤其是在併發連接數往往很大的互聯網應用裡面。

代碼審查工具Phabricator

代碼審查方面,Facebook開源了視覺化工具Phabricator。工程師可以在頁面上非常方便的針對每一段(單行或者多行)代碼進行交互討論;負責審查的工程師可以接受代碼改變,可以提出疑問要求原作者繼續修改,可以提出自己不適合以推出該代碼審查,等等。只有代碼被明確接受之後才能被工程師提交到伺服器端的代碼庫,這一點集成到提交工具中強制執行。

C++HTTP框架:Proxygen

Proxygen是一款Facebook開源的支持SPDY 3.1的HTTP框架。其目的不是替換Apache,而是有能力創建一個專用的高性能Web伺服器,使其可以嵌入到Facebook提供Web服務的現有應用中。Facebook從2011年開始構建一款代理伺服器(Proxygen這個名字也是由此而來),在該項目演進並在生產環境中測試了數年之後,Facebook將其代碼開源了。 Facebook內部做的基準測試表明,在一個Proxygen echo伺服器上,每秒可以支撐多達304 197次基於SPDY 3.1的記憶體GET請求。

開源動畫庫:Pop

Pop是Facebook推出的一個可擴展的iOS 和OS X動畫庫,其新聞聚合閱讀應用Paper背後的核心技術就是由Pop支援。除了增加基本的靜態動畫外,還支援Spring和衰變動態動畫,可非常方便的構建現實的、基於物理的交互。Pop動畫庫的動畫效果非常流暢,因為它使用了CADisplayLink來刷新畫面(幀),一秒鐘刷新幀數為60幀,接近于遊戲開發引擎。Pop動畫的自成體系,與系統的CoreAnimation有很大的區別,但使用上非常相似。

GitHub主頁:https://github.com/facebook/pop

Star數量:15468

靜態代碼分析工具:Infer

Infer是Facebook的開發團隊在代碼提交內部評審時,用來執行增量分析的一款靜態分析工具,在代碼提交到代碼庫或者部署到使用者的設備之前找出bug。由OCaml語言編寫的Infer目前能檢測出空指標訪問、資源洩露以及記憶體洩露,可對C、Java或Objective-C代碼進行檢測。Facebook使用Infer自動驗證iOS和安卓上的移動應用的代碼,bug報告的正確率達80%。Infer通過捕獲編譯命令,把要被編譯的檔轉換為可用於分析潛在錯誤的中間語言格式。整個過程是增量進行的,意味著通常只有那些有修改過並提交編譯的檔才會被Infer分析。Infer還集成了大量的構建或編譯工具,包括Gradle、Maven、Buck、Xcodebuild、clang、make和javac。

作業系統監控工具:osquery

osquery是一款面向OSX和Linux的作業系統檢測框架。它將作業系統暴露為一個高性能的關係型數據庫,允許使用者編寫SQL查詢查看作業系統資料。在osquery中,SQL表代表像下面這樣的抽象概念:

正在運行的進程

已載入的內核模組

打開的網路連接

雖然osquery利用了非常底層的作業系統API,但它允許用戶在Ubuntu、CentOS和Mac OS X上構建並使用它。osquery性能極高,記憶體佔用小,支援使用者在整個基礎設施上執行查詢。

JavaScript靜態類型檢查工具:Flow

Flow是Facebook出品的一個JavaScript代碼的靜態類型檢查工具,該工具採用開放源碼的OCaml(Objective Caml)語言開發,。Flow能夠幫助開發人員查找出JavaScript代碼中的類型錯誤,從而提高開發效率和代碼品質。Flow已經能夠捕獲JavaScript代碼中的常見問題,如靜態類型轉換不匹配、空指標引用等問題。同時,Flow還為JavaScript新增了類型語法,如類型別名。

GitHub主頁:https://github.com/facebook/flow

Star數量:7510

Web應用架構:Flux

Facebook認為MVC無法滿足他們的擴展需求,因此他們決定使用另一種模式:Flux。由於Facebook非常巨大的代碼庫和龐大的組織,所以MVC真的很快就變得非常複雜,於是他們得出結論,認為MVC不適合於大規模應用。

每次Facebook工程師努力增加一項新特性時,系統的複雜性成級數增長,代碼變得“脆弱和不可預測”。對於剛接觸某個代碼庫的開發人員來說,這正成為一個嚴重的問題。Flux是一個Facebook開發的、利用單向資料流程實現的應用架構,用於 React。Flux應用有三個主要的部分組成:調度程式、存儲和視圖(React 元件)。

GitHub主頁:https://github.com/facebook/flux

Star數量:11616

Android調試工具:Stetho

Stetho是一個Android應用的調試工具。當Android應用集成Stetho時,開發者可以通過訪問Chrome,在Chrome Developer Tools中查看應用佈局、網路請求、sqlite、preference等等,視覺化一切應用操作(更重要的是不用root)。開發者也可通過它的dumpapp工具提供的命令列介面來訪問應用內部。

C/C++協程庫Libco

GitHub地址:https://github.com/tencent/libco

Star數量:1043

生產級paxos類庫PhxPaxos

PhxPaxos的特性包括使用基於消息傳遞機制的純非同步工程架構、每次寫盤使用fsync嚴格保證正確性、支持Checkpoint以及對PaxosLog的自動清理、使用點對點流式協議進行快速學習、支援跨機器的Checkpoint自動拉取、內置Master選舉功能、自我調整的超載保護等。

高可用、強一致的MySQL集群PhxSQL

PhxSQL是一個相容MySQL、服務高可用、資料強一致的關係型數據庫集群。PhxSQL以單Master多Slave方式部署,在集群內超過一半機器存活的情況下、即可提供服務,並且自身實現自動Master切換、保證資料一致性。PhxSQL不依賴於ZooKeeper等任何協力廠商做存活檢測及選主。PhxSQL基於MySQL的一個分支Percona 5.6開發,功能和實現與MySQL基本一致。

RPC框架PhxRPC

使用Protobuf作為IDL用於描述RPC介面以及通信資料結構。

基於Protobuf檔自動生成Client以及Server介面,用於Client的構建,以及Server的實現。

半同步半非同步模式,採用獨立多IO執行緒,通過Epoll管理請求的接入以及讀寫,工作執行緒採用固定執行緒池。IO執行緒與工作執行緒通過記憶體佇列進行交互。

提供完善的超載保護,無需配置閾值,支援動態自我調整拒絕請求。

提供簡易的Client/Server配置讀入方式。

基於lambda函數實現併發訪問Server,可以非常方便地實現Google提出的 Backup Requests 模式。

GitHub地址:https://github.com/tencent-wechat/phxrpc

Star數量:467

終端跨平臺網路元件:Mars

在設計上,Mars以跨平臺、跨業務為前提,遵從高可用,高性能,負載均衡的設計原則。以網路的可用性為例,移動互聯網有著丟包率高、頻寬受限、延遲波動、協力廠商影響等特點,使得網路的可用性,尤其是弱網路下的可用性變得尤為關鍵。Mars 的STN元件作為基於 socket 層的網路解決方案,在很多細節設計上會充分考慮弱網路下的可用性。

GitHub地址:https://github.com/Tencent/mars

Star數量:5895

熱補丁技術Tinker

Tinker的具體設計目標如下:

開發透明:開發者無需關心是否在補丁版本,他可以隨意修改,不由框架限制。

性能無影響:補丁框架不能對應用帶來性能損耗。

完整支持:支援代碼,So 庫以及資源的修復,可以發佈功能。

補丁大小較小: 補丁大小應該儘量的小,提高升級率。

GitHub地址:https://github.com/Tencent/tinker

Star數量:6707

Twitter開源軟體專案清單

從Twitter的GitHub帳戶中可以看到,Twitter已經開源的開源專案有近200個,領域涉及分散式架構、大資料、非同步網路傳輸(用戶端、服務端)、Web、工具等。Twitter可以稱為構建於開源專案之上,該公司開源負責人Chris Aniszczyk表示,如果沒有開源軟體,Twitter將不會存在,用戶在移動端和PC端發送和接收的每一條推文都會需要開源軟體。

Twitter從開源社區中獲得了大量的好處,而Twitter也在不斷地回饋社區,開源了大量基礎設施和工具,使得其他企業和開發者不必重新發明輪子,在這些開源項目的基礎上更加快速地實現自己所需。可以看到,Twitter在開源社區的貢獻是顯著的,甚至其貢獻的某些開源項目在一定程度上比Twitter本身帶來的影響力更大。

下面是InfoQ編輯整理的Twitter現有的比較活躍的開源專案列表,歡迎交流討論。

jQuery外掛程式,快速、全功能的自動完成庫:Typeahead.js

Typeahead.js是Twitter的一個jQuery外掛程式,支持遠端和本地的資料集。比較有特色的地方在於,你可以將資料集使用本機存放區(local storage)來保存在本地,有效的提高用戶體驗。同時也擁有很多遠端資料集的處理選項,例如請求頻率,最大的併發請求數,等等。它的主要特性有:

支援資料本地保存,用戶端載入,優化載入速度;

支援多語言,並且支援阿拉伯文;

支持Hogan.js範本引擎整合;

支持多資料集拼裝;

支援本地和遠端的資料集。

GitHub主頁:https://github.com/twitter/typeahead.js

Star數量:12700

JavaScript庫:Twemoji

JavaScript範本引擎:Hogan.js

Hogan.js是Twitter團隊所製作的一個針對mustache範本的語法解析器。Hogan.js不依賴其他任何庫或框架,同時保證了高效率的範本解析,而其體積卻僅有2.5K。用它作為你的一部分資產打包編譯範本提前或將它包括在你的流覽器來處理動態範本。

RPC框架:Finagle

Finagle是一個允許開發者使用Java、Scala或其他JVM語言來構建非同步RPC伺服器和用戶端的庫,主要用於Twitter的後端服務。Finagle是Twitter基於Netty開發的支援容錯的、協議無關的RPC框架,該框架支撐了Twitter的核心服務。

Twitter面向服務的架構是由一個龐大的Ruby on Rails應用轉化而來的。為了適應這種架構的變化,需要有一個高性能的、支援容錯的、協定無關且非同步的RPC框架。在面向服務的架構之中,服務會將大多數的時間花費在等待上游服務的響應上,因此使用非同步的庫能夠讓服務併發地處理請求,從而充分發揮硬體的潛能。Finagle構建在Netty之上,並不是直接在原生NIO之上構建的,這是因為Netty已經解決了許多Twitter所遇到的問題並提供了乾淨整潔的API。

自動化測試工具:Diffy

Diffy是一個開源的自動化測試工具,它能夠自動檢測基於Apache Thrift或者基於HTTP的服務。使用Diffy,只需要進行簡單的配置,之後不需要再編寫測試代碼。

Diffy主要基於穩定版本和它的副本的輸出,對候選版本的輸出進行比較,以檢查候選版本是否正確。因此,Diffy首先假設候選版本應該和穩定版本有“相似”的輸出。即不論候選版本和穩定版本系統模組是否相同,他們的最終輸出應該是“相似”的。這裡一直使用“相似”,而不是使用相同,是因為相同請求可能會有一些Diffy不需要關心的干擾,比如:

回應中包含伺服器生成的時間戳記;

代碼中使用了亂數;

系統服務間有條件競爭。

GitHub主頁:https://github.com/twitter/diffy

Star數量:2544

Scala庫:Scalding

Scalding是一個Scala庫,簡化了Hadoop MapReduce作業開發,基於Cascading構建。Scalding跟Pig類似,但提供更緊密的Scala集成。Scalding是用於Cascading的Scala API。Cascading是一個構建於Hadoop上的API,用來創建複雜和容錯資料處理工作流,它抽象了集群拓撲結構和配置,允許開發者快速開發複雜分散式的應用,而不用考慮背後的MapReduce。

資料即時分析平臺:Heron

2016年5月25日,Twitter正式宣佈Heron開源。Heron的基本原理和方法:即時流系統是在大規模資料分析的基礎上實現系統性的分析。另外,它還需要:每分鐘處理數十億事件的能力、有秒級延遲,和行為可預見;在故障時保證資料的準確性,在達到流量峰值時是彈性的,並且易於調試和在共用的基礎設施上實現簡單部署。

為了滿足這些需求,Twitter討論出了幾種方案,包括:擴展Storm、使用其他的開源系統、開發一個全新的平臺。因為有幾個需求是要求改變 Storm的核心架構,所以對它進行擴展需要一個很長的開發週期。其他的開源流處理框架並不能完美滿足Twitter對於規模、輸送量和延遲的需求。而且,這些系統也不能相容Storm API——適應一個新的API需要重寫幾個topologies和修改高級的abstractions,這會導致一個很長的遷移過程。所以,Twitter決定建立 一個新的系統來滿足以上提到需求和相容Storm API。

在Twitter,Heron作為主要的流媒體系統,運行數以百萬計的開發和生產topologies。由於Heron可高效使用資源,在遷移Twitter所有的topologies後,整體硬體減少了3倍,導致Twitter的基礎設置 效率有了顯著的提升。

GitHub主頁:https://github.com/twitter/heron

Star數量:1873

Web安全開發工具:SecureHeaders

SecureHeaders是Twitter送給Web開發者的一份大禮,作為一款Web安全開發工具,Secureheaders能夠自動實施安全相關的header規則,包括內容安全政策(CSP),防止XSS、HSTS等攻擊,防止火綿羊(Firesheep)攻擊以及XFO點擊劫持等。

代理伺服器:Twemproxy

Twemproxy是一個快速的單執行緒代理程式,支援Memcached ASCII協定和更新的Redis協定。它全部用C寫成,使用Apache 2.0 License授權。Twemproxy的強大之處在於可以通過配置的方式讓它禁用掉失敗的結點,同時還能在一段時間後進行重試,抑或使用指定的鍵->伺服器映射。這意味著在將Redis用作資料存儲時,它可以對Redis資料集進行分片(禁用掉結點驅逐);在將Redis用作緩存時,它可以啟用結點驅逐以實現簡單的高可用性。它的特性是:

通過代理的方式減少緩存伺服器的連接數;

自動在多台緩存伺服器間共用資料;

通過不同的策略與散列函數支援一致性散列;

通過配置的方式禁用失敗的結點;

運行在多個實例上,用戶端可以連接到首個可用的代理伺服器;

支持請求的流式與批次處理,因而能夠降低來回的消耗;

速度快;

羽量級。

GitHub主頁:https://github.com/twitter/twemproxy

Star數量:5434

微軟開源軟體清單

提起微軟公司,不少人第一反應是老牌巨頭專注于私有化軟體盈利模式,這大抵是源於微軟前CEO Steve Ballmer曾經宣稱“Linux是顆毒瘤(Linux is a cancer)”,並曾經偏執地認為所有開源軟體都不值一提。但是,這是2001年的事情了,是時候更新大家對微軟的刻板印象。

2014年10月,出任微軟首席執行官的薩提亞∙ 納德拉,第一次公開宣佈“微軟愛Linux”。同年,微軟首次發佈.NET Core並將其開源;眾所周知,微軟核心的技術棧長期以來基於.NET和Windows綁定。在重寫標準庫之後,2016年6月.NET Core 1.0實現跨平臺(Windows、Linux和Mac),這意味著開發者可以使用Windows開發而Linux部署。

2016年3月,Windows原生支持 Ubuntu Linux Bash, 這意味著Windows作業系統級別的開放,Win10 可以當作一台Ubuntu開發機來使用。此外,微軟稱Azure全面支援所有開源技術棧,並且從IaaS(VM),PaaS和SaaS(CRM、PowerBI、Office365)全面支持用戶的靈活選擇。

InfoQ對數個較受社區歡迎的項目進行了整理如下:

Visual Studio Code:跨平臺原始程式碼編輯器

Visual Studio Code是微軟於2015年正式發佈的項目,可以運行在Mac OS X、Windows和Linux之上,面向Web和雲應用的一款跨平臺原始程式碼編輯器。

雖然它的名字與Visual Studio相近,但前者是代碼編輯器,後者是整合式開發環境(IDE)並且目前只運行在Windows上。

Star數量:24.3k;Fork數量:3.3k

GitHub主頁:https://github.com/Microsoft/vscode

TypeScript:開源程式設計語言,JavaScript的超集合

TypeScript是JavaScript強類型的超集合,可以編譯成純JavaScript。由微軟開發的自由和開源的程式設計語言,可以運行在各類流覽器和作業系統之上。

Star數量:19.8k ;Fork數量:2.8k

GitHub主頁:https://github.com/Microsoft/TypeScript/

CNTK: 深度學習開源工具包

CNTK全稱為The Microsoft Cognitive Toolkit, 將神經網路描述為電腦可處理的有向圖,有向圖的葉節點表示輸入值或網路參數,其他節點表示輸入對應的矩陣運算。CNTK便於實現並且也結合了很多流行計算模型如前饋DNN,卷積網(CNN)和複現網路(RNN / LSTM)。它可以跨多個GPU和伺服器實現隨機梯度下降(SGD,誤差反向傳播)學習與自動微分和並行化。

可以在Python或者C++語言中如同庫版應用,也可以使用其自有的描述語言BrainScript單機化使用。CNTK可適用於64位的Linux和Window,於2015年4月開源。

下圖比較CNTK的處理速度(每秒處理的幀數)與四個其他眾所周知的工具包的處理速度。 配置使用完全連接的4層神經網路(參見微軟的基準腳本)和有效的迷你批量大小(8192)。在相同硬體上獲得的結果。

Star數量:9.9k;Fork數量:2.4k

GitHub地址:https://github.com/Microsoft/CNTK

Donnet:採用系統虛擬機器運行的程式設計平臺

.NET是微軟研發的XML Web services平臺,此框架支援多種語言(如C#、F#、VB.Net、C++、Python等)的開發。.NET框架歷經亟待,最終於2014年開源。

C#通常被認為是微軟專屬,是.NET框架上最常用的程式設計語言之一, 其著名競爭對手是Java。

Star數量:7.8k ;Fork數量:1.2k

GitHub主頁:https://github.com/Microsoft/dotnet/network

PowerShell :為任何系統提供Windows的命令列工具

一個跨平臺(Windows、Linux和macOS)自動化和配置工具/框架,可與現有工具完美配合,並優化用於處理結構化資料(例如JSON,CSV,XML等)、REST API 和物件模型。 它包括命令列shell,相關的指令碼語言和用於處理cmdlet的框架。

Star數量:6.4k;Fork數量:800

GitHub地址:https://github.com/PowerShell/PowerShell

MSOpenTech/redis: 在Windows使用Redis

官方只支援64位,可自行構建32位版。

該開源專案,在2.8版本中,替代UNIX forkAPI中的記憶體映射檔類比寫時複製行為。 版本3.0類似,為了便於系統檔分頁,刪除了記憶體映射檔,在管理堆碎片方面進行了改進。

Redis對檔描述符的值做了一些假設,微軟構建了一個虛擬檔描述符映射層。

Star數量:5.8k;Fork數量:8.7k

GitHub地址:https://github.com/MSOpenTech/redis

WinObjc:Windows下的Objective-C

為Visual Studio提供了一個Objective-C開發環境並支援iOS API。通過重新使用Objective-C代碼和iOS API,配以Windows自有Cortana(中文名:微軟小娜,微軟發佈的全球第一款個人智慧助理)和通知等功能,用戶可以創建通用Windows平臺(UWP)應用程式並運行在Windows設備上。

ASP.NET之MVC核:模型(model)-視圖(view)-控制器(controller)框架

旨在TDD友好,用於創建符合最新Web標準的複雜應用程式、構建動態網站,可以在IIS中託管或自我託管。

Star數量:4.4k;Fork數量:1.6k

GitHub地址:https://github.com/aspnet/Mvc

BashOnWindows:解決Ubuntu Bash在Windows的使用問題

微軟在Build 2016大會上宣佈了一條振奮人心的消息,大家驚呼Ubuntu on Windows。Bash on Windows 為開發者們提供了Bash shell、Linux類似環境,在不需要Linux虛擬機器的情況下,大部分的Linux命令列工具基本上可以不經修改地運行在Windows上。

Star數量:3.7k;Fork數量:129

GitHub地址:https://github.com/Microsoft/BashOnWindows

Azure相關:文檔、SDK和代碼示例

微軟支援開發者們將各種開源軟體工具和技術帶入Azure。Azure 應用市場支持很多Linux 分發,包括 Ubuntu、Debian 和 SUSE;也支持借助支持 Node.js、PHP、Python 和 Java 的 Azure 應用服務,生成 Web 和移動應用。

在GitHub上Azure相關的存儲庫有1700+個。

Star數量(共計):149k;Fork數量(共計):291k

地址:https://azure.microsoft.com/zh-cn/overview/open-source/

今日薦文

點擊下方圖片即可閱讀

一名合格的架構師應該具備哪些特質?