• <menu id="w2i4a"></menu>
  •
    logo 大數(shù)據(jù)干貨（一）
    文檔首頁>>大數(shù)據(jù)干貨（一）>>收藏 | 史上最全的“大數(shù)據(jù)”學(xué)習(xí)資源（上）

    收藏 | 史上最全的“大數(shù)據(jù)”學(xué)習(xí)資源（上）

    當(dāng)前，整個(gè)互聯(lián)網(wǎng)正在從IT時(shí)代向DT時(shí)代演進(jìn)，大數(shù)據(jù)技術(shù)也正在助力企業(yè)和公眾敲開DT世界大門。當(dāng)今“大數(shù)據(jù)”一詞的重點(diǎn)其實(shí)已經(jīng)不僅在于數(shù)據(jù)規(guī)模的定義，它更代表著信息技術(shù)發(fā)展進(jìn)入了一個(gè)新的時(shí)代，代表著爆炸性的數(shù)據(jù)信息給傳統(tǒng)的計(jì)算技術(shù)和信息技術(shù)帶來的技術(shù)挑戰(zhàn)和困難，代表著大數(shù)據(jù)處理所需的新的技術(shù)和方法，也代表著大數(shù)據(jù)分析和應(yīng)用所帶來的新發(fā)明、新服務(wù)和新的發(fā)展機(jī)遇。

    為了幫助大家更好深入了解大數(shù)據(jù)，云棲社區(qū)組織翻譯了GitHub Awesome Big Data資源，供大家參考。本資源類型主要包括：大數(shù)據(jù)框架、論文等實(shí)用資源集合。

    資源列表：

    •   關(guān)系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）
    •   框架
    •   分布式編程
    •   分布式文件系統(tǒng)
    •   文件數(shù)據(jù)模型
    •   Key -Map 數(shù)據(jù)模型
    •   鍵-值數(shù)據(jù)模型
    •   圖形數(shù)據(jù)模型
    •   NewSQL數(shù)據(jù)庫
    •   列式數(shù)據(jù)庫
    •   時(shí)間序列數(shù)據(jù)庫
    •   類SQL處理
    •   數(shù)據(jù)攝取
    •   服務(wù)編程
    •   調(diào)度
    •   機(jī)器學(xué)習(xí)
    •   基準(zhǔn)測試
    •   安全性
    •   系統(tǒng)部署
    •   應(yīng)用程序
    •   搜索引擎與框架
    •   MySQL的分支和演化
    •   PostgreSQL的分支和演化
    •   Memcached的分支和演化
    •   嵌入式數(shù)據(jù)庫
    •   商業(yè)智能
    •   數(shù)據(jù)可視化
    •   物聯(lián)網(wǎng)和傳感器
    •   文章
    •   論文
    •   視頻


    關(guān)系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）

    •   MySQL：世界最流行的開源數(shù)據(jù)庫；
    •   PostgreSQL：世界最先進(jìn)的開源數(shù)據(jù)庫；
    •   Oracle 數(shù)據(jù)庫：對(duì)象-關(guān)系型數(shù)據(jù)庫管理系統(tǒng)。


    框架

    •   Apache Hadoop：分布式處理架構(gòu)，結(jié)合了 MapReduce（并行處理）、YARN（作業(yè)調(diào)度）和HDFS（分布式文件系統(tǒng)）；
    •   Tigon：高吞吐量實(shí)時(shí)流處理框架。


    分布式編程

    •   AddThis Hydra ：最初在AddThis上開發(fā)的分布式數(shù)據(jù)處理和存儲(chǔ)系統(tǒng)；
    •   AMPLab SIMR：用在Hadoop MapReduce v1上運(yùn)行Spark；
    •   Apache Beam：為統(tǒng)一的模型以及一套用于定義和執(zhí)行數(shù)據(jù)處理工作流的特定SDK語言；
    •   Apache Crunch：一個(gè)簡單的Java API，用于執(zhí)行在普通的MapReduce實(shí)現(xiàn)時(shí)比較單調(diào)的連接、數(shù)據(jù)聚合等任務(wù)；
    •   Apache DataFu：由LinkedIn開發(fā)的針對(duì)Hadoop and 和Pig的用戶定義的函數(shù)集合；
    •   Apache Flink：具有高性能的執(zhí)行時(shí)間和自動(dòng)程序優(yōu)化；
    •   Apache Gora：內(nèi)存中的數(shù)據(jù)模型和持久性框架；
    •   Apache Hama：BSP（整體同步并行）計(jì)算框架；
    •   Apache MapReduce ：在集群上使用并行、分布式算法處理大數(shù)據(jù)集的編程模型；
    •   Apache Pig ：Hadoop中，用于處理數(shù)據(jù)分析程序的高級(jí)查詢語言；
    •   Apache REEF ：用來簡化和統(tǒng)一低層大數(shù)據(jù)系統(tǒng)的保留性評(píng)估執(zhí)行框架；
    •   Apache S4 ：S4中流處理與實(shí)現(xiàn)的框架；
    •   Apache Spark ：內(nèi)存集群計(jì)算框架；
    •   Apache Spark Streaming ：流處理框架，同時(shí)是Spark的一部分；
    •   Apache Storm ：Twitter流處理框架，也可用于YARN；
    •   Apache Samza ：基于Kafka和YARN的流處理框架；
    •   Apache Tez ：基于YARN，用于執(zhí)行任務(wù)中的復(fù)雜DAG（有向無環(huán)圖）；
    •   Apache Twill ：基于YARN的抽象概念，用于減少開發(fā)分布式應(yīng)用程序的復(fù)雜度；
    •   Cascalog：數(shù)據(jù)處理和查詢庫；
    •   Cheetah ：在MapReduce之上的高性能、自定義數(shù)據(jù)倉庫；
    •   Concurrent Cascading ：在Hadoop上的數(shù)據(jù)管理/分析框架；
    •   Damballa Parkour ：用于Clojure的MapReduce庫；
    •   Datasalt Pangool ：可選擇的MapReduce范例；
    •   DataTorrent StrAM ：為實(shí)時(shí)引擎，用于以盡可能暢通的方式、最小的開支和對(duì)性能最小的影響，實(shí)現(xiàn)分布式、異步、實(shí)時(shí)的內(nèi)存大數(shù)據(jù)計(jì)算；
    •   Facebook Corona ：為Hadoop做優(yōu)化處理，從而消除單點(diǎn)故障；
    •   Facebook Peregrine ：MapReduce框架；
    •   Facebook Scuba ：分布式內(nèi)存數(shù)據(jù)存儲(chǔ)；
    •   Google Dataflow ：創(chuàng)建數(shù)據(jù)管道，以幫助其分析框架；
    •   Netflix PigPen ：為MapReduce，用于編譯成Apache Pig；
    •   Nokia Disco ：由Nokia開發(fā)的MapReduc獲取、轉(zhuǎn)換和分析數(shù)據(jù)；
    •   Google MapReduce ：MapReduce框架；
    •   Google MillWheel ：容錯(cuò)流處理框架；
    •   JAQL ：用于處理結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)工作的聲明性編程語言；
    •   Kite ：為一組庫、工具、實(shí)例和文檔集，用于使在Hadoop的生態(tài)系統(tǒng)上建立系統(tǒng)更加容易；
    •   Metamarkets Druid ：用于大數(shù)據(jù)集的實(shí)時(shí)e框架；
    •   Onyx ：分布式云計(jì)算；
    •   Pinterest Pinlater ：異步任務(wù)執(zhí)行系統(tǒng)；
    •   Pydoop ：用于Hadoop的Python MapReduce和HDFS API；
    •   Rackerlabs Blueflood ：多租戶分布式測度處理系統(tǒng)；
    •   Stratosphere ：通用集群計(jì)算框架；
    •   Streamdrill ：用于計(jì)算基于不同時(shí)間窗口的事件流的活動(dòng)，并找到最活躍的一個(gè)；
    •   Tuktu ：易于使用的用于分批處理和流計(jì)算的平臺(tái)，通過Scala、 Akka和Play所建；
    •   Twitter Scalding：基于Cascading，用于Map Reduce工作的Scala庫；
    •   Twitter Summingbird ：在Twitter上使用Scalding和Storm串流MapReduce；
    •   Twitter TSAR ：Twitter上的時(shí)間序列聚合器。
     

    分布式文件系統(tǒng)

    •   Apache HDFS：在多臺(tái)機(jī)器上存儲(chǔ)大型文件的方式；
    •   BeeGFS：以前是FhGFS，并行分布式文件系統(tǒng)；
    •   Ceph Filesystem：設(shè)計(jì)的軟件存儲(chǔ)平臺(tái)；
    •   Disco DDFS：分布式文件系統(tǒng)；
    •   Facebook Haystack：對(duì)象存儲(chǔ)系統(tǒng)；
    •   Google Colossus：分布式文件系統(tǒng)(GFS2)；
    •   Google GFS：分布式文件系統(tǒng)；
    •   Google Megastore：可擴(kuò)展的、高度可用的存儲(chǔ)；
    •   GridGain：兼容GGFS、Hadoop內(nèi)存的文件系統(tǒng)；
    •   Lustre file system：高性能分布式文件系統(tǒng)；
    •   Quantcast File System QFS：開源分布式文件系統(tǒng)；
    •   Red Hat GlusterFS：向外擴(kuò)展的附網(wǎng)存儲(chǔ)（Network-attached Storage）文件系統(tǒng)；
    •   Seaweed-FS：簡單的、高度可擴(kuò)展的分布式文件系統(tǒng)；
    •   Alluxio：以可靠的存儲(chǔ)速率在跨集群框架上文件共享；
    •   Tahoe-LAFS：分布式云存儲(chǔ)系統(tǒng)；
     

    文件數(shù)據(jù)模型

    •   Actian Versant：商用的面向?qū)ο髷?shù)據(jù)庫管理系統(tǒng)；
    •   Crate Data：是一個(gè)開源的大規(guī)?？蓴U(kuò)展的數(shù)據(jù)存儲(chǔ)，需要零管理模式；
    •   Facebook Apollo：Facebook的Paxos算法，類似于NoSQL數(shù)據(jù)庫；
    •   jumboDB：基于Hadoop的面向文檔的數(shù)據(jù)存儲(chǔ)；
    •   LinkedIn Espresso：可橫向擴(kuò)展的面向文檔的NoSQL數(shù)據(jù)存儲(chǔ)；
    •   MarkLogic：模式不可知的企業(yè)版NoSQL數(shù)據(jù)庫技術(shù)；
    •   MongoDB：面向文檔的數(shù)據(jù)庫系統(tǒng)；
    •   RavenDB：一個(gè)事務(wù)性的，開源文檔數(shù)據(jù)庫；
    •   RethinkDB：支持連接查詢和群組依據(jù)等查詢的文檔型數(shù)據(jù)庫。


    Key Map 數(shù)據(jù)模型

    注意：業(yè)內(nèi)存在一些術(shù)語混亂，有兩個(gè)不同的東西都叫做“列式數(shù)據(jù)庫”。這里列出的有一些是圍繞“key-map”數(shù)據(jù)模型而建的分布式、持續(xù)型數(shù)據(jù)庫，其中所有的數(shù)據(jù)都有（可能綜合了）鍵，并與映射中的鍵-值對(duì)相關(guān)聯(lián)。在一些系統(tǒng)中，多個(gè)這樣的值映射可以與鍵相關(guān)聯(lián)，并且這些映射被稱為“列族”（具有映射值的鍵被稱為“列”）。
    另一組也可稱為“列式數(shù)據(jù)庫”的技術(shù)因其存儲(chǔ)數(shù)據(jù)的方式而有別于前一組，它在磁盤上或在存儲(chǔ)器中——而不是以傳統(tǒng)方式，即所有既定鍵的鍵值都相鄰著、逐行存儲(chǔ)。這些系統(tǒng)也彼此相鄰來存儲(chǔ)所有列值，但是要得到給定列的所有值卻不需要以前那么繁復(fù)的工作。
    前一組在這里被稱為“key map數(shù)據(jù)模型”，這兩者和Key-value 數(shù)據(jù)模型之間的界限是相當(dāng)模糊的。后者對(duì)數(shù)據(jù)模型有更多的存儲(chǔ)格式，可在列式數(shù)據(jù)庫中列出。若想了解更多關(guān)于這兩種模型的區(qū)分，可閱讀Daniel Abadi的博客：Distinguishing two major types of Column Stores。
     
    •   Apache Accumulo：內(nèi)置在Hadoop上的分布式鍵/值存儲(chǔ)；
    •   Apache Cassandra：由BigTable授權(quán)，面向列的分布式數(shù)據(jù)存儲(chǔ)；
    •   Apache HBase：由BigTable授權(quán)，面向列的分布式數(shù)據(jù)存儲(chǔ)；
    •   Facebook HydraBase：Facebook所開發(fā)的HBase的衍化品；
    •   Google BigTable：面向列的分布式數(shù)據(jù)存儲(chǔ)；
    •   Google Cloud Datastore：為完全管理型的無模式數(shù)據(jù)庫，用于存儲(chǔ)在BigTable上非關(guān)系型數(shù)據(jù)；
    •   Hypertable：由BigTable授權(quán)，面向列的分布式數(shù)據(jù)存儲(chǔ)；
    •   InfiniDB：通過MySQL的接口訪問，并使用大規(guī)模并行處理進(jìn)行并行查詢；
    •   Tephra：用于HBase處理；
    •   Twitter Manhattan：Twitter的實(shí)時(shí)、多租戶分布式數(shù)據(jù)庫。
     

    鍵-值數(shù)據(jù)模型

    •   Aerospike：支持NoSQL的閃存優(yōu)化，數(shù)據(jù)存儲(chǔ)在內(nèi)存。開源，“'C'（不是Java或Erlang）中的服務(wù)器代碼可精確地調(diào)整從而避免上下文切換和內(nèi)存拷貝”。
    •   Amazon DynamoDB：分布式鍵/值存儲(chǔ)，Dynamo論文的實(shí)現(xiàn)；
    •   Edis：為替代Redis的協(xié)議兼容的服務(wù)器；
    •   ElephantDB：專門研究Hadoop中數(shù)據(jù)導(dǎo)出的分布式數(shù)據(jù)庫；
    •   EventStore：分布式時(shí)間序列數(shù)據(jù)庫；
    •   GridDB：適用于存儲(chǔ)在時(shí)間序列中的傳感器數(shù)據(jù)；
    •   LinkedIn Krati：簡單的持久性數(shù)據(jù)存儲(chǔ)，擁有低延遲和高吞吐量；
    •   Linkedin Voldemort：分布式鍵/值存儲(chǔ)系統(tǒng)；
    •   Oracle NoSQL Database：Oracle公司開發(fā)的分布式鍵值數(shù)據(jù)庫；
    •   Redis：內(nèi)存中的鍵值數(shù)據(jù)存儲(chǔ)；
    •   Riak：分散式數(shù)據(jù)存儲(chǔ)；
    •   Storehaus：Twitter開發(fā)的異步鍵值存儲(chǔ)的庫；
    •   Tarantool：一個(gè)高效的NoSQL數(shù)據(jù)庫和Lua應(yīng)用服務(wù)器；
    •   TiKV：由Google Spanner和HBase授權(quán)，Rust提供技術(shù)支持的分布式鍵值數(shù)據(jù)庫；
    •   TreodeDB：可復(fù)制、共享的鍵-值存儲(chǔ)，能提供多行原子寫入。
     

    圖形數(shù)據(jù)模型

    •   Apache Giraph：基于Hadoop的Pregel實(shí)現(xiàn)；
    •   Apache Spark Bagel：可實(shí)現(xiàn)Pregel，為Spark的一部分；
    •   ArangoDB：多層模型分布式數(shù)據(jù)庫；
    •   DGraph：一個(gè)可擴(kuò)展的、分布式、低時(shí)延、高吞吐量的圖形數(shù)據(jù)庫，旨在為Google生產(chǎn)水平規(guī)模和吞吐量提供足夠的低延遲，用于TB級(jí)的結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)用戶查詢；
    •   Facebook TAO：TAO是facebook廣泛用來存儲(chǔ)和服務(wù)于社交圖形的分布式數(shù)據(jù)存儲(chǔ)；
    •   GCHQ Gaffer：GCHQ中的Gaffer是一個(gè)易于存儲(chǔ)大規(guī)模圖形的框架，其中節(jié)點(diǎn)和邊緣都有統(tǒng)計(jì)數(shù)據(jù)；
    •   Google Cayley：開源圖形數(shù)據(jù)庫；
    •   Google Pregel ：圖形處理框架；
    •   GraphLab PowerGraph：核心C ++ GraphLab API和建立在GraphLab API之上的高性能機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘工具包的集合；
    •   GraphX：Spark中的彈性分布式圖形系統(tǒng)；
    •   Gremlin：圖形追蹤語言；
    •   Infovore：以RDF為中心的Map / Reduce框架；
    •   Intel GraphBuilder：在Hadoop上構(gòu)建大規(guī)模圖形的工具；
    •   MapGraph：用于在GPU上大規(guī)模并行圖形處理；
    •   Neo4j：完全用Java寫入的圖形數(shù)據(jù)庫；
    •   OrientDB：文檔和圖形數(shù)據(jù)庫；
    •   Phoebus：大型圖形處理框架；
    •   Titan：建于Cassandra的分布式圖形數(shù)據(jù)庫；
    •   Twitter FlockDB：分布式圖形數(shù)據(jù)庫。
     

    NewSQL數(shù)據(jù)庫

    •   Actian Ingres：由商業(yè)支持，開源的SQL關(guān)系數(shù)據(jù)庫管理系統(tǒng)；
    •   Amazon RedShift：基于PostgreSQL的數(shù)據(jù)倉庫服務(wù)；
    •   BayesDB：面向統(tǒng)計(jì)數(shù)值的SQL數(shù)據(jù)庫；
    •   CitusDB：通過分區(qū)和復(fù)制橫向擴(kuò)展PostgreSQL；
    •   Cockroach：可擴(kuò)展、地址可復(fù)制、交易型的數(shù)據(jù)庫；
    •   Datomic：旨在產(chǎn)生可擴(kuò)展、靈活的智能應(yīng)用的分布式數(shù)據(jù)庫；
    •   FoundationDB：由F1授意的分布式數(shù)據(jù)庫；
    •   Google F1：建立在Spanner上的分布式SQL數(shù)據(jù)庫；
    •   Google Spanner：全球性的分布式半關(guān)系型數(shù)據(jù)庫；
    •   H-Store：是一個(gè)實(shí)驗(yàn)性主存并行數(shù)據(jù)庫管理系統(tǒng)，用于聯(lián)機(jī)事務(wù)處理（OLTP）應(yīng)用的優(yōu)化；
    •   Haeinsa：基于Percolator，HBase的線性可擴(kuò)展多行多表交易庫；
    •   HandlerSocket：MySQL/MariaDB的NoSQL插件；
    •   InfiniSQL：無限可擴(kuò)展的RDBMS；
    •   MemSQL：內(nèi)存中的SQL數(shù)據(jù)庫，其中有優(yōu)化的閃存列存儲(chǔ)；
    •   NuoDB：SQL / ACID兼容的分布式數(shù)據(jù)庫；
    •   Oracle TimesTen in-Memory Database：內(nèi)存中具有持久性和可恢復(fù)性的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)；
    •   Pivotal GemFire XD：內(nèi)存中低延時(shí)的分布式SQL數(shù)據(jù)存儲(chǔ)，可為內(nèi)存列表數(shù)據(jù)提供SQL接口，在HDFS中較持久化；
    •   SAP HANA：是在內(nèi)存中面向列的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)；

    更多大數(shù)據(jù)與分析相關(guān)行業(yè)資訊、解決方案、案例、教程等請(qǐng)點(diǎn)擊查看>>>

    詳情請(qǐng)咨詢在線客服！

    客服熱線：023-66090381

    掃碼咨詢


    添加微信 立即咨詢

    電話咨詢

    客服熱線
    023-68661681

    TOP
    三级成人熟女影院,欧美午夜成人精品视频,亚洲国产成人乱色在线观看,色中色成人论坛 (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })();