做大數據必須了解的多種處理框架

2016-11-28

做大數據必須了解的多種處理框架 本文將介紹大數據系統一個最基本的組件：處理框架。處理框架負責對系統中的數據進行計算，例如處理從非易失存儲中讀取的數據，或處理剛剛攝入到系統中的數據。數據的計算則是 ...

數據挖掘系列樸素貝葉斯分類算法原理與實踐

2016-08-16

數據挖掘系列樸素貝葉斯分類算法原理與實踐 隔了很久沒有寫數據挖掘系列的文章了，今天介紹一下樸素貝葉斯分類算法，講一下基本原理，再以文本分類實踐。 一個簡單的例子 樸素貝葉斯算法是一個典型的統計 ...

太奇妙了，基于OpencvCV的情緒檢測！

2020-08-20

情緒檢測或表情分類在深度學習領域中有著廣泛的研究。使用相機和一些簡單的代碼我們就可以對情緒進行實時分類，這也是邁向高級人機交互的一步。 前言 本期我們將首先介紹如何使用Keras 創建卷積神 ...

機器學習中常見的決策樹分類算法有哪幾種？

2020-07-20

在機器學習中，因為決策樹的算法是十分給力，因此使用決策樹能夠幫助我們解決很多的問題。決策樹的算法分為很多種，今天小編主要跟大家介紹一下決策樹的分類算法。 一、決策樹的概念 決策樹，根據名字就能知 ...

spark入門必讀：核心概念介紹及常用RDD操作

2020-07-13

作者：肖冠宇 來源：大數據DT(ID：hzdashuju) 內容摘編自《企業大數據處理：Spark、Druid、Flume與Kafka應用實踐》 導讀：Spark是由加州大學伯克利分校AMP實驗室開源的分布式大規模數據處理通用引擎，具 ...

數據傾斜解決優化方法有哪些？

2020-07-02

數據分析時，數據量大不可怕，可怕的是數據傾斜。當出現數據傾斜時，小量任務耗時遠高于其它任務，從而使得整體耗時過大，未能充分發揮分布式系統的并行計算優勢。下面小編就給大家分享幾種數據傾斜優化的方法，希 ...

Hadoop：偽分布模式參數配置指南

2020-06-04

Hadoop通過改變其配置文件來更改運行模式，我們通過修改如下四個配置文件core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml即可讓Hadoop以偽分布模式運行。 Hadoop的配置文件是 xml 格式，每個配 ...

使用python構建一個推薦系統需要幾步？

2020-05-29

在我看來，作為一位中國人的我們不管做什么決定都在面臨多種選擇。例如，如果我這個時候想要買一本書，但是我卻不知道我想看什么書、不知道類型、不知道方向，那么這個時候打開各種進行軟件搜索可能會出現各種各樣 ...

Mapreduce的主要功能有哪些？

2020-05-13

Mapreduce是種編程模型，結合了概念\"Map（映射）\"和\"Reduce（歸約）\"，用于大規模數據集（大于1TB）的并行運算。它極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統 ...

千億數據優化，如何繞過數據傾斜這頭攔路虎？

2020-04-21

作者：dantezhao 前言： 數據傾斜是大數據領域繞不開的攔路虎，當你所需處理的數據量到達了上億甚至是千億條的時候，數據傾斜將是橫在你面前一道巨大的坎。 邁的過去，將 ...

8個計算機視覺深度學習中常見的Bug

2019-12-11

作者 | Arseny Kravchenko 編譯 | ronghuaiyang 人是不完美的，我們經常在軟件中犯錯誤。有時這些錯誤很容易發現：你的代碼根本不能工作，你的應用程序崩潰等等。但是有些bug是隱藏的，這 ...

機器學習的敲門磚：kNN算法（中）

2019-10-17

作者 | Japson 來源 | 木東居士 0x01 前言 在《機器學習的敲門磚：kNN算法（上）》中，我們了解了非常適合入門機器學習的算法：k近鄰算法。 我們學習了kNN算法的流程，并且在jupyter ...

Python random模塊（獲取隨機數）常用方法和使用例子

2018-08-09

Python random模塊（獲取隨機數）常用方法和使用例子 這篇文章主要介紹了Python random模塊（獲取隨機數）常用方法和使用例子,需要的朋友可以參考下 random.random random.random()用 ...

Python中random模塊生成隨機數詳解

2018-08-08

Python中random模塊生成隨機數詳解 本文給大家匯總了一下在Python中random模塊中最常用的生成隨機數的方法，有需要的小伙伴可以參考下 Python中的random模塊用于生成隨機數。下面介紹一下random模塊中 ...

python中的隨機函數random的用法示例

2018-07-30

python中的隨機函數random的用法示例 一、random模塊簡介 Python標準庫中的random函數，可以生成隨機浮點數、整數、字符串，甚至幫助你隨機選擇列表序列中的一個元素，打亂一組數據等。 二、random模 ...

神經網絡從原理到實現

2018-07-25

神經網絡從原理到實現 1.簡單介紹     在機器學習和認知科學領域，人工神經網絡（artificial neural network，縮寫ANN），簡稱神經網絡（neural network，縮寫NN）或類神經網絡，是一種模仿生 ...

Hadoop常見問題解答

2018-07-23

Hadoop常見問題解答 （1）Hadoop適不適用于電子政務？為什么？ 電子政務是利用互聯網技術實現政府組織結構和工作流程的重組優化，建成一個精簡、高效、廉潔、公平的政府運作信息服務平臺。因此電子政務 ...

Python生成隨機數組的方法小結

2018-07-03

Python生成隨機數組的方法小結 本文實例講述了Python生成隨機數組的方法。分享給大家供大家參考，具體如下： 研究排序問題的時候常常需要生成隨機數組來驗證自己排序算法的正確性和性能，今天把Python生成隨機 ...

機器學習中的特征選擇

2018-03-21

機器學習中的特征選擇 特征選擇是一個重要的數據預處理過程，獲得數據之后要先進行特征選擇然后再訓練模型。主要作用：1、降維 2、去除不相關特征。 特征選擇方法包含：子集搜索和子集評價兩個問題。 子集搜 ...

Python常用隨機數與隨機字符串方法實例

2018-01-21

Python常用隨機數與隨機字符串方法實例 這篇文章主要介紹了Python常用隨機數與隨機字符串方法實例,本文講解了隨機整數、隨機選取0到100間的偶數、隨機浮點數、隨機字符串等常用隨機方法,需要的朋友可以參考下 ...