自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

deephub

关注同名微信公众号,获取更多AI干货

  • 博客(365)
  • 收藏
  • 关注

原创 FOTS:自然场景的文本检测与识别

在这篇文章里,我将分享我实现这篇论文的方法。问题描述数据集关于数据使用的损失函数准备检测数据准备识别数据训练检测模型和识别模型代码整合显示结果引用问题描述我们需要从任何图像(包含文本)检测文本区域,这个图像可以是任何具有不同背景的东西。在检测到图像后,我们也必须识别它。FOTS的完整形式是快速定向文本点亮。可以在任何自然场景中检测和识别任何文本。在上面的图像中,FOTS给出了结果,它检测到“间隙”文本区域和图像(场景)中的所有文本区域,并识别出它是“间隙”、“50”和“GA

2021-03-07 09:54:00 3403

原创 结合Sklearn的网格和随机搜索进行自动超参数调优

什么是超参数?今天,隐藏着数学世界的算法只需要几行代码就可以训练出来。它们的成功首先取决于训练的数据,然后取决于用户使用的超参数。这些超参数是什么?超参数是用户定义的值,如kNN中的k和Ridge和Lasso回归中的alpha。它们严格控制模型的拟合,这意味着,对于每个数据集,都有一组唯一的最优超参数有待发现。最基本的方法便是根据直觉和经验随机尝试不同的值。然而,正如您可能猜到的那样,当有许多超参数需要调优时,这个方法很快就会变得无用。今天将介绍两种自动超参数优化方法:随机搜索和网格搜索。给定一组模型

2021-03-06 09:29:51 3566

原创 5分钟搭建强大又好用的深度学习环境

为深度学习项目建立一个良好的环境不是一件容易的任务。因为需要处理的事情太多了:库必须匹配特定的版本,整个环境需要可以复制到其他机器上,所有东西都需要能够机器中的所有驱动程序通信。这意味着你需要为你的NVIDIA GPU安装特定的驱动程序,并且CUDA库必须与你的驱动程序和你想要使用的框架兼容。随着容器彻底改变了软件开发的世界,现在它们也可以帮助数据科学家构建更健壮的环境。有一件事是肯定的:数据科学可以从软件开发领域学到一些东西。NVIDIA NGC是一个软件中心,提供gpu优化框架、预训练模型和工具包

2021-03-05 08:09:35 3665

原创 开放API如何处理数据隐私问题?看看GPT-3 是怎么做的

GPT-3正在改变企业利用人工智能增强现有产品能力的方式,并推出下一代产品。简要概述????gpt3(Generative Pre-trained Transformer 3)是一种自回归语言模型,使用深度学习生成类人文本。它是OpenAI创建的GPT-n系列中的第三代语言预测模型。GPT-3是GPT-2模型体系结构的扩展和扩展版本——它包含了修改的初始化、预规范化和可逆标记化,并且在许多NLP任务中在zero-shot, one-shot和few-shot设置中表现出强大的性能。GPT-3是如何在所

2021-03-04 10:20:42 3744

原创 为什么独热编码会引起维度诅咒,以及避免他的几个办法

特征工程是数据科学模型开发的重要组成部分之一。数据科学家把大部分时间花在数据处理和特征工程上,以便训练一个鲁棒模型。数据集由各种类型的特征组成,包括类别、数字、文本、日期时间等。由于大多数机器学习模型只理解数值向量,所以各种特征需要被设计成数值格式。有各种编码技术可以将文本数据转换为数字格式,包括词袋、Tf-Idf矢量化等等。分类特征可以编码成数字格式,独热编码就是其中一种方式。什么是独热编码?独热编码,又称虚拟编码,是一种将分类变量转换为数值向量格式的方法。每个类别在数值向量中都有自己的列或特征.

2021-03-03 09:30:41 3734

原创 SHAP值:用博弈论的概念解释一个模型

在越来越多的领域中机器学习模型已开始需要更高的标准, 例如模型预测中公司需要对模型产生的任何虚假预测负责。 有了这种转变,可以说模型的可解释性已经比预测能力具有更高的优先级。 诸如准确率和R2分数之类的指标已经排在了后面,而能够解释模型预测变得越来越重要。 我们研究了几种方法来解释的模型,并更好地了解它们的工作方式。 在这里,我们将研究SHAP值,这是一种解释来自机器学习模型的预测的有效方法。SHAP —表示SHapley Additive ExPlanations是一种解释来自机器学习模型的单个预测的方

2021-03-02 09:21:44 3793

原创 Google的RFA:transformers的Softmax注意机制最新替代

什么是注意力机制?为什么RFA比Softmax更好?Google最近发布了一种新方法-Random Feature Attention-用来取代transformers中的softmax注意力机制,以实现相似或更好的性能,并显着改善时间和空间复杂度。在此文章中,我们将探讨transformers的背景,什么是注意力机制,以及为什么RFA可以更好地替代softmax注意力机制。 我们将通过RFA的一些总结来结束本文章。背景目前,transformers是序列到序列机器学习模型的最佳模型。 它专门研究数

2021-03-01 08:57:35 3740

原创 亿级用户的平台是如何使用词嵌入来建立推荐系统的

推荐系统对于我们今天使用的几乎所有应用程序都是至关重要的。 借助大数据,我们有大量可供选择的内容。并且我们可以建系统,通过这些系统可以帮助我们筛选和确定选择的优先次序。 这些系统还给我们一种个性化的内容和服务的感觉。词嵌入是指单词在低维空间中的分布式表示。词嵌入使机器更容易理解文本。有多种算法可用于将文本转换为词嵌入矢量,例如Word2Vec,GloVe,WordRank,fastText等。所有这些算法都提供了多种单词矢量表示形式,但可以将它们直接输入到NLP模型中。这些算法的用法取决于我们要执行的任

2021-02-28 09:54:31 3755

原创 使用神经网络的自动化特征工程

如何自动化并极大地改进数据建模中最繁琐的步骤之一特征工程是生成精确模型的最重要步骤之一。但是没有人喜欢它,因为这个步骤非常繁琐,我坚信任何繁琐的事情都可以自动化。虽然我的解决方案并没有完全消除对手工工作的需要,但它确实大大减少了手工工作,并产生了更好的结果。它还生成了一个在结构化数据集上始终优于梯度增强方法的模型。本文将包含以下内容:到底什么被自动化了?它是如何工作的?你如何建立它?和其他型号相比怎么样?工程特性正确地做工程特性可能需要数周的EDA。但幸运的是,神经网络擅长的是寻找相互

2021-02-27 12:35:53 552

原创 线性回归中的L1与L2正则化

在这篇文章中,我将介绍一个与回归相关的常见技术面试问题,我自己也经常会提到这个问题:描述回归建模中的L1和L2正则化方法。在处理复杂数据时,我们往往会创建复杂的模型。太复杂并不总是好的。过于复杂的模型就是我们所说的“过拟合”,它们在训练数据上表现很好,但在看不见的测试数据上却表现不佳。有一种方法可以对损失函数的过拟合进行调整,那就是惩罚。通过惩罚或“正则化”损失函数中的大系数,我们使一些(或所有)系数变小,从而使模型对数据中的噪声不敏感。在回归中使用的两种流行的正则化形式是L1又名Lasso回归,和

2021-02-26 08:52:30 3679

原创 用N.E.A.T遗传算法玩FlappyBird

我用python实现了一个完整的FlappyBird,而且还可以通过N.E.A.T遗传算法让它自己玩项目介绍使用Python实现《Flappy Bird》类,主要包括物理引擎和死亡机制以及像素精度碰撞检测利用N.E.A.T实现神经网络,通过鸟类的每代繁殖,获得一定阈值的适应度,通过神经网络能计算出模拟场景的解决方案。使用了以下的技术和工具来完成这个项目:MacOS上的Python 3.8.5Vim和jupyter notebookPython的库其他常见库,如pygame、time、ran

2021-02-25 08:57:35 3739

原创 使用Deep Replay可视化神经网络学习的过程

深度学习通常被认为是一种黑盒技术,因为通常无法分析它在后端是如何工作的。例如创建了一个深层神经网络,然后将它与你的数据相匹配,我们知道它会使用不同层次的神经元和所有的激活等其他重要的超参数来进行训练。但是我们无法想象信息是如何被传递的或者模型是如何学习的。如果有一个python包可以创建模型在每个迭代/轮次中如何工作或学习的可视化。您可以将这种可视化用于教育目的,也可以将其展示给其他人,向他们展示模型是如何学习的,首先我们展示下结果,如果你对创建这样的可视化感兴趣那么请往下阅读。Deep Replay

2021-02-24 08:40:07 3653

原创 通过随机采样和数据增强来解决数据不平衡的问题

在开发分类机器学习模型时遇到的挑战之一是类别不平衡。大多数用于分类的机器学习算法都是在假设平衡类的情况下开发的,然而,在现实生活中,拥有适当平衡的数据并不常见。因此,人们提出了各种方案来解决这个问题,以及一些应用这些解决方案的工具或者类库。例如,imbalanced-learn 这个python库,它实现了最相关的算法来解决类不平衡的问题。在这篇文章中,我们将了解什么是类别不平衡、将准确性作为不平衡类别的度量标准的问题是什么、什么是随机欠采样和随机过采样,以及imbalanced-learn如何作为解决.

2021-02-23 09:39:15 3898

原创 如何在评估机器学习模型时防止数据泄漏

本文讨论了评估模型性能时的数据泄漏问题以及避免数据泄漏的方法。在模型评估过程中,当训练集的数据进入验证/测试集时,就会发生数据泄漏。这将导致模型对验证/测试集的性能评估存在偏差。让我们用一个使用Scikit-Learn的“波士顿房价”数据集的例子来理解它。数据集没有缺失值,因此随机引入100个缺失值,以便更好地演示数据泄漏。import numpy as npimport pandas as pdfrom sklearn.datasets import load_bostonfrom sklea.

2021-02-22 08:49:56 3974

原创 TransGAN:使用Transformer替换卷积也可以构建一个强力的GAN

生成对抗网络(GANs)已经在包括图像合成、图像翻译和图像编辑在内的许多任务中取得了相当大的成功。但是因为生成对抗网络训练不稳定,为了稳定GAN训练付出很多人付出了许多努力例如引入了各种正则化方法,使用更好的损失函数和优化训练方法等。几乎每个成功的GAN都依赖于基于CNN的生成器和鉴别器。卷积具有对自然图像处理的优势,对现代GAN具有吸引力的视觉效果和丰富的多样性做出了至关重要的贡献,但除优化困难外,这还可能导致特征分辨率和精细细节的损失(例如图像模糊)。本次介绍的论文研究构建一个完全没有卷积的GAN,

2021-02-21 08:53:36 5563 4

原创 1 x1卷积详解:概念、优势和应用

Lin等人的《网络中的网络(Network in Network, NiN)》一文,提出了一种特殊的卷积操作,它允许跨通道参数级联,通过汇聚跨通道信息来学习复杂的交互。他们将其称为“交叉通道参数池化层”(cross channel parametric pooling layer),并将其与1x1卷积核进行卷积的操作相比较。当时浏览一下细节,我从没想过我使用这样的操作,更不用说对其细节有任何的想法。但是通常是术语看起来很深奥,而概念本身并不是。在我了解背景和进行了一系列的测试以后,让我们一起来解开这个奇特

2021-02-20 09:06:29 3899

原创 论文解读:SKNet自适应动态选择机制,动态调整感受野尺寸

在标准的卷积网络中,每层网络中神经元的感受野的大小都是相同的。在神经学中,视觉神经元感受野的大小是由刺激机制构建的,而在卷积网络中却很少考虑这个因素。本文提出的方法可以使神经元对于不同尺寸的输入信息进行自适应的调整其感受野的大小。building block为Selective Kernel单元。其存在多个分支,每个分支的卷积核的尺寸都不同。不同尺寸的卷积核最后通过softmax进行融合。分支中不同注意力产生不同的有效感受野。多个SK单元进行堆叠构成SKNet。论文摘要设计了一个称为选择性内核(SK.

2021-02-19 09:22:44 2805

原创 深度信号处理:利用卷积神经网络测量距离

在信号处理中,有时需要测量信号某些特征(例如峰)之间的水平距离。 一个很好的例子就是解释心电图(ECG),这在很大程度上取决于测量距离。 我们将考虑下图中只有两个峰的平滑信号的一个样例。解决这个问题很简单,可以通过找到峰值,然后减去它们的X坐标来测量它们之间的水平距离来解决。这可以通过使用可用的工具和库有效地完成。然而,我们的目标是训练一个神经网络来预测两个峰之间的距离。一旦我们证明了神经网络可以处理这一任务,我们就可以在更复杂的端到端学习任务中重用相同的架构,而测量距离只是学习更复杂关系的一种手段。这

2021-02-18 08:57:21 3935

原创 NFNETS论文解读:不使用BN的高性能大规模图像识别

简介与概述因此,本文的重点是在不是使用BN的卷积残差来构建图像识别的神经网络。 但是如果没有BN,这些网络通常无法很好地运行或无法扩展到更大的批处理大小,但是本篇论文构建的网络可以使用大的批次进行伦联,并且比以前的最新方法(例如LambdaNets)更有效 。 训练时间与准确率如下图表显示,对于在ImageNet上进行的相同的top-1准确性评分,NFnet比EffNet-B7快8.7倍。 此模型是没有任何其他培训数据的最新技术,也是新的最新迁移学习。 NFnets目前在全球排行榜上排名第二,仅次于使用半

2021-02-17 09:41:49 4729 1

原创 可以格式化Python自定义对象的3个魔术方法

在Python中,下划线用于属性名时具有特殊含义。一种特殊形式是使用两对双下划线,一个在属性名之前,另一个在属性名之后,这被称为特殊方法或魔术方法。例如,我们大多数人知道的第一个特殊方法可能是初始化方法__init__,它用于创建Python对象。下面的代码显示了一个示例:class Student: def __init__(self, name): self.name = name当你创建这个类的实例对象时,你可以通过在交互式控制台中输入对象变量来检查这个对象:>

2021-02-16 09:16:42 4657 1

原创 帮助你在2021年成为数据科学家的21个有用的小贴士

在这篇文章中,我将与你分享我从其他数据科学家以及我自己过去几年的经验中学到的21条建议。这取决于你的职业生涯已经走了多远,其中一些建议肯定比其他的更适合你。例如,“花点时间来发现和探索新的库和包”可能对刚开始工作的人来说不太合适。说到这里,让我们直奔主题吧!1、最简单的解决方案往往是最好的解决方案成为数据科学家并不意味着你必须使用机器学习模型解决所有问题。 如果CASE WHEN查询足以完成工作,则坚持这样做。 如果线性回归足以完成任务,则不要构建10层神经网络。更简单的解决方案有很多好处,包括更

2021-02-15 09:55:19 4628 1

原创 机器学习中分类任务的常用评估指标和python代码实现

假设您的任务是训练ML模型,以将数据点分类为一定数量的预定义类。 一旦完成分类模型的构建,下一个任务就是评估其性能。 有许多指标可以帮助您根据用例进行操作。 在此文章中,我们将尝试回答诸如何时使用? 它是什么? 以及如何实施?混淆矩阵混淆矩阵定义为(类x类)大小的矩阵,因此对于二进制分类,它是2x2,对于3类问题,它是3x3,依此类推。 为简单起见,让我们考虑二元分类并了解矩阵的组成部分。真实正值(TP)-表示该类为“真值”的次数,您的模型也表示它为“真值”。真负数(TN)-表示该类为假值的次数,

2021-02-14 10:46:28 4783

原创 如何知道一个变量的分布是否为高斯分布?

“你的输入变量/特征必须是高斯分布的”是一些机器学习模型(特别是线性模型)的要求。但我怎么知道变量的分布是高斯分布呢。本文重点介绍了保证变量分布为高斯分布的几种方法。本文假定读者对高斯/正态分布有一定的了解。在本文中,我们将使用来自Scikit-Learn的众所周知的Iris数据。首先,让我们导入所需的包。import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom sklearn.datasets impor

2021-02-13 08:54:33 5168 1

原创 来自ML的祝福:和CycleGAN一起庆祝春节

使用CycleGAN和谷歌的QuickDraw数据集创建节日祥龙今天是大年初一是2021年农历新年的开始。在农历新年里,我们会经常看到五颜六色的舞龙。这里我们使用ML的风格来庆祝我们的新年,我使用CycleGAN生成了带有有趣装饰光斑的龙(如上所示),我将在本文中介绍其实现步骤。也许这些由GAN产生的龙也会带来好运!祝大家“恭喜发财”,在新的一年中幸福快乐。我永远不会错过使用俗气双关语的机会,所以GAN Hay Fat Choy!(粤语)CycleGAN论文是由Berkeley AI Researc.

2021-02-12 09:28:10 4007

原创 你应该知道的9个可以提高Jupyter Notebook开发效率的魔术命令

Jupyter Notebook包含一写特殊的命令,我们称之为魔术命令。正如它的名字,魔术命令是一个特殊的命令。魔术命令通过将%符号与要运行的命令一起使用来工作。魔术命令有很多种,但在本文中我只展示最常用的9个魔术命令。让我们开始吧。%who它将显示您在jupiter Notebook环境中拥有的所有可用变量。让我在下面展示一个例子。import seaborn as snsdf = sns.load_dataset('mpg')a = 'simple'b = 2我们创建了3个不同的变量

2021-02-11 09:16:17 4021

原创 经典Seq2Seq与注意力Seq2Seq模型结构详解

介绍在本文中,我们将分析一个经典的序列对序列(Seq2Seq)模型的结构,并演示使用注意解码器的优点。这两个概念将为理解本文提出的Transformer奠定基础,因为“注意就是您所需要的一切”。本文内容:什么是Seq2Seq模型?经典的Seq2Seq模型是如何工作的?注意力机制什么是Seq2Seq模型?在Seq2seq模型中,神经机器翻译以单词序列的形式接收输入,并生成一个单词序列作为输出。例如,意大利语的“Cosa vorresti ordinare?”作为输入,英语的输出是“Wha

2021-02-10 09:00:02 4019

原创 这3个Seaborn函数可以搞定90%的可视化任务

数据可视化是数据科学的重要组成部分。它帮助我们探索和理解数据。数据可视化也是传递信息和交付结果的重要工具。由于数据可视化的重要性,在数据科学的生态系统中有许多数据可视化库和框架。其中一个流行的是Seaborn,这是一个用于Python的统计数据可视化库。我最喜欢Seaborn原因是它巧妙的语法和易用性,通过Seaborn我们只用3个函数就可以创建普通的图表。Relplot:用于创建关系图Displot:用于创建分布图Catplot:用于创建分类图这3个函数提供了一个图形级的界面,用于创建和定

2021-02-09 08:49:33 4001

原创 非线性回归中的Levenberg-Marquardt算法理论和代码实现

看到一堆点后试图绘制某种趋势的曲线的人。每个人都有这种想法。当只有几个点并且我绘制的曲线只是一条直线时,这很容易。但是每次我加更多的点,或者当我要找的曲线与直线不同时,它就会变得越来越难。在这种情况下,曲线拟合过程可以解决我所有的问题。输入一堆点并找到“完全”匹配趋势的曲线是令人兴奋的。但这如何工作?为什么拟合直线与拟合奇怪形状的曲线并不相同。每个人都熟悉线性最小二乘法,但是,当我们尝试匹配的表达式不是线性时,会发生什么?这使我开始了一段数学文章之旅,stack overflow发布了[1],一些深奥的数学

2021-02-08 08:48:43 4024

原创 使用ONNX和Torchscript加快推理速度的测试

近年来,基于Transformer 架构的模型一直是推动NLP在研究和工业上取得突破的动力。BERT、XLNET、GPT或XLM是一些改进了技术水平的模型,它们达到了GLUE等流行基准的顶级水平。这些进步带来了高昂的计算成本,大多数基于Transformer的模型都是庞大的,用于训练的参数数量和数据都在不断增加。最初的BERT模型已经有1.1亿个参数,而最后的GPT-3有1750亿个参数,这是在两年的研究中惊人的增长了1700倍。这些庞大的模型通常需要数百个GPU进行数天的训练才能发挥作用,幸运的是,多

2021-02-07 09:20:35 4172

原创 5个例子介绍Pandas的merge并对比SQL中join

本文的重点是在合并和连接操作方面比较Pandas和SQL。Pandas是一个用于Python的数据分析和操作库。SQL是一种用于管理关系数据库中的数据的编程语言。两者都使用带标签的行和列的表格数据。Pandas的merge函数根据公共列中的值组合dataframe。SQL中的join可以执行相同的操作。这些操作非常有用,特别是当我们在表的不同数据中具有共同的数据列(即数据点)时。pandas的merge图解我创建了两个简单的dataframe和表,通过示例来说明合并和连接。“cust”包含5个客

2021-02-06 08:55:30 4008

原创 2021年人工智能五大趋势预测

人工智能是一个有可能改变人们生活的领域。从医疗保健、商业、金融和其他领域的应用来看,它似乎无处不在。为了帮助你了解它现在的发展趋势,我们整理了一份明年人工智能发展趋势的清单。我们深入研究市场报告,如Markets and Markets report,研究科技杂志的新闻版块,以及人工智能专家和未来学家的个人观点,提供全面全面的报道。以下是我们对人工智能2021年的预期。生物技术和医疗保健2021年,我们将继续使用基于人工智能和深度学习的突破性技术来设计更有效的药物和治疗。毫无疑问,从医疗保健的角度来

2021-02-05 08:42:19 4364

原创 使用度量学习进行特征嵌入:交叉熵和监督对比损失的效果对比

分类是机器学习中最简单,最常见的任务之一。 例如,在计算机视觉中,您希望能够微调普通卷积神经网络(CNN)的最后一层,以将样本正确分类为某些类别(类)。 但是,有几种根本不同的方法可以实现这一目标。Metric learning(度量学习)是其中之一,今天我想与大家分享如何正确使用它。 为了使事情变得实用,我们将研究监督式对比学习(SupCon),它是对比学习的一部分,而后者又是度量学习的一部分,但稍后会介绍更多。通常如何进行分类在进行度量学习之前,首先了解通常如何解决分类任务。 卷积神经网络是当今实

2021-02-04 09:31:26 4166

原创 图注意力网络入门:从数学理论到到NumPy实现

图神经网络(GNNs)已经成为学习图数据的标准工具箱。gnn能够推动不同领域的高影响问题的改进,如内容推荐或药物发现。与图像等其他类型的数据不同,从图形数据中学习需要特定的方法。正如Michael Bronstein所定义的:这些方法基于图形上的某种形式的消息传递,允许不同的节点交换信息。为了完成图上的特定任务(节点分类,链接预测等),GNN层通过所谓的递归邻域扩散(或消息传递)来计算节点和边缘表示。 根据此原理,每个图节点从其邻居接收并聚合特征以表示局部图结构:不同类型的GNN层执行各种聚合策略.

2021-02-03 09:24:51 4063

原创 9个数据科学中常见距离度量总结以及优缺点概述

许多算法,无论是监督或非监督,都使用距离度量。这些度量,如欧几里得距离或余弦相似度,经常可以在k-NN、UMAP、HDBSCAN等算法中找到。理解距离测量域比你可能意识到的更重要。以k-NN为例,这是一种经常用于监督学习的技术。作为默认值,它通常使用欧几里得距离。它本身就是一个很大的距离。但是,如果您的数据是高维的呢?那么欧几里得距离还有效吗?或者,如果您的数据包含地理空间信息呢?也许haversine 距离是更好的选择!知道何时使用哪种距离量度可以帮助您从分类不正确的模型转变为准确的模型。在本文中

2021-02-02 09:57:29 4242

原创 5种数值评分标准总结 - 为预测模型找到正确的度量标准

定量数据可以说出无穷无尽的故事!每日收盘价告诉我们有关股市动态的信息,有关家庭能源消耗的小型智能电表,有关运动过程中人体活动的智能手表,以及有关某些人对某个话题的自我评估的调查 及时。 不同类型的专家可以讲这些故事:金融分析师,数据科学家,体育科学家,社会学家,心理学家等等。 他们的故事基于模型,例如回归模型,时间序列模型和ANOVA模型。为什么需要数值评分指标?这些模型在现实世界中有很多影响,从投资组合经理的决策到一天、一周和一年不同时间的电价。为了达到以下目的,需要数值评分指标:选择最精确的模

2021-02-01 09:00:09 4663

原创 使用深度学习进行图像去噪

图像去噪是研究人员几十年来试图解决的一个经典问题。在早期,研究人员使用滤波器器来减少图像中的噪声。它们曾经在噪音水平合理的图像中工作得相当好。然而,应用这些滤镜会使图像模糊。如果图像太过嘈杂,那么合成的图像会非常模糊,图像中的大部分关键细节都会丢失。使用深度学习架构会更好的解决这个问题。目前看深度学习远远超过了传统的去噪滤波器。在这篇文章中,我将使用一个案例来逐步解释几种方法,从问题的形成到实现最先进的深度学习模型,然后最终看到结果。内容摘要图像中的噪声是什么?问题表述机器学习问题提法

2021-01-31 10:48:57 4932

原创 低成本的二值神经网络介绍以及它能代替全精度网络吗?

每年都会开发出更深的模型来执行各种任务,例如对象检测,图像分割等,这些任务始终能够击败最新模型。 但是,人们越来越关注使模型更轻便,更高效,以便它们可以在边缘设备和移动设备上运行。 这对于弥合机器学习的研究和生产价值之间的差距非常重要。减少深度神经网络的内存和计算成本的一种方法是二值神经网络的概念。 二值神经网络的概念非常简单,其中权重和激活张量的每个值都使用+1和-1表示,以便它们可以以1字节而不是全精度存储(在1-中表示为0 位整数)。 使用以下所示的符号函数将浮点值转换为二进制值-现在,使用阈值

2021-01-30 09:15:06 4048

原创 使用GCP开发带有强化学习功能的Roguelike游戏

强化学习(RL)的许多应用都是专门针对将人工从训练循环中脱离而设计的。 例如,OpenAI Gym [1]提供了一个训练RL模型以充当Atari游戏中的玩家的框架,许多问扎根都描述了将RL用于机器人技术。 但是,一个通常讨论不足的领域是应用RL方法来改善人们的主观体验。为了演示这种类型应用,我开发了一个简单的游戏,叫做“Trials of the Forbidden Ice Palace” [2]。 该游戏使用强化学习,通过为用户量身定制游戏难度来改善用户体验。游戏如何运作该游戏是传统的Rogueli

2021-01-29 09:02:17 4149

原创 有比Pandas 更好的替代吗?对比Vaex, Dask, PySpark, Modin 和Julia

表格是存储数据的最典型方式,在Python环境中没有比Pandas更好的工具来操作数据表了。 尽管Pandas具有广泛的能力,但它还是有局限性的。比如,如果数据集超过了内存的大小,就必须选择一种替代方法。 但是,如果在内存合适的情况下放弃Pandas使用其他工具是否有意义呢?Pandas是一种方便的表格数据处理器,提供了用于加载,处理数据集并将其导出为多种输出格式的多种方法。 Pandas可以处理大量数据,但受到PC内存的限制。 数据科学有一个黄金法则。 如果数据能够完全载入内存(内存够大),请使用Pan

2021-01-28 09:49:52 4243

原创 谷歌新语言模型Switch Transformer

在过去的三年中,基于transformer的语言模型(LMs)在自然语言处理(NLP)领域一直占据着主导地位。Transformer 通常是在大量非结构化文本上预先训练的巨大网络,它能够捕捉有用的语言属性。然后,我么可以对预先训练的模型进行微调,以适应各种各样的最终任务,如回答问题或机器翻译,通过微调即使是在少量的标记数据上也可以训练出可用的模型。Switch Transformer发布前,谷歌的T5模型一直是多个NLP基准上的记录保持者,但是最近被它自己的Switch Transformer超越。并非所

2021-01-27 09:48:27 4236

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除