标签:人工智能
最近在用并行超算云GPU服务器(中国国家网格12区)搭建毕设的环境,这里记录一下。 首先,超算云服务器的登录可以采用网页版、也可以采用客户端(超算云地址:https://cloud.paratera.com/ )。需要注意的是,并行超算云只提供windows和mac的客户端,Linux用户可能只
今天开始跑分布式机器学习论文实验了,这里介绍一下论文的常用数据集(因为我的研究领域是分布式机器学习,所以下面列出的数据集可能偏向这方面,做其他方向的童鞋参考下就好)。 1. CV数据集 (1)FEMINIST 任务:手写字符识别参数说明: 62种不同的字符类别 (10种数字, 26种小写, 2
今天这个专题源于我在做分布式多任务学习实验时在选取数据集的时候的疑惑,以下我们讨论多任务学习中(尤其是在分布式的环境下)如何选择数据集和定义任务。 多任务学习最初的定义是:"多任务学习是一种归纳迁移机制,基本目标是提高泛化性能。多任务学习通过相关任务训练信号中的领域特定信息来提高泛化能力,利用共
在上一篇博文《多任务学习中的数据分布问题(一)》(链接:https://www.cnblogs.com/orion-orion/p/15621953.html)中我们提到论文[1]在联邦学习的情景下引入了多任务学习,其采用的手段是使每个client/Synthetic节点的训练数据分布不同,从而
最近导师让我做分布式多任务学习方面的工作。分布式机器学习我已经比较熟悉,但多任务学习我还不是很熟。于是,我开始着手阅读多任务学习方面的论文,并归纳一个大致的速览(主要讨论基于正则化的多任务学习方法,这也是目前学术界主要进行分布式并行的对象)。在下一篇博客里,我们再结合分布式多任务学习的文章研究如何
论文[1]在联邦(分布式)学习的情景下引入了多任务学习,其采用的手段是使每个client/task节点的训练数据分布不同,从而使各任务节点学习到不同的模型,且每个任务节点以及全局(global)的模型都由多个分量模型集成。该论文最关键与核心的地方在于将各任务节点学习到的模型进行聚合/通信,依据模
众所周知,Python中常常按照key、value的形式来遍历字典的items。若value是基本数据类型(int,float等),则是传的拷贝,是不能直接修改value的: dict2 = {'A':4, 'B':4} for _, num in dict2.items(): num
引言 R2CNN全称Rotational Region CNN,是一个针对斜框文本检测的CNN模型,原型是Faster R-CNN,paper中的模型主要针对文本检测,调整后也可用于航拍图像的检测中去。在ICDAR数据集上进行benchmark。 相关工作 paper中介绍了很多相关的针对斜框类型
Python(包括其包Numpy)中包含了了许多概率算法,包括基础的随机采样以及许多经典的概率分布生成。我们这个系列介绍几个在机器学习中常用的概率函数。先来看最基础的功能——随机采样。 1. random.choice 如果我们只需要从序列里采一个样本(所有样本等概率被采),只需要使用rand
在上一篇博文《分布式机器学习中的模型聚合》(链接:https://www.cnblogs.com/orion-orion/p/15635803.html)中,我们关注了在分布式机器学习中模型聚合(参数通信)的问题,但是对每一个client具体的模型架构设计和参数优化方法还没有讨论。本篇文章我们关
在做实验时,我们常常会使用用开源的数据集进行测试。而Pytorch中内置了许多数据集,这些数据集我们常常使用DataLoader类进行加载。 如下面这个我们使用DataLoader类加载torch.vision中的FashionMNIST数据集。 from torch.utils.data im
在上一篇博文《Python中的随机采样和概率分布(一)》(链接:https://www.cnblogs.com/orion-orion/p/15647408.html)中,我们介绍了Python中最简单的随机采样函数。接下来我们更进一步,来看看如何从一个概率分布中采样,我们以几个机器学习中最常用
前言 上一章为大家介绍过深度学习的基础和多层感知机 MLP 的应用,本章开始将深入讲解卷积神经网络的实用场景。卷积神经网络 CNN(Convolutional Neural Networks,ConvNet)是一种特殊的深度学习神经网络,近年来在物体识别、图像重绘、视频分析等多个层面得到了广泛的应
在Maven插件的帮助下,VSCode写Java其实非常方便。这一讲我们介绍如何借助maven用VScode搭建Hadoop开发环境。 1.Java环境安装 首先我们需要搭建好Java开发环境。我们需要从网站 https://www.oracle.com/java/technologies/do
最近需要学习图结构中的社区检测算法,在阅读相关论文的同时跟了Stanford CS246: Mining Massive Datasets课程[1]的第11讲Community Detection in Graphs,以下是我做的笔记。 1. 网络和社区(networks & commu