2018年是NLP井喷的一年。像ELMo和谷歌BERT这样的库层出不穷，正如SebastianRuder所言，“NLP高光时刻已经来临”，并且这种趋势一直延续到了2019年。Flair是另一款出色的NLP库，技术先进、简单易懂、操作方便。
Flair由ZalandoResearch开发及开源，是基于Pytorch的NLP框架。Flair允许用户将最先进的自然语言处理模型应用于文本，例如命名实体识别（NER），词性标注（PoS），意义消歧和分类。
简而言之，该库可以帮助研究人员和工程师快速开发高性能深度人脸识别模型和算法，方便实际使用和开发部署。
YOLO是一款超快、超精准目标检测框架。自发布以来迭代更新的几个版本一次比一次更好。
该库是YOLOv3在TensorFlow中实现的完整数据管道。它可用在数据集上来训练和评估自己的目标检测模型。其核心亮点包括：
计算机视觉领域最大的挑战之一就是掌握计算资源，不是每个人都有多个GPU。
FaceBoxes是一种新的人脸检测方法，使用CPU速度和精准度均表现良好。FaceBoxes通过PyTorch实现。包含安装、训练和评估人脸检测模型的代码。
Transformer-XL是由谷歌AI团队开源的NLP模型Transformer的升级版。建模长期依赖关系是NLP领域的棘手问题。RNN和VanillaTransformers也常被用来建模长期依赖关系，但效果都并不理想。谷歌AI团队开发的Transformer-XL解决了这一问题。这款库的亮点包括：
下图这些人看起来是不是很逼真？但他们其实并不是真人。这些“人脸”都是由StlyeGAN算法生成的。近几年GAN热度不减，但是StyleGAN在某些方面甚至优于GAN。
虽然GANs自发明以来一直在稳步改进，但StyleGAN的进程仿佛更快些。开发人员提出了两种新的、自动化方法来量化这些图像的质量，同时也开放了大量高质量的人脸数据集。关键资源如下：
OpenAI今年11月终于发布了15亿参数完整版本GPT-2。这款语言模型被不少人认为是2019年“最强通用NLP模型”。
GPT-2可以生成连贯的文本段落，刷新了7大数据集基准，并且能在未经预训练的情况下，完成阅读理解、问答、机器翻译等多项不同的语言建模任务。
SC-FEGAN听起来像另一款GAN库，没错，这的确是基于GAN的人脸照片涂鸦编辑。SC-FEGAN与StyleGAN的算法一样出色。
你可以用开发者训练好的深度神经网络来编辑所有类型的人脸照片。SC-FEGAN非常适合使用直观的用户输入与草图和颜色生成高质量的合成图像。
LazyNLP的使用门槛很低——用户可以使用它爬网页、清洗数据或创建海量单语数据集。
据开发者称，LazyNLP可以让你创建出大于40G的文本数据集，比OpenAI训练GPT-2时使用的数据集还要大。
是不是经常会因为字幕与视频不同步而抓狂？这个库能解决这一问题。Subsync能使字幕与视频自动同步（与哪种语言无关），字幕与视频中的正确起始点对齐。该算法是在Python快速傅里叶变换技术上建立的。
从这样
变成这样
FFHQ：Style-GAN论文中用于训练生成逼真人脸的数据集，分辨率1024×1024的70,000张高质量PNG图像，在年龄，种族和图像背景方面存在广泛差异。
Style-GAN论文中用于训练生成逼真人脸的数据集，包含7万张分辨率1024×1024的高质量PNG图像，各年龄段、各种族人群都有，图像背景也各不相同。
不少人对计算机视觉着迷都是因为GAN。GAN是几年前由IanGoodfellow发明的，现在已经发展成一个完整的研究体系。
2018年DeepMind提出了BigGAN概念，但是等了很久才等到BigGAN的PyTorch实现。这款库也包含了预训练模型（128×128、256×256以及512×512）。仅需一行代码就可安装：
SPADE是英伟达（NVIDIA）新开源的绘图工具。利用生成对抗网络，根据几根简单的线条就能生成栩栩如生的图像。
这款库是基于《FastOnlineObjectTrackingandSegmentation:AUnifyingApproach》论文提出的。
SiamMask是一款实时在线目标跟踪与目标分割统一框架。技术简单、通用、快速高效。它可以对目标实时跟踪。此款库还包含预训练模型。
ARMGPU上的深度学习视频处理监控，用于人脸识别以及更多方法。将数码相机变成人工智能相机。使用ARMGPU/NPU的边缘AI生产级平台，利用AutoML。面向开发人员/儿童/家庭/中小企业/企业/云的第一个世界级边缘人工智能全栈平台，由社区烘焙。
整个DeepCamera概念基于自动机器学习（AutoML），所以训练新模型甚至不需要任何编程经验。
主要亮点：
SparseTransformer是一款预测序列中一下项的深度神经网络。它包含文本、图片甚至音频。该算法使用深度学习中非常流行的注意力机制从序列中提取模式的时长是以前的30倍。
OpenAI提出的这款模型可以使用数百个层对数万个元素的序列进行建模，在多个域中实现先进的性能。
NeuronBlocks是一款由微软开发的NLP入门工具包。可以帮助数据科学团队创建端到端神经网络通道。这款工具包的设计初衷是为了减少为NLP任务创建深度学习网络模型的成本。
CenterNet是一种目标探测方法。总体来讲，探测算法是在图像上将目标以轴对称的框形式框出。大多成功的目标检测器都先观察出目标位置，然后对该位置进行分类，这些方法听起来似乎很合理，但是实际上还需要进行后期处理。
CenterNet这种方法构建模型时将目标作为一个点。基本上讲，检测器采用关键点评估的方式来识别所有框中的中心点。CenterNet已经被证明比我们从前了解的其他边界框技术更快、更精准。
了解并学习如何部署机器学习模型成为数据科学家必须掌握的技能。BentoML是一款为数据科学家设计的Python库，帮助他们包装和部署机器学习模型。这款工具包可以让你在5分钟内将笔记本上的模型走向生产API服务。BentoML服务可以很容易地部署到众多主流平台上，例如Kubernetes、Docker、Airflow、AWS、Azure等。
InterpretML是由微软开源的用于训练可解释模型和解释黑箱系统的包。可解释性在以下几个方面至关重要：
调试模型：为什么我的模型会出错？检测偏见：我的模型会区别对待目标吗？人类与AI合作：我怎样才能理解和信任模型的决策？合规性：我的模型符合法律规定吗？高风险应用：医疗健康、金融、司法等…
微软研究人员开发可解释增强机（EBM）算法帮助提高可解释性。此EBM技术有较高的精准度和可理解性。InterpretML不仅局限于使用EBM算法，它同样支持LIME、线性模型和决策树等方法。
可使用下列代码安装InterpretML：
Tensor2Robot(T2R)是一款用于大规模深度神经网络训练、评估和推理的库。此存储库包含分布式机器学习和强化学习基础结构。
这是一个在Tensorflow2中实现大量生成模型的小项目。图层和优化器都是使用Keras。这些模型是针对两个数据集实现的：fashionMNIST和NSYNTH。编写网络的目的是尽可能简单和一致，同时具有可读性。因为每个网络都是自包含在notebook中的，所以它们应该可以在colab会话中轻松运行。
该存储库包含多个生成模型的TF实现，包括：
使用以下代码可以通过pip直接安装STUMPY：
MeshCNN是一款用于3D三角网格的通用深度神经网络。这些网格可用于3D形状分类或分割等任务。MeshCNN框架包括直接应用于网格边缘的卷积，池化和解除层：
继BERT之后，谷歌又推出了一个用于NLP框架——XLnet。这是一款以Transformer-XL为核心的框架，从论文的结果来看，XLnet在问答、文本分类、自然语言理解等任务上大幅超越BERT。开发者放出了预训练模型帮助用户更好地使用XLNet。
MMAction是一个基于Pytorch的开源视频动作理解工具包，该工具包采用模块化设计，支持多种流行的物体检测和实例分割算法，并且可以灵活地进行拓展，在速度和显存消耗上也具有优势。
MMAction可执行下列任务：
CRAFT的主要思路是先检测单个字符（characterregionscore）及字符间的连接关系（affinityscore），然后根据字符间的连接关系确定最终的文本行。CRAFT可以用于处理任意方向文本、曲线文本、畸变文本等。
CRAFT的网络结构与EAST的网络结构相似：特征提取主干网络部分采用的是VGG-16withbatchnormalization；特征decode模块与U-Net相似，也是采用自顶向下的特征聚合方式；网络最终输出两个通道特征图，即regionscoremap和affinityscoremap。
TRAINS能记录和管理多种深度学习研究工作负载，并且几乎不需要集成成本。TRAINS最大的优点就是它是免费的开源项目。工程师只需要编写两行代码就可以将TRAINS完全集成到用户场景中。TRAINS与现有主要框架无缝集成，包括：PyTorch、TensorFlow、Keras等，并支持Jupyter笔记本。
可按照如下代码安装TRAINS:
pipinstalltrains添加可选的云存储支持（S3/GoogleStorage/Azure）：将下列两行代码添加到你的代码中：
“谷歌研究足球环境”是一款由谷歌研究团队开发足球游戏。这款游戏可以用于训练人工智能技术系统，让它能够解决复杂的任务。
这款游戏在开发时高度模拟还原了一场真实的足球赛事，包括进球、犯规、角球、点球和越位等事件。开发团队认为足球能够在人工智能强化学习方面提供巨大的帮助，因为它需要在短期控制和已经学习到的概念之间做出自然的平衡，例如精准的传球和高水平的战略。
MultiModelServer（MMS）是一个灵活且易于使用、用任何ML/DL框架都可进行深度学习模型训练的工具。使用MMSServerCLI或预配置Docker图像来设置HTTP端点来处理模型推理请求。
Kaolin的核心是一套可以操控3D内容的有效几何函数。它可以将以多边形网格、点云、有符号距离函数或体元栅格形式实现的张量3D数据集装入PyTorch。
以PyTorch库形式实现的Kaolin能够简化3D深度学习模型的准备工作，将原来所需的300行代码减少到只需5行。像这样的工具可以让众多领域的研究人员受益，比如机器人、自动驾驶汽车、医学成像和虚拟现实等。
手动创建KenBurns效果非常耗时，而且十分复杂。现有的方法需要从多个角度获取大量的输入图像。用起来并不理想。使用PyTorch实现3DKenBurns，在给定单个输入图像的情况下，它会通过虚拟摄像机扫描和缩放动画来对静态图像进行动画处理，并使其受到运动视差的影响。
这款由腾讯开源的图计算框架Plato可以高效地支撑腾讯超大规模社交网络图数据的各类计算，且性能达到了学术界和工业界的顶尖水平，比SparkGraphX高出1-2个数量级，使得许多按天计算的算法可在小时甚至分钟级别完成，也意味着腾讯图计算全面进入了分钟级时代。同时，Plato的内存消耗比SparkGraphX减少了1-2个数量级，意味着只需中小规模的集群（10台服务器左右）即可完成腾讯数据量级的超大规模图计算，打破了动辄需要上百台服务器的资源瓶颈，同时也极大地节约了计算成本。
这是一款由huggingface发布的可帮助NLP进行词语切分的文本工具。Tokenizer可在20秒编码1GB文本，适用Rust、Python和Node.js。在NLP模型训练中，词语标记和切分往往是一大难题。Tokenizer能够训练新的词汇，并且进行标记。
推荐通过Composer来安装：
商汤研发部门与新加坡南洋理工大学合作，设计了一个新的大规模基准DeeperForensics-1.0来检测人脸伪造，该基准是同类产品中最大的，质量和多样性都很高，比其他数据集更加接近现实世界场景。100位计算机专家对DeeperForensics-1.0中包含的视频子集质量进行排名时，报告指出与其他流行的Deepfake检测语料库相比，DeeperForensics-1.0在规模上的真实性均领先。研究人员称DeeperForensics-1.0是同类产品中最大的，拥有60000多个视频，其中包含大约1760万帧。
亚马逊AWS推出新的基于mxnet的开源库AutoGluon，这是一个新的开源库，开发人员可以使用该库构建包含图像、文本或表格数据集的机器学习应用程序。只需三行代码就可以自动生成高性能模型，让调参、神经架构搜索等过程实现自动化，无需研究人员人工决策，大大降低了机器学习模型的使用门槛。
Flyte是一款由美国网约车公司Lyft开源的自家的云本地机器学习和数据处理平台。Flyte是一个结构化编程和分布式处理平台，用于高度并发、可伸缩和可维护的工作流。
Uber开源的Manifold是一种与模型无关的视觉工具，它可以显示特征分布的差异（即所观察到的现象的可测量属性）。Manifold的性能比较视图可比较模型和数据子集的预测性能。它也是米开朗基罗机器学习平台的一部分，该平台已帮助各种产品团队分析了无数的AI模型。
NNI(NeuralNetworkIntelligence)是一个轻量但强大的工具包，帮助用户自动进行特征工程、神经网络架构搜索、超参调优以及模型压缩。
NNI管理自动机器学习(AutoML)的Experiment，调度运行由调优算法生成的Trial任务来找到最好的神经网络架构和/或超参，支持各种训练环境，如本机、远程服务器、OpenPAI、Kubeflow、基于K8S的FrameworkController（如，AKS等)，以及其它云服务。
GPipe是一个分布式机器学习库，使用同步随机梯度下降和流水线并行技术进行训练，适用于任何由多个序列层组成的DNN。重要的是，GPipe让研究人员无需调整超参数，即可轻松部署更多加速器，从而训练更大的模型并扩展性能。核心GPipe库是在Lingvo框架下开源的。
PyText是一个基于PyTorch构建的NLP建模（基于深度学习）框架，核心功能可以支持文本分类、序列标注等神经网络模型。PyText可以简化工作流程，加速试验，同时还能促进大规模部署。
该款ReformerTransformer架构改变了NLP的“版图”。它催生了大量的NLP框架，例如BERT、XLNet和GPT-2等。但是我们过去所了解的Transformer框架的规模都是巨大的，成本也非常高，让很多想要学习和实现它们的人望尘莫及。
GitHub上包含了Reformer的PyTorch实现。该项目的作者提供了一个简单但有效的示例并开放了整个代码，用户可以根据需求搭建自己的模型。
可按照下列指令将Reformer安装在机器上：
如果您正在处理一个带有混合数据类型（int、float、datetime、str等）的机器学习项目，那么您应该尝试使用PandaPy而不是Pandas。对于这些数据类型，它比Pandas少消耗近三分之一的内存。
用pip安装PandaPy：
AVA由蚂蚁金服AntV&DeepInsight、新零售技术事业群FBI、盒马Kanaries等阿里巴巴集团内多个核心数可视化技术和产品团队联合共建。
AVA是为了更简便的可视分析而生的技术框架。其名称中的第一个A具有多重涵义：它说明了这是一个出自阿里巴巴集团（Alibaba）技术框架，其目标是成为一个自动化（Automated）、智能驱动（AIdriven）、支持增强分析（Augmented）的可视分析解决方案。演示案例：
fast-neptune是一个能帮你快速记录启动实验时所需的所有信息的库，可在Jupyter笔记本上运行。可再现性已经成为了机器学习中的关键一环，对于实验研究和现实应用都至关重要。我们希望在现实应用中得到可靠的结果，跟踪每个测试参数的设置及其结果。
fast-neptune在pypi上可用，所以只需简单运行下列指令：
ergo是从拉丁语“我思故我在Cogitoergosum”中而来，这是一款能让Keras机器学习更加简单的命令行工具。它可以：
这是华为诺亚方舟实验室自研的预训练语言模型，在一些NLP任务上取得了SOTA的表现。这一模型基于BERT，可以在普通的GPU集群上进行训练，同时融合了英伟达和谷歌代码的早期版本。哪吒模型已有四种中文的预训练模型，分别是base、large和对应的mask和全词mask类型。
TinyBERT同样是由华为诺亚方舟实验室开源的预训练语言模型，这是一个通过蒸馏方法获得的BERT模型。相比原版的BERT-base，TinyBERT比它小了7.5倍，推理速度则快了9.4倍。无论是在预训练阶段还是特定任务学习阶段，TinyBERT的性能都更好。
Metaflow是Netflix机器学习基础架构的关键部件，主要用于加速数据科学工作流的构建和部署，Netflix希望通过开源Metaflow简化机器学习项目从原型阶段到生产阶段的过程，进而提高数据科学家的工作效率。在过去两年中，Metaflow已在Netflix内部用于构建和管理从自然语言处理到运营研究的数百个数据科学项目。
Metaflow也可以与当前主流的Python数据科学库一起使用，包括PyTorch、Tensorflow和SciKitLearn。
ZEN是由创新工场AI工程院和中国香港科技大学联合研究的一款基于BERT的中文预训练模型。在中文任务中，ZEN不仅性能优于BERT，也比之前中文预训练模型更好。ZEN对高概率成词的n-gram添加了独有的编码和向量表示，此模型可以提供更强的文本的编码能力和理解能力。
Megatron是一款强大的transformer。目前，它支持GPT2和BERT混合精度的模型并行、多模训练。我们的代码库能有效地训练一个在512个GPU上让8-way和64-way数据并行的72层、83亿参数CPT2语言模型。
研发团队发现更大的语言模型能够在短短5次训练中超越当前GPT215亿参数wikitext。为了训练BERT，存储库在3天内训练了64个V100GPU上的BERTLarge。最终的语言建模perplexity为3.15，SQuAD为90.7。
RoughViz是一款很棒的JavaScript数据可视化库，能够生成手绘草图或可视化数据，基于D3v5、roughjs和handy。可以按下列指令安装RoughViz：
这是一个超级轻量级的人脸检测模型，也是非常实用的计算机视觉应用，它的模型大小仅有1MB，堪称现象级的开源发布。
vid2vid能够将输入的视频语义标签转换为非常逼真的视频输出，比如可以输入姿势、谈话内容，生成一套完整动作的视频。
TubeMQ是腾讯开源的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输。相比Kafka依赖于Zookeeper完成元数据的管理和实现HA保障不同，TubeMQ系统采用的是自管理的元数据仲裁机制方式进行，Master节点通过采用内嵌数据库BDB完成集群内元数据的存储、更新以及HA热切功能，负责TubeMQ集群的运行管控和配置管理操作，对外提供接口等；通过Master节点，TubeMQ集群里的Broker配置设置、变更及查询实现了完整的自动化闭环管理，减轻了系统维护的复杂度。
SandDance是微软研究院推出的以Web为基础的数据视觉化应用，并且提供了触控式的界面，实现使用者和3D信息图表进行互动，更加特别的是可以以不同的角度不同的方式呈现分析结果，使用户可以通过可视化的方式更加直观的接受数据信息。
神经分类器的设计是为了快速实现分层多标签分类任务的神经模型，这在现实场景中更具有挑战性和普遍性。一个突出的特点是神经分类器目前提供了多种文本编码器，如FastText、TextCNN、TextRNN、RCNN、VDCNN、DPCNN、DRNN、AttentiveConvNet、Transformerencoder等。它还支持其他文本分类场景，包括二进制类和多类分类。
这是一个免费的Python库，使用Pyforest可在一行代码中导入所有python数据科学库。Pyforest目前可导入包括pandas、numpy、matplotlib等等众多的数据科学库。Pyforest的使用方式也非常简单，只要使用pipinstallpyforest在您的计算机上安装库，就可以使用了。您可以在一行代码中导入所有流行的用于数据科学的python库：