文章 2023-12-05 来自:开发者社区

社区供稿 | 通义千问开源模型在阿里云PAI灵骏的最佳实践

引言12月1日,通义千问再次宣布重磅开源,目前通义千问已推出1.8B、7B、14B、72B 四款不同尺寸的开源大语言模型。阿里云PAI灵骏智算服务,是面向大规模深度学习场景的智算产品,一站式提供异构算力底座及AI工程平台。本实践将展示如何基于阿里云PAI灵骏智算服务,进行通义千问的高效分布式预训练、指令微调、模型离线推理验证以及在线服务部署。本文将以Qwen-7B为例展示基于Megatron-L....

社区供稿 | 通义千问开源模型在阿里云PAI灵骏的最佳实践
问答 2023-07-27 来自:开发者社区

Unity引擎有开源ml-agents机器学习框架,在魔搭如何使用?

Unity引擎有开源ml-agents机器学习框架,我是一个魔搭社区的小白,我想知道我该如何使用魔搭的notebook实例来训练我的模型?最好有教程,详细一点哈哈哈

文章 2023-05-17 来自:开发者社区

Mila唐建团队开源大分子机器学习平台TorchProtein:分析蛋白质序列及结构数据,仅需一两行代码

继药物研发机器学习平台 TorchDrug 之后,时隔一年,Mila 唐建团队开源了新的蛋白质机器学习平台 TorchProtein,这是目前第一个专门针对蛋白质研究的开源机器学习库。蛋白质是生物体的重要组成成分。理解蛋白质的结构与生化性质,对于药物研发和人类健康有着不可估量的意义。传统基于生物实验的蛋白质研究不仅周期漫长,而且开销巨大。相比之下,机器学习技术则能大幅降低蛋白质研究的周期和开销,....

Mila唐建团队开源大分子机器学习平台TorchProtein:分析蛋白质序列及结构数据,仅需一两行代码
文章 2023-05-15 来自:开发者社区

性能最高提升 6.9 倍,字节跳动开源大模型训练框架 veGiantModel

字节跳动 AML 团队内部开发了火山引擎大模型训练框架 veGiantModel,比 Megatron 和 DeepSpeed 更快。背景近些年,NLP 应用方面有所突破,Bert、GPT、GPT-3 等超大模型横扫各种 NLP 测试后,人们发现参数量越大的模型,在算法方面表现越好,于是纷纷开始迅速向大模型方向发展,模型体积爆炸式增长。而大模型训练给现有的训练系统带来的主要挑战为显存压力,计算压....

性能最高提升 6.9 倍,字节跳动开源大模型训练框架 veGiantModel
文章 2022-12-10 来自:开发者社区

Github 上最大的开源算法库,还能学机器学习!

算法对于每个程序员来说,都是非常重要的。大厂面试,也是100%会问到算法面试题。学习算法大家都知道被称为刷题神器的 LeetCode ,今天向大家推荐两个各具特色的开源算法库,可以配合着 LeetCode 一起学习。the-algorithmshttps://the-algorithms.com/zh_Hans这个网站是 GitHub 最大的开源算法库,支持许多编程语言。每种语言都有自己的Git....

Github 上最大的开源算法库,还能学机器学习!
文章 2022-10-31 来自:开发者社区

开源机器学习工作流Ploomber

简述Ploomber 是为数据科学和机器学习构建可靠数据工作流的最简单方法。 当你以标准形式提供您的源代码,Ploomber 会自动为您构建工作流。 任务可以是 Python 函数、Jupyter Notebook、Python/R/shell 脚本和 SQL 脚本中的任何内容。当你准备就绪后,无需更改代码即可部署到 Airflow 或 Kubernetes(使用 Argo)。网络异常,图片无法....

开源机器学习工作流Ploomber
文章 2022-10-31 来自:开发者社区

【翻译】开源机器学习流水线工具调研(MLOps)(下)

Ploomber评估部分分数评价易用性3使用约定优于配置的方法,开始时,您只需在脚本/notebooks中包含两个特殊变量,Ploomber 将编排执行。 为了获得更大的灵活性,您可以使用 YAML 指定您的pipeline,对于高级用例,请使用 Python API。开发实践3工作流可以在单个进程或多个进程(并行)中本地执行。 提供增量构建。调试3与 pdb 和 ipdb 集成,您可以在任何任....

文章 2022-10-31 来自:开发者社区

【翻译】开源机器学习流水线工具调研(MLOps)(中)

Flyte评估部分分数评价易用性2API是干净的。任务是用带有少量装饰器的Python函数定义的。开发实践NA工作流不能在本地执行,只能在Kubernetes中执行。不支持增量构建。调试NA没有调试工具。测试NA不支持集成测试。不支持管道测试。部署2运行在Kubernetes上,支持调度。不清楚是否有可能将工作流公开为API端点编程语言1支持一些与SQL兼容的系统,比如Hive和Presto。也....

文章 2022-10-31 来自:开发者社区

【翻译】开源机器学习流水线工具调研(MLOps)(上)

评价标准(摘要)在过去的5年里,我在工业和学术研究领域开发了几个机器学习项目。这一评价标准是这一经验的结果。虽然强调了机器学习的工作流程,但这项调查对于需要批处理或工作调度的项目也很有用。以下各节解释了每个评估部分的逻辑依据。如果您想查看有关这些标准的详细说明(和理由),请滚动到本文的最后一节。评估部分说明易用性API设计有多么的易于使用。开发实践支持增量构建和本地执行。调试与现有的Python....

文章 2022-06-13 来自:开发者社区

AI识别照片是谁,人脸识别face_recognition开源项目安装使用 | 机器学习

前言最近碰到了照片识别的场景,正好使用了face_recognition项目,给大家分享分享。face_recognition项目能做的很多,人脸检测功能也是有的,是一个比较成熟的项目。该项目的github地址:github仓库本文主要是对该项目的安装使用,后面会更新一篇我自己写的实现人脸检测的代码,可以直接使用。环境安装首先我们看看官方给出的人脸识别效果图我们看一下README关于安装环境的信....

AI识别照片是谁,人脸识别face_recognition开源项目安装使用 | 机器学习

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云机器学习平台PAI

阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。

+关注