2023 3月 01 By astrill怎么续费 0 comment

聊天机器人 ChatGPT 掀起人工智慧生成内容(AIGC)热潮,带动晶片运算力需求,小晶片(Chiplet)技术可提升 AI 晶片效能,也成为中国厂商布局 AIGC 晶片先进制程、加速升级运算能力的突破口。

聊天机器人ChatGPT掀起人工智慧生成内容(AIGC)热潮,也带动人工智慧(AI)晶片、绘图处理器(GPU)甚至通用绘图处理器(GPGPU)、中央处理器(CPU)、特殊应用晶片(ASIC)、可编程连逻辑闸阵列(FPGA)等性能和需求。

亚系外资法人指出,虽然AI晶片、GPU、CPU、FPGA等晶片已对AIGC底层架构提供运算力,但AIGC应用未来所需运算能力将大幅增加,采用小晶片(Chiplet)异质整合架构设计,以及高阶封装技术,可提升AI晶片运算功能。

小晶片技术被半导体业界视为超越摩尔定律物理极限的关键技术,小晶片技术透过同质整合(homogeneous Integration)和异质整合(heterogeneous Integration),把多颗处理器引擎、记忆体、射频元件、电源管理晶片、光学元件、声学元件、感测元件等整合在一颗小晶片的晶片网路。而小晶片技术得以发挥的关键,在於先进封装。

半导体大厂正积极布局小晶片相关高阶封装技术,例如封测大厂日月光半导体布局扇出型基板晶片封装技术(FOCoS),将多个独立晶片整合在一个扇出型封装中。此外美商超微(AMD)与晶圆代工大厂台积电合作开发3D小晶片技术,相关运算产品已在2021年底生产。

美系外资法人分析,台积电的2.5D CoWoS封装和小晶片技术,以及3D Fabric先进封装技术,结合自身的7奈米及5奈米先进制程,可因应高效能运算晶片大厂订单。

资策会产业情报研究所(MIC)指出,英特尔(Intel)与台积电三星(Samsung)、超微(AMD)、微软(Microsoft)、Google、日月光等大厂邀请各界共同推动的UCIe小晶片(Chiplet)联盟,有助小晶片Chiplet资料传输架构标准化,降低小晶片先进封装设计成本,UCIe成为未来高阶运算晶片开发主推的小晶片整合技术平台。

中国也正亟思搭上AIGC应用热潮,如何突破美国晶片禁令「弯道超车」,掌握小晶片技术已成为中国厂商布局AIGC晶片先进制程、加速升级运算能力的突破口。

在伺服器晶片领域,中国厂商正在采用小晶片技术提升运算效能,例如华为旗下海思、寒武纪科技采用7奈米制程的伺服器晶片和AI晶片,已采用小晶片技术。

在半导体封装,江苏长电和通富微电等中国厂商也积极布局小晶片技术,通富微电持续与美系处理器晶片大厂超微维持策略合作夥伴关系。

(作者:锺荣峰;首图来源:shutterstock)

2023 2月 24 By astrill怎么买 0 comment

首个开源 ChatGPT 低成本再现流程来了!预训练、奖励模型训练、强化学习训练,一次性打通。

明敏发自凹非寺,量子位 | 公众号QbitAI

最小demo训练流程仅需1.62GB显卡记忆体,随便一张消费级显卡就能满足。单卡模型容量最多提升10.3倍,相比原生PyTorch,单机训练速度最高可提升7.73倍,单卡推理速度提升1.42倍,仅需一行代码。

微调任务可最多提升单卡微调模型容量3.7倍,同时保持高速运行,同样仅需一行代码。ChatGPT红是红,再现也真的难,毕竟ChatGPT不开源,市面至今没有开源预训练权重、完全开源的低成本训练流程,且千亿等级大模型训练本身就是难题。

但ChatGPT军备赛已愈演愈烈,为了抓住趋势,如Google等都在打造竞品。快速再现ChatGPT是应趋势所需,开源加速方案Colossal-AI正是为此而来,且提供开源完整再现流程同时,也降低成本。

降低显卡记忆体消耗是关键

ChatGPT效果好,主要是训练过程引入人类回馈强化学习(RLHF),但也直接导致ChatGPT再现训练难度飙升。流程分为三阶段:

1. 监督微调:从Prompt库采样,收集人工回答,利用这些数据微调预训练大语言模型。

2. 奖励模型:从Prompt库采样,使用大语言模型产生多个回答,人工排序回答後,训练奖励模型(RM)模拟人类价值判断。

3. 基於第一阶段的监督微调模型和第二阶段奖励模型,利用强化学习演算法训练大语言模型。

▲ RLHF三个阶段。

对ChatGPT训练而言,第三阶段是核心部分。OpenAI采用强化学习近端策略最佳化演算法(PPO),引入奖励讯号,使语言模型产生内容更符合人类评判标准。但引入强化学习,代表有更多模型调用。如使用基於Actor-Critic(AC)结构的PPO演算法,需训练时进行Actor、Critic两个模型前向推理和反向传播,以及监督微调模型、奖励模型多次前向推理。

ChatGPT基础的InstructGPT论文,Actor和监督微调模型都使用1,750亿参数GPT-3系列模型,Critic和奖励模型使用60亿参数GPT-3系列模型。大规模模型参数,代表想启动原始ChatGPT训练流程,需要数千GB显卡记忆体,单张GPU显然无法容纳,常见数据并行技术也不能搞定。

即便引入张量并行、流水并行划分参数,也需要至少64张80GB的A100为硬体基础,且流水并行并不适合AIGC产生任务,bubble和调度复杂会导致效率受限。

单张消费级显卡都能体验

Colossal-AI基於ZeRO、Gemini、LoRA、Chunk-based记忆体管理等方法,提出一系列单卡、单机多卡、大规模并行解决方案。对基於GPT-3系列模型的ChatGPT,Colossal-AI能用原本一半硬体资源启动1,750亿参数模型训练,从64卡降低到32卡。如果续用64卡,则将训练时间压缩到更短,节省训练成本、加速产品更新。

为了让更多开发者体验再现ChatGPT,除了1750亿参数版本,Colossal-AI还提供单卡、单机4 / 8卡类ChatGPT版本,以降低硬体限制。

单机多卡服务器,即便显卡规格提升为A100 80GB,由於ChatGPT复杂性和内存碎片,PyTorch最大也只能启动基於GPT-L(774M)这类小模型ChatGPT。用PyTorch原生DistributedDataParallel(DDP)进行多卡并行扩展至4卡或8卡,性能提升有限。Colossal-AI最高可提升单机训练速度7.73倍,单卡推理速度1.42倍,还可继续扩大规模并行。

为了尽可能降低训练成本和上手门槛,Colossal-AI还提供单张GPU即可尝试的ChatGPT训练流程。相比PyTorch在约10万元的A100 80GB最大仅能启动7.8亿参数模型,Colossal-AI将单卡容量提升10.3倍至80亿参数。对於基於1.2亿参数小模型的ChatGPT训练,最低仅需1.62GB显卡记忆体,任意单张消费级GPU即可满足。

此外,Colossal-AI也致力降低基於预训练大模型的微调任务成本。以ChatGPT可选的开源基础模型OPT为例,相比PyTorch,Colossal-AI可提升单卡微调模型容量3.7倍(原始计算量显着增大),同时保持高速运行。

一行代码快速上手

操作部分,如再现流程多步骤,基於Colossal-AI开源方案,都能一行代码快速上手。先看模型部分。尽管ChatGPT背後大语言模型GPT-3.5不开源,但GPT、OPT、BLOOM等主流开源模型都可取代。

Colossal-AI为Hugging Face社群这些模型提供开箱即用的ChatGPT再现代码,涵盖三阶段训练。以GPT为例,加一行代码指定使用Colossal-AI为系统策略即可快速启用。

使用下列指令即可快速启动单卡、单机多卡、1750亿版训练,并测试各种性能指标(包括最大记忆体占用、吞吐率和TFLOPS等):

背後原理如何?

核心方案还是Colossal-AI。毕竟诞生起就是大模型应用专用,可基於PyTorch高效快速部署AI大模型训练和推理,是这领域的明星,GitHub Star超过8千,并成功入选SC、AAAI、PPoPP、CVPR等国际AI与HPC顶级会议的官方教程。…

2023 2月 23 By astrill怎么续费 0 comment

美国知名线上科幻杂志《克拉克世界》22  日宣布暂停接受投稿,因为由人工智慧(AI)产制的稿件泛滥成灾,令编辑团队不堪负荷,光是 2 月就拒绝多达 500 份投稿。

英国卫报(The Guardian)报导,《克拉克世界》(Clarkesworld)杂志曾刊登过范德麦尔(Jeff VanderMeer)、李允夏(Yoon Ha Lee,音译)及瓦伦特(Catherynne Valente)等知名作家作品,也是少数接受新秀作家公开投稿短篇小说并支付稿费的出版业者之一。

不过,根据创始编辑克拉克(Neil Clarke)的说法,这项承诺吸引了网红的注意并提倡利用AI「快速致富」的方法。

克拉克在一篇部落格文章中表示,杂志每个月约莫会接到10篇被认定为抄袭他人作品的投稿,但聊天机器人ChatGPT自去年推出以来,将AI语言模型推升至主流地位,投稿拒绝率开始飙升。

克拉克说,1月分他们就拒绝了100份投稿,并禁止这些「作家」再次投稿。2月以来,他拒绝的稿件已超过500份。

他在文中提到:「我已经和几位编辑取得联系,我遇到的情况绝对不是特例……这种情况似乎确实正在冲击较高规格且『永远开放』的市场,比起设有投稿门槛或稿费较低的管道更严重。」

克拉克还说:「原本的方法显然已行不通,我担心这种做法会对国际新秀作家造成更多的阻碍,短篇小说需要这些人。这问题不会突然间自行消失,我也没办法解决。」

关闭投稿管道是个激烈之举,但在确认解决方案之前,「克拉克世界」暂不考虑作家们的故事。

(译者:张茗喧;首图来源:Unsplash)…

2023 2月 23 By astrill怎么下载 0 comment

全新 iPhone 14 Pro 系列,加入了互动性十足的「 动态岛 Dynamic Island」功能,成为最具话题的功能之一,现在根据外媒的消息指出,似乎有安卓手机品牌 Realme 正在准备推出与 iPhone 14 Pro 动态岛功能雷同的功能设计。

手机品牌 Realme 似乎将推出与 动态岛 雷同的功能

Apple 在 iPhone 14 Pro 系列推出的「动态岛」功能,它是一个药丸形状的挖孔设计,具有互动式的使用者体验,有点像是 MacBook Pro 上的 TouchBar 功能,推出时成为最具话题性的功能之一。

Apple iPhone 14 Pro 系列的动态岛功能。图/9to5mac

而安卓手机品牌似乎有意想要推出与动态岛雷同的功能,去年曾在论坛与社群询问使用者的意见,而现在 Realme 手机品牌副总裁 Madhav Sheth …

2023 2月 21 By 超级小子DIY 0 comment

根据市场研究及调查机构 Omdia 新发布的「顶尖人工智慧硬体新创企业市场雷达报告」(Top AI Hardware Startups Market Radar)表示,自 2018 年以来,超过 100 家不同的创业投资公司(Venture Capital,VC),投资超过 60 亿美元排名前 25 家人工智慧(AI)晶片新创公司。尽管 2021 年将做为一个特殊的年份被铭记,但投资环境已然产生变化。从全球晶片短缺、库存危机、货币政策改变、再到 2022 年的经济衰退,在在显示现阶段的资金筹措将更具挑战性。

Omdia 首席高级计算分析师 Alexander Harrowell 指出,资金最充裕的 AI 晶片新创公司正面临压力,他们需向开发者提供其惯於从市场龙头辉达(NVIDIA)所获得相关软体支援。这正是让新人工智慧晶片技术进入市场的关键障碍。

Omdia 预测,2023 年可能会有一家以上的重要新创公司,透过像是出售给超大规模云供应商或主要晶片制造商等方式退出市场。Harrowell 表示,最可能的退出管道是和主要供应商进行出售股权或资产。苹果(Apple)的资产负债表上有 230 亿美元的现金流,亚马逊(Amazon)有 350 亿美元,而英特尔(Intel)、辉达(NVIDIA)和超微( AMD) 则有大约 100 亿美元的现金流。这些超大型企业始终热衷於采用客制化的人工智慧晶片,且具有维持相关技术的能力。…

2023 2月 18 By astrill怎么下载 0 comment

近期微软与 Google 接连宣布新的 AI 应用,微软将 ChatGPT 导入搜寻引擎 Bing 与浏览器 Edge;Google 则是宣布推出 AI 聊天机器人 Bard,许多 AI 新创也正加快脚步开始推出产品与新服务,矽谷新创 Summari 则是看准生成式 AI 技术的优势,将其运用在网路文章摘要生成上面。

用户只要丢一个连结,Summari就能迅速摘要出该篇文章的内容,除了省去读者一一点进网页大量阅读的时间,甚至还能为网站增加SEO,根据Summari官网上的实际案例宣称,曾为某科技类部落格提升54%的网站停留时间以及48%的浏览量。

从支付工具到解决资讯爆炸,Summari总算觅得可行商模

Summari的创办人暨执行长Ed Shrager在2017年到2019年间,曾担任软银愿景基金(SoftBank Vision Fund)的董事,最後决定离职创业。他先是成立了支付网路新创Imagine Financial,无奈疫情爆发,这个点子就此打住。

接下来Ed Shrager与团队不断寻找新灵感,并以企业通讯软体Slack做为创业点子的纪录工具,但源源不绝的点子跟讨论很快就淹没在Slack频道里,必须一一重新阅读才能找会记忆与脉络。这时,Ed Shrager的「Aha moment」(灵光乍现的一刻)出现了:何不把有趣的想法「摘要化」,除了可以让团队快速理解创业点子外,也能节省沟通成本。

▲ Summari创办人Ed Shrager从Slack上杂乱的讯息中找到创业点子。(Source:LinkedIn)

Ed Shrager把这个想法延伸到网路时代下的媒体阅读环境:现今读者身处资讯爆炸的网路世界,不可能每篇文章都读遍。Ed Shrager因而再成立Summari,希望藉由「摘要生产」这个产品,让读者迅速读完万篇文章。

然而在尝试一年後,Summari发现这样他们的商业模式无法顺利运作。Ed Shrager承认:「我们很难改变消费者阅读的行为,即便他们喜欢这项技术,也不会因此掏钱购买。」从读者常态的阅读习惯而言,若文章太长,或许会选择大致浏览过,或是存下连结以便有空的时候阅读,想让读者每月花钱订阅摘要技术并不那麽容易。

经过持续努力,Summari总算觅得新的商业模式:改为B2B业务,为大量产出内容的网站生产摘要并收费。Summari收费以网站流量为基准,每月流量5万以下的网站,月费10美元;流量5万至25万的网站,月费50美元;流量25万以上的网站则是可以洽谈企业合作方案。此外,Summari也提供免费试用方案,不限网站流量,摘要最多5个连结,共2,5000字以内的文章。…

2023 2月 12 By 超级小子DIY 0 comment

随着 AI 大战越演越烈,Google 搜寻引擎负责人 11 日在采访中警告,要防止 AI 在聊天机器人中造成的隐患。

Google 资深副总裁兼 Google 搜寻负责人 Prabhakar Raghavan 告诉德媒《世界报》(Welt am Sonntag ),「我们现在谈论的这种 AI,有时导致我们称之为『幻觉』的东西,然後,机器会以一种令人信服但完全虚构的答案,来表达自己」。他补充,基本任务是将这种情况降至最低。

微软以约 100 亿美元支持新创公司 OpenAI 的 ChatGPT,後者在一推出时便造成轰动,因为 ChatGPT 能给出非常人性化的回覆,让许多网友相当惊讶,自此之後,Google 一直处於不利状态。

Alphabet 旗下 Google 本周宣布推出 AI 聊天机器人「Bard」,但回答问题失误,导致周三股价暴跌近 8%,市值损失 1,000 亿美元。目前 Alphabet 仍在对 Bard …

2023 2月 11 By 超级小子DIY 0 comment

Hertz 已订的 10万部 Tesla Model 3,暂时只到货 48,344部,11/02/2023, Advance Iverson,110,

Photo by Matt Weissinger on Pexels.com

,

国际汽车租赁公司 Hertz 的车队共有 48,344 辆 Tesla 。 虽然这个数字令人印象深刻,但 Hertz 已经订购了 100,000 辆 Model 3,将在去年年底前交付。

据 Hertz 称,截至 2022 年 12 月 31 日,其美国车队共有 428,700 …

2023 2月 11 By 超级小子DIY 0 comment

Intel 13 代 Notebook CPU 上个月发布後相信不少人都会当一下「等等党」,而搭载新 U 的机款亦在上星期正式推出。不过首现身的型号又是 MSI,当中就分别有 P 及 H 型的移动型处理器。

Prestige 13 EVO 用到 Intel i7-1360P 12 核的 13 寸机款,拥有 16GB DDR5 以及 1TB SSD,而且重量亦只有 0.99kg,属较轻巧的入门机型。而 17.3 寸的游戏型号则有 Titan GT77 HX 13VI,除了采用最高阶的 Intel i9-13980HX 之外,显示卡亦更换上最新的 NVIDIA RTX …

realme真我GT Neo5发布,顶配240W充电搭配1TB存储,售价2499元起
2023 2月 10 By 超级小子DIY 0 comment

2月9日,realme举办新品发布会,正式推出真我GT Neo5系列新品,其采用透明RGB设计,最高支持240W快充,并且提供16G 1TB超大内存组合版本,而定价方面则依然凸显了性价比优势,2499元起售。

首先在外观方面,realme真我GT Neo5提供了紫域幻想、圣境白以及宙夜黑三种选择,机身则是延续了潮玩设计风格,其采用全透明结构设计,可以直接看到机身内的不锈钢晶元铭牌、RGB呼吸灯、NGC天线以及定位螺丝。透明的设计也有RGB加持的觉醒光环系统,在交互上带来新的体验。

觉醒光环系统可提供25种颜色,2种显示模式以及5档速度调节。比如手机在充电时,RGB灯会有不同的颜色显示,而在游戏中的高光操作,RGB呼吸灯也会有不一样的光效来展示电竞激情。目前觉醒光环系统已经适配多项系统级功能,玩家也可以进行自定义。

在充电方面,realme真我GT Neo5最大的看点之一便是搭载了240W快充,并且带来了三大闪充技术首发,包括三路百瓦电荷泵并联设计、12A定制充电线以及240W双GaN迷你充电头。此外真我GT Neo5的240W快充还支持PS3防火设计,通过了德国莱茵TUV安全快充认证。

充电速度上,发布会现场实测80秒可以从1%充至21%,能够做到充电30秒,通话两小时。另外真我GT Neo5还支持AI智能充电,实现智能场景化充电以及电池健康保护。在电池方面,真我GT Neo5内置10C超薄极片电池,4600mAh电池容量。

在处理器方面,真我GT Neo5搭载了第一代骁龙8 处理器,并且配备了超帧独显晶元Plus,同时LPDDR5X以及UFS 3.1超频版快闪记忆体也没有缺席。realme还在内存组合上带来惊喜,推出了16GB 1TB的超大内存组合版本,而通过旋风内存引擎的加持,16GB内存可以实现45个应用保活。散热上,真我GT Neo5带来了冰芯双相变散热系统Max,配备了4500mm2 3D钢化VC液冷散热。

在屏幕方面,realme与国产屏幕厂商天马合作,为真我GT Neo5配备了行业首款144Hz 1.5K旗舰直屏,其采用了天马T7 发光材料,原生支持10bit,1400尼特局部峰值亮度,覆盖100% P3色域,支持4档应用刷新率自定义,支持2160 PWM超高频调光。值得一提的是,真我GT Neo5还成为首款通过SGS灵敏触控认证屏幕的手机。

在影像方面,真我GT Neo5搭载了索尼IMX890主摄,并且拥有OIS光学防抖加持,首发HyperShot 2.0旗舰影像演算法,首发超级云阶防抖,此外影像方面真我GT Neo5还拥有一颗超广角镜头和一颗微距镜头。

此外真我GT Neo5还支持智能红外遥控,配备X轴线性马达、增强版NFC、杜比全景声扬声器以及屏下心率指纹等功能,运行realme UI 4.0系统。

除了240W版本,realme真我GT Neo5还推出了150W版本,电池容量升级到5000mAh,16分钟即可充至100%电量。在售价方面,真我GT Neo5的150W版本提供了三个内存版本,8G 256G首销价2499元,12G 256G首销价2699元,16G 256G首销价2899元。而240W …