在 PyTorch 框架中,有一个看似简单的设置可以对模型性能产生重大影响:pin_memory。这个设置具体起到了什么作用,为什么需要关注它呢?如果你正在处理大规模数据集、实时推理或复杂的多 GPU 训练任务,将pin_memory设为True可以提高 CPU 与 GPU 之间的数据传输速度,有可能 ...

·聚焦:人工智能、芯片等行业欢迎各位客官关注、转发前言：谷歌与Meta宣布深化合作，让PyTorch更好地原生支持Google ...

【新智元导读】用英伟达的GPU，但可以不用CUDA？PyTorch官宣，借助OpenAI开发的Triton语言编写内核来加速LLM推理，可以实现和CUDA类似甚至更佳的性能。 试问，有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰？ 又有多少开发者曾因为频频闪烁的警报「 ...

【导读】用英伟达的GPU，但可以不用CUDA？PyTorch官宣，借助OpenAI开发的Triton语言编写内核来加速LLM推理，可以实现和CUDA类似甚至更佳的性能。 试问，有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰？ 又有多少开发者曾因为频频闪烁的警报「CUDA版本 ...

据AIbase报道，为挑战英伟达（NVIDIA）在AI芯片市场的统治地位，Alphabet（谷歌母公司）正在推进一项名为“TorchTPU”的战略计划。该计划旨在显著提高其张量处理器（Tensor Processing Unit, TPU）芯片与PyTorch框架的兼容性，从而降低开发者从英伟达GPU切换到谷歌TPU的技术壁垒和迁移成本。

作为ASIC架构的代表，谷歌TPU已迭代至第七代Ironwood，FP8精度下峰值算力达4614 TFLOPS，192GB高带宽内存加持下，能效比远超英伟达B200，更支持9216颗芯片组成超大规模集群，总算力堪比24台全球顶级超算。

据 AIbase 报道，为了撼动英伟达在 AI 芯片领域的统治地位，Alphabet（谷歌母公司）正在推进一项名为“ TorchTPU ”的战略计划。该计划旨在显著提升其张量处理单元（TPU）芯片对 PyTorch 框架的兼容性，从而降低开发者从英伟达 GPU 切换至谷歌 TPU 的技术门槛和迁移成本。

PyTorch，这一广受欢迎的开源机器学习框架，近期正式推出了其最新版本——2.8版。此次版本更新聚焦于提升量化大语言模型（LLM）在Intel CPU上的推理性能，吸引了众多开发者和研究人员的目光。 在PyTorch 2.8中，开发者团队通过算法优化和技术革新，显著提高了 ...

【导读】Meta推出KernelLLM，这个基于Llama 3.1微调的8B模型，竟能将PyTorch代码自动转换为高效Triton GPU内核。实测数据显示，它的单次推理性能超越GPT-4o和DeepSeek V3，多次生成时得分飙升。

7项指标排名第一。 JAX在最近的基准测试中的性能已经不声不响地超过了Pytorch和TensorFlow，也许未来会有更多的大模型诞生在这个平台上。谷歌在背后的默默付出终于得到了回报。 谷歌力推的JAX在最近的基准测试中性能已经超过Pytorch和TensorFlow，7项指标排名第一。

6月6日-7日，第七届北京智源大会在北京盛大召开。本届大会汇聚了4位图灵奖得主、30余位AI企业创始人&CEO、100余位全球青年科学家、200余位人工智能顶尖学者和产业专家。大会设置20个论坛共计180余场报告，覆盖多模态、深度推理、下一代AI路径、Agent智能体、具 ...