CPython(2) - 内存管理与垃圾回收 CPython的内存管理首先我们设想下,CPython是由C语言实现的,为什么他不直接使用C语言中的malloc系列函数,而要自己折腾一个内存管理呢? 在C中,有三种内存分配方式: 静态内存分配(static memory allocation),编译期间即可计算所需分配内存大小,在可执行文件开始运行时分配。 自动内存分配(automatic memory allocation),当一个帧开始运 2024-10-13 #CPython
CPython(1)-macOS下通过CLion编译CPython 由于这段时间手头没有Windows平台的电脑,而且又习惯了JB家的IDE产品。研究了一下如何在CLion中编译并调试CPython。 环境 macOS:15.1 CLion:2024.2.2 (版本必须大于2020.2) 安装C语言编译器和工具包$ xcode-select --install 会安装 Xcode 命令行工具(Command Line Tools for Xcode),这些工具包 2024-10-11 #CPython
[思考]-李沐讲座:大语言模型的实践经验和未来预测 硬件 带宽的重要性高,机房、机架、芯片的密集程度、摆放的位置会产生延迟,延迟会对计算速度产生很大的影响。 内存的大小目前受到工艺和技术的限制,未来比较长的一段时间可能会在200GB以内,也就是说其实模型大小在未来一段时间中会被控制在一定的范围内,而不是由于算力的限制导致模型大小无法扩展。 算力 供电,李沐老师提到曾经花几个月去调研发现,自己造一个电厂的成本比用电还低。 硬件的价格,长期来看算力会越 2024-08-30 #演讲
Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models Make-An-AudioIntroduction文章指出由于Text-Audio pair数据的匮乏及音频数据的复杂性(每秒16kHz的采样率下,有16000个数据点),导致在多模态生成任务重,文本到音效的合成进展有效。随后在文章中提出针对这两个问题的解决方法: Pseudo Prompt Enhancement: Distill-then-Reprogram Spectrogram auto 2023-12-10 #Notes
How to Read a Paper How to Read a PaperHow to Read a Paper 是S. Keshav教授写的一篇如何通过三步法来进行论文阅读的指南。K教授认为很多研究生和学者都缺乏学习如何高效阅读论文的方法,所以他将在这篇文章中介绍如何应用Three-pass 方法去高效阅读论文或者写一篇综述。 The first pass进行10到15分钟的快读,包括 仔细阅读标题、摘要、介绍 阅读sectio 2023-12-08 #Notes