VSCode通过实现和扩展Jupyter协议，使扩展能以消息驱动方式与内核通信；扩展注册内核后，将代码封装为execute_request消息发送，内核通过iopub通道返回stream、display_data、error等消息，扩展解析并渲染输出，支持文本、富媒体、图片及自定义MIME类型；处理异步通信、状态同步、消息顺序和性能问题是开发关键，需借助日志、消息检查、调试器和模拟内核等手段进行有效调试。

VSCode的笔记本内核通信协议，说白了，就是一套约定好的语言，让VSCode这个“前端”能和各种编程语言的“大脑”（内核）进行交流。它本质上是基于Jupyter协议的实现和扩展，允许扩展程序不仅能发送代码让内核执行，还能接收执行结果、错误信息，甚至处理用户输入，从而实现丰富的交互式开发体验。对我而言，这套协议就像一座桥梁，连接了编辑器的便利性和各种语言运行时的强大功能，是VSCode笔记本生态的核心驱动力。

解决方案

实现VSCode笔记本扩展功能的核心，在于理解和利用其对Jupyter消息协议的抽象和封装。一个扩展要与笔记本内核通信，首先需要声明自己能提供哪些内核（vscode.notebook.createKernel）。这个内核实例内部，就是与实际执行环境（比如Python的Jupyter内核、Node.js的JavaScript内核）进行交互的逻辑。

当用户在一个笔记本单元格中执行代码时，VSCode会通过扩展注册的内核，将代码封装成一个execute_request消息发送给后端。这个消息包含了要执行的代码、用户凭证（如果有的话）以及一些执行选项。后端内核接收到请求后，会开始处理。处理过程中，它会通过不同的消息类型向VSCode发送反馈：比如stream消息用于输出标准输出（stdout）和标准错误（stderr），display_data消息用于发送富文本、图片、HTML等多种MIME类型的输出，error消息则用于报告执行时的异常。

扩展的职责就是监听这些来自内核的iopub（I/O Publish）通道消息。根据接收到的消息类型，扩展可以将数据渲染到笔记本单元格的输出区域。例如，display_data消息中的text/plain部分可以直接显示为文本，image/png则可以渲染成图片。此外，协议还支持input_request，允许内核向用户请求输入，这在需要交互式输入数据的场景下非常有用。通过这些精巧的机制，扩展得以将内核的“思考过程”和“结果”生动地呈现在用户面前。

VSCode扩展如何利用Jupyter协议与笔记本内核交互？

我觉得，理解Jupyter协议在VSCode中的作用，关键在于把握其消息驱动的本质。它不是一个简单的RPC调用，而是一个异步、事件驱动的系统。当一个VSCode笔记本扩展需要与内核交互时，它实际上是在构建和解析一系列JSON格式的消息。

以执行一个代码单元格为例：

1. 发送执行请求： 扩展会创建一个execute_request消息。这个消息通常包含：

   • header: 消息类型（execute_request）、会话ID、消息ID、协议版本等元数据。
   • parent_header: 如果是回复某个消息，会包含父消息的头信息。
   • metadata: 额外信息，比如执行时间戳。
   • content: 这是核心，包含要执行的code字符串、是否silent（不生成输出）、是否store_history（是否保存到历史记录）等。
   • buffers: 用于传输大型二进制数据。 扩展将这个消息通过底层的WebSocket或ZMQ连接发送给内核。

2. 接收执行结果和状态： 内核接收并处理请求后，会通过iopub通道发送各种反馈消息。这些消息的msg_type字段至关重要：

   • stream: 包含name（stdout或stderr）和text。扩展将其作为普通的文本输出显示。
   • display_data: 包含一个data字典，键是MIME类型（如’text/plain’, ‘image/png’, ‘application/json‘），值是对应的数据。这允许扩展渲染富文本、图片、图表等。
   • execute_result: 类似于display_data，但表示一个表达式的最终结果，通常包含execution_count。
   • error: 包含ename（错误名称）、evalue（错误值）和traceback。扩展可以将其格式化为错误信息显示。
   • status: 报告内核的状态，如’busy’（忙碌）、’idle’（空闲）、’starting’（启动中）。这对于更新UI状态（比如显示加载指示器）非常重要。

3. 最终响应： 当代码执行完毕，内核会发送一个execute_reply消息到shell通道。这个消息会包含执行的状态（’ok’或’error’）以及其他元数据。扩展通过这个消息来判断一个单元格是否执行成功，并完成UI上的更新。

   

   小K直播姬

   全球首款AI视频动捕虚拟直播产品

   34

   查看详情

我认为，这种消息驱动的模式，虽然初看起来有点复杂，但它提供了极大的灵活性和可扩展性。不同的内核可以以自己的方式实现这些消息，而VSCode扩展只需要理解协议规范，就能与它们无缝对接。

在VSCode中，笔记本扩展如何处理不同类型的内核输出？

处理内核输出是笔记本扩展最直观，也最能体现其价值的地方。它不仅仅是简单地打印文本，而是要将内核“吐”出来的数据，以最用户友好的方式呈现。

当扩展从内核的iopub通道接收到display_data、execute_result或stream等消息时，它会解析这些消息的content.data字段或content.text字段。

• 文本输出 (text/plain, stream): 这是最基本的。扩展直接将文本内容渲染到输出区域。通常，stream消息的stdout和stderr会以不同的颜色或样式显示。
• 富文本输出 (text/markdown, text/html): 扩展会使用VSCode内置的Markdown渲染器或Webview来显示这些内容。特别是text/html，它允许内核发送完整的HTML结构，从而实现高度自定义的输出，比如交互式图表（如Plotly、Bokeh）或复杂的表格。
• 图片输出 (image/png, image/jpeg, image/svg+xml): 扩展会将这些Base64编码的图像数据解码，然后作为图片元素嵌入到输出区域。这对于数据显示和科学计算领域至关重要。
• JSON数据 (application/json): 有时候内核会直接返回JSON对象。扩展可以将其格式化，以可折叠的树状结构显示，方便用户查看。
• 自定义MIME类型： 这是一个特别强大的地方。Jupyter协议允许内核定义自己的MIME类型，比如application/vnd.plotly.v1+json。如果扩展知道如何处理这种MIME类型（例如，通过注册一个自定义渲染器），它就能以非常特定的方式渲染这些数据。例如，一个Plotly扩展可以拦截application/vnd.plotly.v1+json数据，并使用Plotly的JavaScript库将其渲染成一个交互式图表。

我个人觉得，这里最巧妙的设计在于MIME类型优先级。一个display_data消息可能包含多种MIME类型的数据（比如同时有text/plain和image/png）。VSCode扩展会根据预设的优先级（或者用户配置的优先级）选择最合适的MIME类型进行渲染。这确保了在不同环境下（例如，只支持文本的终端或支持图片的富客户端）都能有合理的输出。

开发VSCode笔记本扩展时，常见的挑战与调试策略是什么？

开发VSCode笔记本扩展，虽然潜力巨大，但过程中确实会遇到一些“坑”。我根据自己的经验，总结了几个常见的挑战和对应的调试策略。

常见挑战：

1. 异步通信和状态管理： 内核通信是高度异步的。execute_request发出后，可能需要等待很长时间才能收到execute_reply和各种iopub消息。这导致了复杂的异步流程控制和状态管理问题。比如，用户可能在第一个单元格还在执行时，又去执行第二个单元格，如何正确关联消息和单元格状态是个难题。
2. 消息顺序与丢失： 虽然协议本身设计得比较健壮，但在网络不稳定或内核实现有缺陷时，消息顺序可能出现问题，甚至有消息丢失的风险。这会导致UI显示不正确或执行流程中断。
3. MIME类型渲染兼容性： 不同的内核可能生成略有差异的MIME类型数据，或者某些自定义MIME类型在VSCode中没有默认渲染器。这要求扩展开发者要么提供自己的渲染逻辑，要么确保内核输出是VSCode支持的通用格式。
4. 内核生命周期管理： 启动、停止、重启内核，以及处理内核崩溃，都需要扩展仔细管理。如果内核崩溃了，如何优雅地通知用户并提供恢复选项，是提升用户体验的关键。
5. 性能问题： 特别是当输出数据量巨大（例如，大型图片或长日志）时，将数据从内核传输到VSCode，再由VSCode渲染，可能会导致性能瓶颈。

调试策略：

1. 日志记录（console.log和VSCode Output Channel）： 这是最基本也最有效的手段。在扩展代码中，大量使用console.log来打印接收到的内核消息、解析后的数据以及关键状态变化。更推荐的是使用VSCode的OutputChannel，这样可以在VSCode的“输出”面板中集中查看日志，而不是散落在调试控制台。
2. 消息检查器： 如果你怀疑是内核消息本身的问题，可以尝试在内核和扩展之间搭建一个代理层，或者在扩展内部，将原始的JSON消息打印出来。仔细检查msg_type、content等字段，确保它们符合Jupyter协议规范。有时，内核发送的JSON可能不完全符合预期，或者某些字段缺失。
3. VSCode调试器： 利用VSCode强大的JavaScript/TypeScript调试功能，在扩展代码的关键位置设置断点，单步执行，检查变量状态。这对于理解异步流程和数据流向非常有帮助。
4. 模拟内核： 在开发初期或测试特定场景时，可以编写一个“模拟内核”。这个模拟内核不实际执行代码，而是根据预设的逻辑，直接向扩展发送模拟的Jupyter消息。这可以帮助你独立测试扩展的UI渲染和消息处理逻辑，而无需依赖一个真实的、可能很复杂的后端内核。
5. 查看VSCode内置日志： 有时问题可能出在VSCode本身与内核的交互层。VSCode的“开发者工具”（Help -> Toggle Developer Tools）中，可以查看更底层的网络请求和日志，这对于诊断协议层面的问题可能有用。

总的来说，开发笔记本扩展是一个需要耐心和细致的过程。理解协议的来龙去脉，善用调试工具，并对可能出现的异步问题保持警惕，是成功的关键。