主要目的是提取纯文本方便 chatgpt https://gist.github.com/taowen/4ce9de62255ded695db106ded4aa18c1 pdf.js 可以提取所有的 TextItem 包括文本和包围盒根据包围盒可以大致判断一下是否换行了如果一行中包含了公式，那么一行会有很多个 TextItem ，这些行会称之为 complex 的行多个连续的 complex 行变成了 complex 块如果有 claude 3 haiku 的账号会对 complex 块做一次基于图片的 OCR 来清洗嘈杂的带公式的文本 除了 pdf 还有几个纯浏览器的小工具方便用来提取纯文本 https://gist.github.com/taowen/95ae056924f33bafa809cb4147e52566 HTML 转 markdown 。本地用 turndown.js 实现的https://gist.github.com/taowen/2a49387d5abc195ba57acbb94f4dd28f youtube 字幕提取https://gist.github.com/taowen/3a0ee294ae60fd7e8f14f4af81edf38e arxiv 论文转 markdownhttps://marketplace.visualstudio.com/items?itemName=taowen.repo-to-prompt github.dev 代码仓库转 prompt
