网页表格转换为markdown
网页表格到Markdown:一键转换,复制即用!
在日常工作中,我们经常需要从网页上复制表格数据,并将其转换成Markdown格式,以便在文档、邮件或论坛中使用。然而,手动转换不仅耗时,还容易出错。今天,就为大家带来一款网页表格转Markdown的利器,帮你一键完成转换,轻松应对各种场景!🚀
场景需求
想象一下,你需要从公司内部网站复制一份销售数据表,并将其发送给团队成员。你希望他们能够轻松查看和编辑这份数据,但直接复制粘贴往往格式错乱。这时,如果有一个工具能将表格自动转换为Markdown格式,那该有多好!
解决方案
本文介绍的Python脚本,正是为解决这一问题而生。它利用requests-html
库抓取网页内容,并通过自定义函数table_to_markdown
将HTML表格转换为Markdown格式。不仅如此,脚本还能处理复杂的单元格合并,确保转换后的表格美观、准确。
核心功能
- 自动提取链接:脚本会识别并保留表格中的超链接,转换成Markdown格式的链接。
- 合并单元格支持:即使是跨越多行或多列的单元格,也能正确转换。
- 异常处理:在提取过程中遇到任何异常,都会友好提示,保证程序的健壮性。
快速上手
安装依赖
确保你已经安装了Python及以下库:
pip install requests-html pyperclip
使用方法
- 运行脚本,输入目标网页的URL。
- 脚本会自动抓取网页上的第一个表格。
- 转换后的Markdown表格将显示在终端,并自动复制到剪贴板。
示例代码
from rich import print
from rich.progress import track
from rich.console import Console
from rich.logging import RichHandler
import logging
from requests_html import HTMLSession
import pyperclip
from collections import defaultdict
import sys# 初始化日志
console = Console()
logging.basicConfig(level="INFO", format="%(message)s", datefmt="[%X]", handlers=[RichHandler(console=console)]
)
log = logging.getLogger("rich")def extract_links(element):"""安全处理链接提取,避免索引越界"""if not element.html:return ""# 直接处理元素内容,不依赖body标签text_parts = []processed_anchors = set()# 先处理所有<a>标签for a in element.find('a'):href = a.attrs.get('href', '')if href and a.text:text_parts.append(f"[{a.text.strip()}]({href})")# 标记这个a标签的文本节点已处理processed_anchors.add(a.text.strip())# 添加非链接文本(且未被链接包含的文本)full_text = element.textfor anchor_text in processed_anchors:full_text = full_text.replace(anchor_text, '')if full_text.strip():text_parts.insert(0, full_text.strip())return ' '.join(text_parts).strip()def table_to_markdown(table):"""处理合并单元格的表格转换"""rows = table.find('tr')if not rows:return ""# 初始化数据结构table_grid = []rowspan_tracker = defaultdict(dict) # {row: {col: (content, remaining_span)}}max_cols = 0for row_idx, row in enumerate(rows):cells = row.find('th, td')col_idx = 0current_row = []# 处理活跃的跨行单元格while col_idx in rowspan_tracker.get(row_idx, {}):content, remaining = rowspan_tracker[row_idx][col_idx]current_row.append(content)if remaining > 1:rowspan_tracker[row_idx + 1][col_idx] = (content, remaining - 1)col_idx += 1# 处理当前单元格for cell in cells:# 跳过已填充位置while col_idx < len(current_row) and current_row[col_idx] is not None:col_idx += 1# 解析单元格(处理链接和合并属性)content = extract_links(cell)colspan = int(cell.attrs.get('colspan', 1))rowspan = int(cell.attrs.get('rowspan', 1))# 主单元格current_row.append(content)# 列合并处理(复制内容)for _ in range(1, colspan):current_row.append(content)# 行合并处理if rowspan > 1:for r in range(1, rowspan):if row_idx + r not in rowspan_tracker:rowspan_tracker[row_idx + r] = {}rowspan_tracker[row_idx + r][col_idx] = (content, rowspan - r)col_idx += colspan# 填充空白current_row = [cell if cell is not None else "" for cell in current_row]table_grid.append(current_row)max_cols = max(max_cols, len(current_row))# 统一列宽for row in table_grid:row.extend([""] * (max_cols - len(row)))# 生成Markdownmarkdown = []if table_grid:# 表头markdown.append("| " + " | ".join(table_grid[0]) + " |")markdown.append("| " + " | ".join(["---"] * len(table_grid[0])) + " |")# 表格内容for row in table_grid[1:]:markdown.append("| " + " | ".join(row) + " |")return "\n".join(markdown)def get_table_as_markdown(url, table_index=0, timeout=20):try:session = HTMLSession()response = session.get(url)response.html.render(timeout=timeout)tables = response.html.find('table')if not tables:return "未找到表格"if table_index >= len(tables):return f"表格索引超出范围(共 {len(tables)} 个表格)"return table_to_markdown(tables[table_index])except Exception as e:return f"错误: {str(e)}"if __name__ == "__main__":url = input("请输入网页URL: ")result = get_table_as_markdown(url)print("\n生成的Markdown表格:\n")print(result)try:pyperclip.copy(result)print("\n✅ 已复制到剪贴板")except:print("\n⚠️ 无法复制到剪贴板,请手动复制")
结语
这款脚本不仅能大幅提升你的工作效率,还能确保表格格式的准确性和一致性。无论是日常办公还是学术研究,它都是你不可或缺的好帮手。赶快试试吧,让你的数据处理工作变得简单又高效!🎉