TokenDagger
أداة تقطيع نصوص (Tokenizer) سريعة مكتوبة بلغة C++ مع واجهات Python، وتصلح بديلًا مباشرًا لـ Tiktoken من OpenAI، وتُظهر اختباراتها سرعة أعلى بعدة أضعاف.
مفتوح المصدرالبرمجة والتطوير
زيارة الموقع(يفتح في تبويب جديد)
أداة تقطيع نصوص (Tokenizer) سريعة مكتوبة بلغة C++ مع واجهات Python، وتصلح بديلًا مباشرًا لـ Tiktoken من OpenAI، وتُظهر اختباراتها سرعة أعلى بعدة أضعاف.