இந்த கட்டுரையில்:
- “ஆவண extraction” என்றால் என்ன
- எந்த ஆவணங்களை extraction செய்ய வேண்டும், எவை “noise”
- நான்கு அடுக்குகள்: image → text → facts → links
- என்னென்ன எடுப்பது — சுருக்கமான brutal checklist
- TamizhConnect-இல் facts + confidence சேமிப்பு
- data கெடுக்கும் பொதுப் பிழைகள்
- ஒரு messy PDF-க்கு நடைமுறை extraction workflow
1. “ஆவண extraction” என்ன?
பல குடும்பங்கள்:
- சான்றிதழ்கள், பட்டா, கோவில் புத்தகம், e-rolls, கடிதம், பள்ளி பதிவு ஸ்கேன்,
- Google Drive/WhatsApp-ல் dump,
- “digitised” என்று மன அமைதி.
அது genealogy அல்ல; அது digital hoarding.
Extraction = ஒரு ஆவணத்திலிருந்து குறிப்பிட்ட, சரிபார்க்கக்கூடிய facts (பெயர், தேதி, இடம், உறவு, பங்கு) இழுத்து, original-க்கு link உடன் structured data ஆக சேமித்தல்.
2. எந்த ஆவணங்கள் மதிப்பு?
உயர் மதிப்பு
- முக்கிய பதிவு: பிறப்பு/திருமணம்/மரணம், baptism, NIC/Aadhaar.
- நில/சொத்து: பட்டா, விற்பனை deed, இனாம், குத்தகை, mortgage.
- இடம்பெயர்வு/அடையாளம்: பாஸ்போர்ட், விசா, PR, ship list, estate register, ration.
- கல்வி/வேலை: பள்ளி/கல்லூரி பதிவு, நியமன ஆணை, service book.
- மத பதிவு: பூஜை நோட்டுப் புத்தகம், donor list, trust minutes (உங்கள் பேர் இருந்தால்).
நடுத்தர
- பழைய கடிதம், புகைப்படம் (பெயர்/தேதி/இடம் இருக்கலாம்), செய்திகள் வெட்டுகள்.
குறைந்த/அவசியமற்ற
- generic பிரசாரம்/மக்கள் பெயர் இல்லாத ஆவணம். Effort குறை.
3. நான்கு அடுக்குகள்
- Image (scan/photo/PDF)
- Text (OCR/கையெழுத்து transcription)
- Facts (பெயர்/தேதி/இடம்/உறவு/பங்கு)
- Links (fact ↔ original page/reference)
TamizhConnect-இல் நான்கையும் வைத்து search+audit சுலபம்.
4. Brutal checklist (எப்போதும் எடுக்க)
- பெயர் (முழுப் வடிவம், initials உடன்)
- தந்தை/கணவர்/அம்மா பெயர் (இருந்தால்)
- தேதி (பிறப்பு/திருமணம்/மரணம்/issue)
- இடம் (ஊர்/தாலுகா/மாவட்டம்/நாடு)
- ஆவண வகை/எண் (பட்டா #, passport #, certificate #)
- பங்கு (owner/tenant/donor/student/employee)
- சாட்சிகள்/கையெழுத்து (பெயர் only)
- ஆவணப் பக்கம்/பிரிவு (page/line reference)
மீதி உரை image-இல் evidence ஆகவே இருக்கட்டும்.
5. ஆவண தரவுகளை TamizhConnect-இல் சேமிப்பு
- Document record: scan link, வகை, தேதி, எண்.
- Extracted facts: structured fields +
confidence(high/med/low) +sourcePage. - Notes: OCR பிழை, மொழி, spelling.
- Tags:
#birth-cert,#patta,#passport,#school-recordபோன்ற context.
6. பொதுப் பிழைகள்
- முழு PDF ஐ plain text ஆக dump → structure இழப்பு.
- fact எடுத்தும் original link வைக்காமல் போடுவது.
- surname/initials reorder செய்து கூடியால் → பிழை.
- நாள்/மாதம் கலப்பு (DD/MM vs MM/DD) — note clearly.
7. ஒரு messy PDF க்கு நடைமுறை
- PDF → page images; quality/contrast சரி.
- OCR (நவீன அச்சு என்றால்) + manual check.
- Fact grid உருவாக்கு (பெயர், உறவு, தேதி, இடம், doc#).
- TamizhConnect-இல் people ↔ doc link, confidence set.
- Notes-ல் ambiguity/பிழைகள்.
இப்படி extraction செய்தால், “ஸ்கேன் குவியல்” → தேடக்கூடிய, சரிபார்க்கக்கூடிய குடும்ப archive ஆக மாறும்.
Additional Resources
When digitizing documents, it’s crucial to preserve the original format while creating normalized data. Learn about legacy layer preservation techniques that balance historical accuracy with usability.
