#regular expression

[chidrestechtutorials]

Email ID Validation in JavaScript:

- Learn how to validate given Email ID in JavaScript with Regular Expression

Visit: https://youtu.be/9r24g3WmXaQ

[jacob-cs]

Natural Language Processing | Dan Jurafsky, Christopher Manning 2강

2 1 Regular Expressions

https://youtu.be/zfH2ADGtzJQ

| 는 ‘또는'을 의미한다.

u?의 경우 u는 있어도 되고 없어도 된다는 의미이다. o+는 적어도 o가 한번 이상나와야 한다. o*는 0번또는 그 이상 여러번 나올수 있다. 점 . 는 어떤 캐릭터도 될수 있다. 

여기서 ^는 시작을 의미한다. $는 마침을 의미한다. 

2 3 Word Tokenization https://youtu.be/f9o514a-kuc

모든 nlp에서 데이터는 기본적으로 token 단위로 나누어야 한다. 

같은 어원, 어근을 가지는 단어들을 어떻게 처리할것인지 단수, 복수처럼 상황에 따라 단어의 형태가 조금 바뀌는 경우 같은 단어로 볼것인지 아닌지를 결정해야 한다.

 token은 중복되는 것을 상관하지 않고 각각 따로 갯수를 센다. type의 경우 동일한 단어는 갯수에서 제외한다.

각 tokens의 갯수가 types보다 큰것을 알수 있다.

tokens, types단위로 나눌때 흔히 발생하는 문제를 보여주고 있다.

각 언어별 특성에 따른 문제점들을 보여주고 있다.

중국어나 일본어처럼 띄어쓰기가 없는 경우 사용할수 있는 방법으로 maxium matching word segmentation algorithm이 있는데 이를 보여주고 있다.

2 4 Word Normalization and Stemming https://youtu.be/ZhyLgPnOeh0

아래에 단어를 여러방법으로 정리하는 것을 보여주고 있다. 

case를 한 방향으로 통일하는 방법이다.

한 lemma를 기반으로 하는 단어들을 하나로 통일해준다. 

어근과 접미, 접두의 합으로 표현할수도 있다.

영어 단어를 정리하는데 porter algorithm을 많이 사용한다.

영어에서 ing 를 정리할때 모음이 있는 경우만 제거한다.

2 5 Sentence Segmentation https://youtu.be/UL4Ez56AMVo

문장단위로 데이터를 잘라서 처리하는 방법을 보여주고 있다.

!와 ?를 기준으로 문장을 구분하는 것은 불확실하다. 점 .를  기준으로 나누는 경우도 단어의 약자나 숫자에 사용되는 . 때문에 어려움이 있다. 그래서 추가 작업이 필요하다. 이때 사용할수 있는 것이 hand-written rules, regular expression, machine learning 등등이 있다.

문장의 끝을 확인하는 간단한 방법으로 decision tree를 이용하는 것이 있다. 

dot 앞뒤에 대문자가 사용된경우 약자에 사용된 dot일 확률이 높다. dot 뒤에 대문자가 오는 경우 dot이 문장 끝일가능성이 높다. 단어 the 앞에 dot 이 사용된 경우 dot이 문자의 끝일 확률이 높다. 

[blacherez]

Online regex tester, debugger with highlighting for PHP, PCRE, Python, Golang and JavaScript.

[lj-writes]

Blacklisting isn’t all it’s cracked up to be

Shippers keep telling antis, “use a blacklist!” And well... I’ve tried that, and there are some problems. Long story short, it’s an imperfect solution if you still want to see anti posts while keeping out shipping posts. Also, if you want blacklisting on mobile you’re either going to have to give up on such things as checking notes and messaging, or use the Tumblr app (where you cannot blacklist tags) to do those things. Check below the cut for more details because this got long.

So let’s talk blacklisting. If I do the most obvious thing, that is blacklist “reylo” or the wildcard expression "reylo*” on Tumblr Savior or the xkit blacklist extension, I’m going to be blacklisting anti reylo posts as well. Yet the anti reylo tag is where some of the best critiques of fandom racism and sexism in the Star Wars fandom happen. I’d also be blacklisting a significant number of my own posts.

If I take the next step and blacklist “reylo” while whitelisting “anti reylo,” I can get anti reylo posts without most reylo content but I still get posts tagged “anti reylo bs,” which I have found no way to screen out while still keeping anti reylo posts. Anti antis have fouled up the keywords so that antis can’t access their own content without letting shippers in.

Of course all of the above, limitations and all, is strictly on a computer. “But Washboard!” Yes, at least one shipper has helpfully crosstagged to tell us to use it. And you know, let’s leave aside the fact that using Washboard requires giving your Tumblr username to a third-party site. Let’s also leave out the fact that you may have to do some setup on a computer first, for instance if you want to import your Tumblr Savior settings.

What the advice leaves out is the fact that Washboard doesn’t modify the Tumblr app’s behavior. In order to get tag blacklisting on mobile through Washboard, or any kind of blacklisting to my knowledge, you have to use Tumblr on a mobile browser, through the Washboard site to be exact.

Now I’m not saying the Tumblr mobile app is perfect (because bwahahaha), but still. Do you like sending posts to people via messaging, or messaging Tumblr friends for that matter? Not on Washboard. Wanna check your notes? You’ll have to hop back to the Tumblr app because you can’t do it on Washboard, nor on Tumblr’s own mobile browser interface.

And that’s not even going into the small things like no auto-complete for tags, so have fun pecking them out on your phone keyboard. You also have to manually load older posts every few dozen posts or so by tapping a button. There’s no ability to scroll instantly to the top of the page--and you do need to scroll to the top if you want to, say, write a new post. Speaking of small things, maybe it’s just my settings but the font viewed on the Washboard site is absolutely tiny--smaller than on the app, and even smaller than the mobile browser interface.

(At least Washboard has the potential to solve my problem with Tumblr Savior by using regular expressions, which is a nice option and I might get around to it eventually, but... seriously, what percentage of the population know how to set up their own regular expressions? I have experience with it, but that was a while back and I’ll have to refresh my memory before I can come up with the rule I want. That’s assuming it’s even possible, because I have no idea how extensive regex support is.)

I’m not saying the above solutions can’t work for anyone. No doubt many fans don’t have my specific problem and simple blacklisting will be the solution for them. Maybe some will find it worthwhile to bear with the limitations of the browser interface to blacklist content on mobile. I hope it works out for them.

What I’m saying in that it’s disingenuous to pretend that a blacklist is a costless, easy solution, especially on mobile. It may solve some problems for a subset of users, particularly those who are affected enough by certain content that they find it worth their while to browse Tumblr with a mobile browser, give up on Tumblr on mobile, or leave Tumblr altogether (the last option looks more and more attractive these days, I’ll admit). For other users it leaves some problems unsolved and creates new problems. Blacklisting is simply not for everyone.

[whatsthatwei-blog]

Regular Expression.  Why.

Have you ever encountered the same solution to a problem time after time again, never fully grasping why it works, but accepting that it does?  And because this magical solution works so well and you’ve got bigger fish to fry, you put off researching why it works and choose to just accept that it’s magic and you shouldn’t question it?

That’s what regular expression is to me.  Up until last week, when Gee slacked me “I’ve actually been interested in learning more about regex, like regular expression,” I didn’t realize that “regular expression” was what this magic was called.

The first time I ever (unknowingly) used regex, was when I was trying to make myself a contact form for my personal website back in 2010 and I needed a way to make sure that the email was valid.

Here is part of the javascript email validation I used in my code.:

var hasError = false; var emailReg = /^[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,}$/; var emailFromVal = $("#emailFrom").val(); if(emailFromVal == '') { $("#emailFrom").after('Please enter a valid email address.'); hasError = true; } else if(!emailReg.test(emailFromVal)) { $("#emailFrom").after('Please enter a valid email address.'); hasError = true; }

/^[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\\.[A-Za-z]{2,}$/;

How does one get from that gibberish to email validation??

I ran into Regular Expression a few more times since then, most notably in the Ruby labs we had to do at the Flatiron School.  For example, one of our labs instructed us to be able to break a paragraph string into sentences.  To do so, we needed to find a way to identify punctuation.

So, I turned to stack overflow:

string = "I am a lion. Hear me roar! Where is my cub? Never mind, found him." string.gsub(/[.?!]/, '\0|') # "I am a lion.| Hear me roar!| Where is my cub?| Never mind, found him.|"

Okay, I can kind of begin to understand what's gong on.  I think.  It’s obvious to me that, /[.?!]/ is basically searching for punctuation in the string.  Which makes a lot of sense, because Regular Expression (regex) is “a special text string for describing a search pattern.”  A wildcard on steroids, if you will.

https://www.reddit.com/r/explainlikeimfive/comments/w1e0p/eli5_how_do_regexeswork/c59gb18/

Regular Expression basically gives you a list of things to look for in a particular sequence with forward slashes often encapsulating the regex.  /hello/ - look for an ‘h’ followed by ‘e’ followed by ‘l,’ and so on.  Where it gets complex is when factor in special characters that give things special meanings.

And suddenly the gibberish from above makes sense!

/^[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\\.[A-Za-z]{2,}$/;

/.../ - surrounds the regex used.  ^ and $ are anchor characters signifying start-of-string and end-of-string.  The [ .. ] looks for any character listed or in the range specified, followed by + which is basically looking for one or more of any character in the brackets.  So basically, this expression is looking for a collection of any of the characters in the bracket (A-Z and a-z, numbers, and some select symbols) followed by an @ sign, followed by another collection of characters (A-Z and a-z, numbers, ‘-’ and ‘.’ which takes into account subdomains), a “.” (the literal since it’s escaped by a backslash), and another collection of characters (A-Z and a-z) that is greater than 2.

[dinhdaitech]

Regex là gì? Công cụ xử lý chuỗi mà người làm website nên biết

Trong quá trình quản lý website hoặc kinh doanh online, bạn thường phải làm việc với rất nhiều dữ liệu dạng chuỗi. Email khách hàng, số điện thoại, URL trang web hay dữ liệu marketing đều cần được kiểm tra và xử lý chính xác. Nếu thực hiện bằng cách thủ công hoặc viết nhiều đoạn kiểm tra phức tạp, việc xử lý dữ liệu sẽ trở nên tốn thời gian và khó quản lý.

Regex, hay Regular Expression, là một công cụ được thiết kế để giải quyết vấn đề này. Regex cho phép mô tả cấu trúc của một chuỗi dữ liệu bằng một biểu thức ngắn gọn, từ đó giúp chương trình tìm kiếm, kiểm tra hoặc trích xuất thông tin nhanh chóng. Nếu bạn muốn khám phá thêm nhiều kiến thức lập trình web hữu ích khác để hiểu rõ hơn về cách xây dựng và phát triển ứng dụng web, hãy tham khảo thêm nhiều bài viết tại DinhDai.Tech.

Regex hoạt động như thế nào?

Regex hoạt động bằng cách so khớp một chuỗi dữ liệu với một mẫu đã được định nghĩa trước. Mẫu này mô tả những ký tự nào được phép xuất hiện, chúng xuất hiện bao nhiêu lần và ở vị trí nào trong chuỗi.

Ví dụ, biểu thức sau thường được dùng để kiểm tra một chuỗi chỉ chứa chữ số:

^[0-9]+$

Biểu thức này yêu cầu chuỗi phải bắt đầu bằng số, chỉ chứa các chữ số và kết thúc ngay sau đó. Nhờ những quy tắc như vậy, Regex có thể xác định dữ liệu hợp lệ chỉ trong một bước kiểm tra.

Regex được dùng trong những trường hợp nào?

Regex được sử dụng rất phổ biến trong các hệ thống web và công cụ dữ liệu. Một ứng dụng quen thuộc là kiểm tra dữ liệu nhập từ form, chẳng hạn như email hoặc số điện thoại của khách hàng. Nhờ Regex, hệ thống có thể phát hiện dữ liệu sai định dạng ngay từ đầu và tránh lỗi khi lưu trữ.

Ngoài ra, Regex còn được dùng để lọc và phân tích URL trong các công cụ marketing như Google Analytics hoặc Google Tag Manager. Khi cần xử lý file dữ liệu lớn hoặc danh sách email marketing, Regex cũng giúp làm sạch và chuẩn hóa dữ liệu nhanh chóng.

Nếu bạn muốn tìm hiểu chi tiết hơn về cú pháp và các ví dụ ứng dụng thực tế, bạn có thể đọc bài hướng dẫn đầy đủ Regex là gì? Hướng dẫn cú pháp, ví dụ & ứng dụng 2026

Regex là một công cụ mạnh mẽ giúp xử lý chuỗi dữ liệu nhanh và chính xác. Dù ban đầu có thể hơi khó đọc, nhưng khi hiểu nguyên lý hoạt động của nó, Regex sẽ trở thành một trợ thủ rất hữu ích trong việc kiểm tra dữ liệu, phân tích URL và tự động hóa nhiều tác vụ liên quan đến văn bản.

Nếu bạn đang tìm hiểu sâu hơn về cách các công cụ lập trình và dữ liệu hoạt động, bạn có thể tham khảo thêm các bài viết trong chuyên mục kiến thức lập trình để mở rộng hiểu biết của mình.

[aoflima]

Implementing PII Data Masking in Oracle GoldenGate 23ai Using SQLEXEC

Introduction In today’s data-driven world, protecting sensitive information during replication is crucial for compliance with regulations like GDPR, CCPA, and PCI-DSS. Oracle GoldenGate provides powerful transformation capabilities that allow you to mask sensitive data at the replication level, ensuring that personally identifiable information (PII) never reaches non-production or other…

Implementing PII Data Masking in Oracle GoldenGate 23ai Using SQLEXEC

[nishantrana]

Fixed – “The relative url contains invalid characters. Please use a different name. Valid relative url names cannot ends with the following strings: .aspx, .ashx, .asmx, .svc , cannot begin or end with a dot, cannot contain consecutive dots and cannot contain any of the following characters: ~ " # % & * : ? / \ { | }. “ error while creating SharePoint Document Location – Dynamics 365 / Dataverse

We were using the below code to create a sharepointdoucmentlocation record through a C# Console App. private void CreateAssociateSharePointDocumentLocation(string folderName, Guid recordGuid, ServiceClient serviceClient) { var documentLocation = new Entity("sharepointdocumentlocation"); documentLocation["name"] = "Documents on Default Site 1"; documentLocation["relativeurl"] =…

Fixed – “The relative url contains invalid characters. Please use a different name. Valid relative url names cannot ends with the following strings: .aspx, .ashx, .asmx, .svc , cannot begin or end with a dot, cannot contain consecutive dots and cannot contain any of the following characters: ~ " # % & * : ? / \ { | }. “ error while creating SharePoint Document Location – Dynamics 365 / Dataverse