গোপনীয়তা সংরক্ষণ ও বিকেন্দ্রীকরণ ডিপ লার্নিং নিয়ে PySyft এর প্রাথমিক টিউটোরিয়ালে স্বাগতম। এই সিরিজের নোটবুকগুলো আপনার জন্য এক ধরনের ধাপে ধাপে ভাগ করা নির্দেশিকা, যেখানে আপনি শিখবেন - একটি কর্তৃপক্ষের অধীনে কেন্দ্রীভূত না করে গোপন/ব্যক্তিগত তথ্য/মডেলগুলিতে ডিপ লার্নিং প্রয়োগের জন্য প্রয়োজনীয় নতুন সরঞ্জামসমূহ এবং প্রযুক্তিসমূহ।
ব্যাপ্তি: মনে রাখবেন যে আমরা কীভাবে ডেটা বিকেন্দ্রীকরণ / এনক্রিপ্ট করব শুধু সে সম্পর্কে কথা বলব না, তার সাথে আমরা কীভাবে PySyft-কে ব্যবহার করে পুরো ইকোসিস্টেমকে বিকেন্দ্রীকরণে সহায়তা করতে পারি যেখানে ডেটা সংরক্ষণ এবং কোয়েরি করা ডেটাবেসও থাকবে তা সম্বোধন করব। আরো সম্বোধন করবো সে সব নিউরাল মডেলগুলি যা ডেটা থেকে তথ্য আহরণের জন্য ব্যবহৃত হয়। PySyft-এ নতুন এক্সটেনশন তৈরি হওয়ার সাথে সাথে এই নোটবুকগুলি নতুন কার্যকারিতা ব্যাখ্যা করার জন্য নতুন টিউটোরিয়ালগুলির সাথে প্রসারিত হবে।
Sayantan Das - Github: @ucalyptus
Mir Mohammad Jaber - Twitter: @jabertuhin
১) একটি প্রতিযোগিতামূলক ক্যারিয়ার সুবিধা - গত ২০ বছর ধরে, ডিজিটাল বিপ্লবের ফলে এনালগ প্রক্রিয়াগুলি ডিজিটাইজড হয়ে যাচ্ছে। যার কারণে প্রচুর পরিমাণে ডেটা আরও বেশি পরিমাণে সহজলোভ্য হয়ে গিয়েছে। যাইহোক, নতুন বিধান যেমন-GDPR এর কারণে এন্টারপ্রাইজগুলি তথ্যের অবাধ ব্যবহার করতে না পারায় এবং আরো গুরুত্বপূর্ণ হচ্ছে সেগুলো বিশ্লেষণ করার স্বাধীনতা কমে যাওয়ায় তারা চাপে পড়ে গিয়েছে। পরিশেষে: তথ্য বিজ্ঞানীরা পুরাতন সরঞ্জামের সাহায্যে আগের মতো ততো বেশি ডেটা ব্যবহারে অনুমতি পাবেন না। তবে প্রাইভেট ডিপ লার্নিংয়ের সরঞ্জামগুলি শিখে আপনি এই কার্ভের(curve) চেয়ে এগিয়ে থাকতে পারেন এবং এতে প্রতিযোগিতামূলক সুবিধা পেতে পারেন আপনার কর্মজীবনে।
2) উদ্যোক্তা সুযোগ - সমাজে পুরো সমস্যা রয়েছে যা ডিপ লার্নিং সমাধান করতে পারে তবে বেশিরভাগ গুরুত্বপূর্ণ অনুসন্ধান করা হয়নি কারণ এর জন্য মানুষের সম্পর্কে অবিশ্বাস্য সংবেদনশীল তথ্য অ্যাক্সেসের প্রয়োজন হবে (মানসিক বা সম্পর্কের সমস্যাযুক্ত ব্যক্তিদের সহায়তা করার জন্য ডিপ লার্নিংয়ের ব্যবহার বিবেচনা করুন) !)। সুতরাং, প্রাইভেট ডিপ লার্নিং শেখা আপনার জন্য নতুন স্টার্টাপ(startup) শুরু করার সুযোগগুলি পুরোপুরি উন্মুক্ত করে যা এই সরঞ্জামগুলি ছাড়া অন্যদের কাছে আগে সহজলভ্য ছিল না।
3) সামাজিক ভাল - ডিপ লার্নিং বাস্তব বিশ্বের বিভিন্ন ধরণের সমস্যা সমাধানের জন্য ব্যবহার করা যেতে পারে, তবে ব্যক্তিগত তথ্য সম্পর্কে ডিপ লার্নিং হল মানুষের সম্পর্কে , মানুষের জন্য গভীর শেখা। আপনার নিজের মতো নয় এমন ডেটাতে কীভাবে ডিপ লার্নিং করবেন তা শেখা ক্যারিয়ার বা উদ্যোক্তা সুযোগের চেয়ে বেশি প্রতিনিধিত্ব করে, এটি মানুষের জীবনের সবচেয়ে ব্যক্তিগত এবং গুরুত্বপূর্ণ কিছু সমস্যা সমাধানে সহায়তা করার সুযোগ - এবং এটি স্কেল করে করার জন্য।
গিটহাবে PySyft-কে স্টার দিন !- https://github.com/OpenMined/PySyft
এই নোটবুকটি শিখিয়ে একটি ইউটিউব ভিডিও তৈরি করুন!
... ঠিক আছে, তবে কাজ শুরু করা যাক!
পাইটর্চ জানেন - তা না হলে fast.ai কোর্সটি নিয়ে পরবর্তীতে ফিরে আসুন
PySyft ফ্রেমওয়ার্কের পেপারটি(https://arxiv.org/pdf/1811.04017.pdf) পড়ুন! এটি আপনাকে PySyft কীভাবে নির্মাণ করা হয়েছে তার সামগ্রিক ব্যাকগ্রাউন্ড দেবে, যা জিনিসগুলি আরও অর্থবোধ করতে সহায়তা করবে।
শুরু করার জন্য আপনাকে সঠিক জিনিসগুলি ইনস্টল করা আছে কি-না তা নিশ্চিত করতে হবে। এটি করার জন্য, পাইসাইফ্টের(Pysyft) README-তে যান এবং সেটাপ করার নির্দেশাবলী অনুসরণ করুন। বেশিরভাগ লোকের জন্য সংক্ষেপে হলো -
যদি এর কোনও অংশ আপনার জন্য কাজ না করে(বা টেস্টগুলির কোনওটি ব্যর্থ হয়) - ইনস্টলেশন সহায়তার জন্য প্রথমে README দেখুন এবং তারপরে একটি গিটহাব ইস্যু খুলুন বা আমাদের স্ল্যাকে #beginner চ্যানেলটিতে ping করুন! Slack.openmined.org
In [0]:
# Run this cell to see if things work
import sys
import torch
from torch.nn import Parameter
import torch.nn as nn
import torch.nn.functional as F
import syft as sy
hook = sy.TorchHook(torch)
torch.tensor([1,2,3,4,5])
যদি এই সেলটি কার্যকরী হয়, তবে আপনি তৈরি! তবে শুরু করা যাক!
সুতরাং, আপনি যে প্রশ্নটি প্রথম থেকেই ভাবতে পারেন তা হলো - আমরা কোনও মডেলকে কীভাবে এমন ডেটার উপর প্রশিক্ষণ দেব যেখানে আমাদের অ্যাক্সেস নেই?
ঠিক আছে, উত্তরটি আশ্চর্যজনকভাবে সহজ। আপনি যদি পাইটর্চে কাজ করতে অভ্যস্ত হন তবে আপনি টর্চ(torch) নিয়ে কাজ করতেও অভ্যস্ত! এ জাতীয় টেনসর(Tensor) অব্জেক্ট!
In [0]:
x = torch.tensor([1,2,3,4,5])
y = x + x
print(y)
স্পষ্টতই, এই অসাধারণ অভিনব (এবং শক্তিশালী!) টেনসরগুলি ব্যবহার করা গুরুত্বপূর্ণ, তবে আপনার স্থানীয় মেশিনে ডেটা থাকাও দরকার। এখান থেকেই আমাদের যাত্রা শুরু।
যেখানে সাধারণত আমরা যে মেশিনে ডাটা থাকে সেই মেশিনেই ডাটা সায়েন্স/ডিপ লার্নিং সঞ্চালন করি, এখন আমরা এই ধরনের কম্পিউটেশন অন্য কোন মেশিনে সম্পাদন করতে চাই। আরো নির্দিষ্টভাবে, আমরা আর সহজেই ধরে নিতে পারি না যে ডাটা আমাদের লোকাল মেশিনে রয়েছে।
সুতরাং, টর্চ টেনসরগুলি ব্যবহার করার পরিবর্তে আমরা এখন টেনসরের পয়েন্টারগুলির সাথে কাজ করব। আমি কি বলতে চাচ্ছি তা আপনাকে দেখাতে দিন। প্রথমে আসুন একটি মেশিন তৈরি করি, ধরে নিই মেশিনটি বব(Bob) নামের একজন মানুষের।
In [0]:
bob = sy.VirtualWorker(hook, id="bob")
ধরা যাক ববের যন্ত্রটি অন্য গ্রহে রয়েছে - সম্ভবত মঙ্গলগ্রহে! তবে, এই মুহুর্তে মেশিনটি খালি রয়েছে। আসুন কিছু ডেটা তৈরি করা যাক যাতে আমরা এটি ববকে প্রেরণ করতে পারি এবং পয়েন্টারগুলি সম্পর্কে জানতে পারি!
In [0]:
x = torch.tensor([1,2,3,4,5])
y = torch.tensor([1,1,1,1,1])
এবং এখন - আসুন আমাদের টেন্সরগুলি Bob-কে প্রেরণ করি!!
In [0]:
x_ptr = x.send(bob)
y_ptr = y.send(bob)
In [0]:
x_ptr
বুম!!!! এখন Bob-এর কাছে দু'টি টেন্সর আছে! বিশ্বাস হয় না? নিজে একবার দেখুন!
In [0]:
bob._objects
In [0]:
z = x_ptr + x_ptr
In [0]:
z
In [0]:
bob._objects
এখন কিছু লক্ষ্য করুন। আমরা যখন x.send (বব) কল করি তখন এটি একটি নতুন অব্জেক্ট রিটার্ন করে যাকে আমরা x_ptr বলছি। এটি একটি টেন্সরের দিকে আমাদের প্রথম পয়েন্টার। টেন্সরগুলিতে পয়েন্টারগুলি আসলে ডেটা রাখে না। এর পরিবর্তে, তারা কেবল অন্য মেশিনে সঞ্চিত টেনসর (ডেটা সহ) সম্পর্কে মেটাডেটা ধারণ করে। এই টেনসরগুলির উদ্দেশ্য হলো এই টেনসরটি ব্যবহার করে অন্য মেশিনকে ফাংশনগুলি গণনা করতে বলার জন্য একটি intuitive API দেওয়া। পয়েন্টারগুলিতে থাকা মেটাডেটাটি একবার দেখে নেওয়া যাক।
In [0]:
x_ptr
মেটাটাটা দেখুন!
পয়েন্টারগুলিতে নির্দিষ্ট দুটি প্রধান বৈশিষ্ট্য রয়েছেঃ
x_ptr.location: bob, অবস্থান, পয়েন্টারটি যেখানে পয়েন্ট করছে তার অবস্থানের রেফারেন্সx_ptr.id_at_location: <random integer>, টেন্সরটিতে যে অবস্থানে আছে তার একটি আইডিএগুলি `<id_at_location>@
আরও অন্যান্য জেনেরিক বৈশিষ্ট্য রয়েছেঃ
x_ptr.id: <random integer>, আমাদের পয়েন্টার টেন্সরের আইডি, এটি randomly বরাদ্দ করা হয়েছিলx_ptr.owner: "me", যে কর্মী পয়েন্টার টেনসারের মালিক, এখানে স্থানীয় শ্রমিক, নাম দেওয়া হয়েছে "me"
In [0]:
x_ptr.location
In [0]:
bob
In [0]:
bob == x_ptr.location
In [0]:
x_ptr.id_at_location
In [0]:
x_ptr.owner
আপনি ভাবতে পারেন যে পয়েন্টারের মালিকানাধীন স্থানীয় কর্মী কেন ভার্চুয়াল ওয়ার্কার, যদিও আমরা এটি তৈরি করি নি।
মজার ঘটনা, ঠিক যেমন ববের জন্য আমাদের ভার্চুয়াল ওয়ার্কার অবজেক্ট ছিল, (ডিফল্টরূপে) সর্বদা আমাদের জন্যও একটি রয়েছে। যখন আমরা hook = sy.TorchHook() কল করি তখন এই কর্মী স্বয়ংক্রিয়ভাবে তৈরি হয় এবং তাই আপনাকে সাধারণত নিজে থেকে তৈরি করতে হয় না।
In [0]:
me = sy.local_worker
me
In [0]:
me == x_ptr.owner
পরিশেষে, আমরা যেমন একটি টেনসরে .send () কল করতে পারি, ঠিক তেমনভাবে পয়েন্টারে .get() কল করে তা ফিরিয়েও আনতে পারি।!
In [0]:
x_ptr
In [0]:
x_ptr.get()
In [0]:
y_ptr
In [0]:
y_ptr.get()
In [0]:
z.get()
In [0]:
bob._objects
এবং আপনি দেখতে পাচ্ছেন ... বব এর আর কোন টেনসর নেই! তারা আমাদের মেশিনে ফিরে গেছে!
সুতরাং, ববের কাছ থেকে টেনসরগুলি প্রেরণ এবং গ্রহণ করা দুর্দান্ত, তবে এটিকে ডিপ লার্নিং না বললেই চলে! আমরা রিমোট টেনসরগুলিতে টেনসর অপারেশন সম্পাদন করতে সক্ষম হতে চাই। ভাগ্যক্রমে, টেনসর পয়েন্টারগুলি এটি বেশ সহজ করে তোলে! আপনি পয়েন্টারগুলো সাধারণ টেনসরগুলোর মতো ব্যবহার করতে পারেন!
In [0]:
x = torch.tensor([1,2,3,4,5]).send(bob)
y = torch.tensor([1,1,1,1,1]).send(bob)
In [0]:
z = x + y
In [0]:
z
এবং voilà!
পর্দার আড়ালে খুব শক্তিশালী কিছু ঘটেছে। স্থানীয়ভাবে x এবং y সংযোজন করার পরিবর্তে, একটি কমান্ড সিরিয়ালাইজড করা হয়েছিল এবং ববকে পাঠানো হয়েছিল। যে গণনা করেছিলেন, সে একটি সেন্সর z তৈরি করেছিলেন এবং তারপরে পয়েন্টারটি z এ ফিরিয়ে এনেছেন!
আমরা যদি পয়েন্টারে .get () কল করি তবে আমরা আমাদের মেশিনে ফলাফলটি ফিরে পাব!
In [0]:
z.get()
In [0]:
x
In [0]:
y
In [0]:
z = torch.add(x,y)
z
In [0]:
z.get()
In [0]:
x = torch.tensor([1,2,3,4,5.], requires_grad=True).send(bob)
y = torch.tensor([1,1,1,1,1.], requires_grad=True).send(bob)
In [0]:
z = (x + y).sum()
In [0]:
z.backward()
In [0]:
x = x.get()
In [0]:
x
In [0]:
x.grad
সুতরাং আপনি দেখতে পাচ্ছেন যে, Torch -এ যে সমস্ত কাজ সম্পাদন করা যায়, এই API খুব সহজে দূরবর্তী ডেটাতে সে সমস্ত কাজ সম্পাদন করতে সক্ষম। এটি আমাদের আরও উন্নত গোপনীয়তা সংরক্ষণের প্রোটোকল যেমন - ফেডারেটেড লার্নিং, সিকিওর মাল্টি-পার্টি কমিউটেশন এবং ডিফারেনশিয়াল প্রাইভেসির সংরক্ষণের ভিত্তি তৈরি করে!
In [0]:
এই নোটবুক টিউটোরিয়ালটি সম্পন্ন করার জন্য অভিনন্দন! আপনি যদি এটি উপভোগ করেন এবং গোপনীয়তা সংরক্ষণ, এআই এবং এআই সরবরাহ চেইনের (ডেটা) বিকেন্দ্রীভূত মালিকানার দিকে আন্দোলনে যোগ দিতে চান, আপনি নিম্নলিখিত উপায়ে এটি করতে পারেন!
আমাদের সম্প্রদায়কে সাহায্য করার সবচেয়ে সহজ উপায় হ'ল কেবল গিটহাব রেপো অভিনীত! এটি আমরা যে শীতল সরঞ্জামগুলি তৈরি করছি তার সচেতনতা বাড়াতে সহায়তা করে।
সর্বশেষতম অগ্রগতিতে আপ টু ডেট রাখার সর্বোত্তম উপায় হলো আমাদের সম্প্রদায়ে যোগদান করা! আপনি http://slack.openmined.org এ ফর্মটি পূরণ করে এটি করতে পারেন
আমাদের সম্প্রদায়ে অবদান রাখার সর্বোত্তম উপায় হ'ল কোড অবদানকারী হয়ে উঠুন! যে কোনও সময় আপনি পাইসাইফ্ট গিটহাব ইস্যু পৃষ্ঠাতে যেতে পারেন এবং "প্রকল্পগুলি" এর জন্য ফিল্টার করতে পারেন। এটি আপনাকে শীর্ষ স্তরের সমস্ত টিকিট দেখিয়ে দেবে যে আপনি কোন প্রকল্পগুলিতে যোগদান করতে পারেন তার একটি ওভারভিউ দেয়! আপনি যদি কোনও প্রকল্পে যোগ দিতে না চান তবে আপনি কিছুটা কোডিং করতে চান, আপনি আরও ভাল "ওয়ান অফ" মিনি-প্রকল্পগুলি গিটহাব ইস্যুগুলি "ভাল প্রথম ইস্যু" চিহ্নিত করে অনুসন্ধান করতে পারেন।
আপনার যদি আমাদের কোডবেসে অবদান রাখার সময় না থাকে তবে তবুও সমর্থন leণ দিতে চান, আপনি আমাদের ওপেন কালেক্টিভেরও ব্যাকের হয়ে উঠতে পারেন। সমস্ত অনুদান আমাদের ওয়েব হোস্টিং এবং অন্যান্য সম্প্রদায় ব্যয় যেমন হ্যাকাথনস এবং মেটআপগুলির দিকে যায়!
In [0]: